Порадьте зручну невелику локальну llm модель на mac M3 Air і як її запустити. Мені здається щось має піти, якщо Gemma запускають на raspberry pi 5
Edited 34d ago
@samson по приколу, я ніколи не пробував локальних ai, а мені цікаво що може модель без потужного дата центру. Але можна і для розумного будинку (Home assistant дозволяє)
@sverdlyuk
Я для перекладу використовую- майже як діпл та безкоштовно
@samson
@sverdlyuk чого не спробувати gemma4?
У мене правда вона не бачить тулзів.
Але боюсь, що треба ще більше ОЗУ для цього.
@sverdlyuk я встановлював через ollama.
https://ollama.com/
з використанням docker.
якийсь https://gemini.google.com згенерує docker compose файл.
а ви зробите docker compose up -d і буде щастя.
Будуть питання - пишіть.
@samson завантажив застосунок ollama на mac. Вирішив випробувати gemma точно не памʼятаю 4be чи щось подібне. Ноут тупить страшно
@sverdlyuk
Спробуйте наймолодшу версію. З 2 в імені.
Бажано мати відеокарту, яка підтримує llm. Правильний проц. І ви завантажуєте версію ollama під ваше залізо.
Але все одно так гарно, як чатгпт, воно працювати не буде.