Порадьте зручну невелику локальну llm модель на mac M3 Air і як її запустити. Мені здається щось має піти, якщо Gemma запускають на raspberry pi 5
Edited 34d ago
@andruwa13 ще нещодавно знайшов програму Locally ai https://apps.apple.com/ua/app/locally-ai-local-ai-chat/id6741426692?l=uk працює і на iPhone і на MacOS. Взагалі це мене дивує застосунок один і той самий але працює на двох різних платформах
@andruwa13 queen це якась китайська LLM? Чекаю українську LLM сподіваюсь вона буде локальна також
@sverdlyuk я якщо чесно користуюсь ось цим https://github.com/diegosouzapw/OmniRoute
Там дуже багато LLM якими можна просто користуватися
@sverdlyuk так. Вона крута. Я скинув сервіс, через який можна глянути яка саме LLM підійде на любу конфігурацію заліза
@samson по приколу, я ніколи не пробував локальних ai, а мені цікаво що може модель без потужного дата центру. Але можна і для розумного будинку (Home assistant дозволяє)
@sverdlyuk
Я для перекладу використовую- майже як діпл та безкоштовно
@samson
@sverdlyuk чого не спробувати gemma4?
У мене правда вона не бачить тулзів.
Але боюсь, що треба ще більше ОЗУ для цього.
@sverdlyuk я встановлював через ollama.
https://ollama.com/
з використанням docker.
якийсь https://gemini.google.com згенерує docker compose файл.
а ви зробите docker compose up -d і буде щастя.
Будуть питання - пишіть.
@samson завантажив застосунок ollama на mac. Вирішив випробувати gemma точно не памʼятаю 4be чи щось подібне. Ноут тупить страшно
@sverdlyuk
Спробуйте наймолодшу версію. З 2 в імені.
Бажано мати відеокарту, яка підтримує llm. Правильний проц. І ви завантажуєте версію ollama під ваше залізо.
Але все одно так гарно, як чатгпт, воно працювати не буде.