Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5)

[Agne]

А если несколько rx580 они недорогие . и платка на ксеон. И принципиально ли ддр4 или ддр3 подойдет

[Incognito4pda]

Выжимать что-то из Олламы это как стрелять себе в ногу. Автор хотя бы изучил бы современный стек, прежде чем строчить полотно. Оллама уже давно смешной полукомерческий анахронизм в числе вечно догоняющих. Вы на выжали, а ноборот себя загнали в рамки этого тормознутого поделия, на которой генерация почти в 2 раза медленнее чем на llama.cpp например. Когда вижу как автор очередного гайда что-то там вымучивает из Олламы - сразу ясно, в вопросах ии генерации явно дилетант.

[JajaComp]

Не совсем так. На стадии исследования ollama вполне себе норм. Если на нем завелось, то и на llama будет работать с приростом процентов 20

[VGusev2007]

Тут больше вопрос: а что делать то с такими маленькими моделями? Где они могут приносить пользу?

[DSoap]

Достаточно интересная статья, а насколько хорошее качество моделей и есть ли горизонот для масштабирования? (Например несколько поставить видеокарт?)