Лично я использую Ollama для запуска LLM моделей. На его сайте также публикуются модели и достаточно одной команды, чтобы его загрузить к себе на компьютер и запустить. Можно их кастомизировать и также импортировать свои GGUF модели. Рекомендую попробовать.
Лично я использую Ollama для запуска LLM моделей. На его сайте также публикуются модели и достаточно одной команды, чтобы его загрузить к себе на компьютер и запустить. Можно их кастомизировать и также импортировать свои GGUF модели. Рекомендую попробовать.