Comments 11
Полезная статья, хоть и сделанная при поддержки ИИ )
Было бы интересно почитать реальный пример дообучения модели.
Жаль, что в видюху не нают доставить память ... На 8Гб даже экспериментировать не тянет - того, что хочется не запустить
А какие прикольные модели можно запустить для кодинга с агентом если есть 24gb vram?
Я в этой теме не профессионал, сам только недавно начал разбираться с этим вопросом, но слышал, что Qwen2.5-Coder, Deepseek-Coder, CodeLlama неплохо справляются со своей задачей. Лично сам я их не тестил(видюха слабая), поэтому наверняка сказать не могу, лучше это спросить у более опытных пользователей. А если брать что-то для общего пользования, включая кодинг, то можете попробовать Mistral или Gpt-oss(открытая нейронка от OpenAi)
qwen 3 30B A3B coder/instruct, тут по желанию. Devstrall/Mistrall, gpt-oss-20b. Рекомендую как чат-кодер, а не как гаент.
имхо, максимальная модель, что влезет в 24gb это https://huggingface.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF с нестандартным 5-битным квантованием. Занимает 21.7Гб
Ollama от А до Я: как выбрать модель, настроить и интегрировать