Техно‑аквариум в стиле адской Обители: запускаем локальную LLM Qwen 2.5 14B на домашнем ПК для интерактивного сайта

[longfreakingname]

>qwen 2.5 7b

>удивляется что модель брусок дерева.

я клянусь вашим локальный богом, мне кажется половина хабра специально берет худшие модели из возможных, и прочее легаси дер.мо.

rule of thumb: if your model is folder than six month, you already doing some clownage.

ornith 1.5 9b, или qwen 3.5 a3b

[McCake]

хм, спасибо)))

[Ka463]

Да, особенно забавно что можно было-бы попробовать запустить через strata qwen 3.8 flash next, а тут какой то хлам раскапывают 🤣

[BelerafonL]

да потому что гопота 6 до сих пор такое советует.

Подбирал с расчетом на использование через llama.cpp, LM Studio или Ollama, с квантованием GGUF Q4_K_M или Q5_K_M.

1. Qwen3-32B
32 млрд параметров | Q4: около 20 ГБ
Мой первый кандидат для сложных задач, программирования, логики и русского языка. Поддерживает режим рассуждений. На видеокарте с 12-16 ГБ потребуется частичный оффлоад в RAM.

2. GPT-OSS-20B
21 млрд параметров | MXFP4: около 13 ГБ
Модель с разреженной архитектурой MoE (смесь экспертов). Интересна для программирования, агентных сценариев и рассуждений. При 16 ГБ VRAM (видеопамяти) может работать практически целиком на GPU.

3. Gemma 3 27B
27 млрд параметров | Q4: около 17 ГБ
Хороший вариант для текстов, анализа документов и мультимодальных задач. Есть официальная версия с квантованием QAT (обучение с учетом квантования). Для обработки изображений потребуется дополнительная память.```

[BelerafonL]

а бывает и Llama 3.2 нет-нет да подпихнет

[Flux]

Интересный случай некрофилии.

Считаем: DeepSeek 4.1 flash - 0.02 / 1 / 4 юаня за кеш/вход/выход. Возьмем для примера пропорцию 10 к 3 к 1, это не так важно. За 5000 рублей в сбере можно купить примерно 380 юаней (по состоянию на несколько недель назад, цена не самая выгодная на рынке). За примерно 15к которые вы вложили в железо по ценам API можно нагенерировать примерно 160 миллионов выходных токенов, при чем это будет не 18 TpS а 230+ TpS, с несравнимым качеством. Чтобы нагенерировать эти токены вашей 14b моделькой (берем только выход, prefill вообще не считаем) потребуется примерно 102 дня чистого времени. Если шайтан-машина жрет примерно 600 ватт а электричество стоит 6 рублей за киловатт-час то вы только на энергию потратите дополнительно около 8800 рублей. Это мы еще prefill не считали, напомню. Цифры конечно приблизительные, но порядок величин отражают хорошо.

Впрочем, вижу один плюс и в вашем подходе - если дипсик насильно кормить вашей прозой то он может обрести самосознание и умереть от кринжа, а локальное железо стерпит всё.

[Cheshir_zip]

Скорость работы зависит от различных технологий в видеокарте а не от размера вирам. Сам с этим столкнулся когда хотел теслу купить. А так нюансов много. Если использовать rag систему то там уже нагрузка идет на кэш процессора. Рам влияет на то какую большую модель можно запихнуть в видюху. Ну и логично что если она поместиться то будет работать быстрее. Но еще быстрее если в чипе есть нужные технологии

Я сам запускал эту элемку на 12 милионов параметров на компе жены с 3080 10gb работает хорошо но именно эта ллм по ответам не очень. Вроде не плохо понимает что от нее хотят (жена использует для заполнения обсидиона с ее растениями) но косяки явные есть.

На своем компе который сильно слабее (960 на 2 гб) запускал тоже для обсидиан. Я писатель и мне нужна была для анализа текста. Конкретна эта но на 4 милиона параметров и нв 12 работала просто ужасно. На удивление хорошо заработал гигачат. Именно анализ текста у него получается хорошо, и все мои рассчеты по энтроппи у текста тоже выходили в отличии от модели от гугла.

Поиск подходящей модели долгия этап. Я сам перепробовал разные. Если кто посоветует чет буду только рад

[Kumazo]

"Башка в ящике" ТМ)

[polk1l0]

Запустите бонсай первый ОНа намного лучше того что вы пытаетесь использовать. https://huggingface.co/prism-ml/Bonsai-8B-mlx-1bit