Comments 14
>qwen 2.5 7b
>удивляется что модель брусок дерева.
я клянусь вашим локальный богом, мне кажется половина хабра специально берет худшие модели из возможных, и прочее легаси дер.мо.
rule of thumb: if your model is folder than six month, you already doing some clownage.
ornith 1.5 9b, или qwen 3.5 a3b
хм, спасибо)))
Да, особенно забавно что можно было-бы попробовать запустить через strata qwen 3.8 flash next, а тут какой то хлам раскапывают 🤣
да потому что гопота 6 до сих пор такое советует.
Подбирал с расчетом на использование через llama.cpp, LM Studio или Ollama, с квантованием GGUF Q4_K_M или Q5_K_M.
1. Qwen3-32B
32 млрд параметров | Q4: около 20 ГБ
Мой первый кандидат для сложных задач, программирования, логики и русского языка. Поддерживает режим рассуждений. На видеокарте с 12-16 ГБ потребуется частичный оффлоад в RAM.
2. GPT-OSS-20B
21 млрд параметров | MXFP4: около 13 ГБ
Модель с разреженной архитектурой MoE (смесь экспертов). Интересна для программирования, агентных сценариев и рассуждений. При 16 ГБ VRAM (видеопамяти) может работать практически целиком на GPU.
3. Gemma 3 27B
27 млрд параметров | Q4: около 17 ГБ
Хороший вариант для текстов, анализа документов и мультимодальных задач. Есть официальная версия с квантованием QAT (обучение с учетом квантования). Для обработки изображений потребуется дополнительная память.```нельзя, у него не хватит озу что бы запустить флеш. ему надо 64гб.
я сам сижу в конфиге 12 32, и я точно знаю, что лучшее что туда влезет это q2 денс квен от ista das lab.
если бы он хотел кодить, то мог бы взять флеш кодер от той же исты, она влезет в 12 32, но там и писать придётся на англ, так как русский будет вызывать проблемы.
альтернативно можно посмотреть на мое глимер и гемму 26. для наяривания текста подойдут.
и да, спрашивать нейронку об технологии которая обновляется каждый день, и то что было две недели едва ли актуально, это безусловно троллинг тот ещё.
ну или начинайте уже писать не как продавцы арбузов, и задайте вопрос правильно. что бы он прошёл по обниморде, и реддит локаллмама, и оценил что запускают за последний месяц и что вышло из моделей за месяц. затем делается выборка по количеству параметров, и рассчет влезет ли что то в 12 32. подобные статьи рождаются потому что человек зашёл в яндекс и спросил Алису на уровне "э брэт нейронку шмейронкэ хачу дэлат, какой ставит насяльника дааа." а так как ии поиск яндекса глупее новорождённой черепашки, то и аутпут будет ещё более худшим чем инпут.
Подскажите пожалуйста еще годноты. Strata qwen 3.8 уже пускал.
Интересный случай некрофилии.
Считаем: DeepSeek 4.1 flash - 0.02 / 1 / 4 юаня за кеш/вход/выход. Возьмем для примера пропорцию 10 к 3 к 1, это не так важно. За 5000 рублей в сбере можно купить примерно 380 юаней (по состоянию на несколько недель назад, цена не самая выгодная на рынке). За примерно 15к которые вы вложили в железо по ценам API можно нагенерировать примерно 160 миллионов выходных токенов, при чем это будет не 18 TpS а 230+ TpS, с несравнимым качеством. Чтобы нагенерировать эти токены вашей 14b моделькой (берем только выход, prefill вообще не считаем) потребуется примерно 102 дня чистого времени. Если шайтан-машина жрет примерно 600 ватт а электричество стоит 6 рублей за киловатт-час то вы только на энергию потратите дополнительно около 8800 рублей. Это мы еще prefill не считали, напомню. Цифры конечно приблизительные, но порядок величин отражают хорошо.
Впрочем, вижу один плюс и в вашем подходе - если дипсик насильно кормить вашей прозой то он может обрести самосознание и умереть от кринжа, а локальное железо стерпит всё.
Скорость работы зависит от различных технологий в видеокарте а не от размера вирам. Сам с этим столкнулся когда хотел теслу купить. А так нюансов много. Если использовать rag систему то там уже нагрузка идет на кэш процессора. Рам влияет на то какую большую модель можно запихнуть в видюху. Ну и логично что если она поместиться то будет работать быстрее. Но еще быстрее если в чипе есть нужные технологии
Я сам запускал эту элемку на 12 милионов параметров на компе жены с 3080 10gb работает хорошо но именно эта ллм по ответам не очень. Вроде не плохо понимает что от нее хотят (жена использует для заполнения обсидиона с ее растениями) но косяки явные есть.
На своем компе который сильно слабее (960 на 2 гб) запускал тоже для обсидиан. Я писатель и мне нужна была для анализа текста. Конкретна эта но на 4 милиона параметров и нв 12 работала просто ужасно. На удивление хорошо заработал гигачат. Именно анализ текста у него получается хорошо, и все мои рассчеты по энтроппи у текста тоже выходили в отличии от модели от гугла.
Поиск подходящей модели долгия этап. Я сам перепробовал разные. Если кто посоветует чет буду только рад
"Башка в ящике" ТМ)
Запустите бонсай первый ОНа намного лучше того что вы пытаетесь использовать. https://huggingface.co/prism-ml/Bonsai-8B-mlx-1bit
Техно‑аквариум в стиле адской Обители: запускаем локальную LLM Qwen 2.5 14B на домашнем ПК для интерактивного сайта