Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 26
Не вижу смысла в таком контексте с таким квантом. Если только для тестов на скорость. Мой опыт показывает, что у этой модели 4-битные кванты очень часто зацикливаются, очень долго рассуждают.
Ну, конкретно эта конфигурация работает вполне достойно, час без зависаний в claude-code точно проработает
На практике зацикливание часто лечится правильной настройкой температуры и штрафа за повторы в chat template, для 27-миллиардной сетки в ограниченной памяти 3090 это разумный компромисс между скоростью и размером буфера
У меня квен вообще часто уходит в цикл. Но у меня 3.6 35b a3b. Тоже грешил на квантование, перешёл с q4 на q8, но проблема не исчезла.
У меня в режиме агента работает qwen3.8 27b 4b & 8b кеш.
Обратите внимание на температуру. При температуре 0.1 она действительно может зацикливаться но на 0.7-0.9 у меня ни разу не было зацикливания. Я если честно забыл что модели вобще могут зацикливаться.
А с mtp сколько будет?
Не хватает скорости prefill (сколько токенов в секунду нейронка читает), у llama.cpp по сравнению с другими движками (VLLM, TabbyAPI (сервер для нейронок в формате EXL3)) с этим не очень хорошо
Вероятно автор не знаком с https://github.com/Niko1221/Strata
Скоро ради запуска локальных моделек придется ставить персональную электроподстанцию в коридоре
В чем смысл настроек --batch-size 4096 и --ubatch-size 1024? Почему не сэкономить видеопамять и не указать --batch-size 512 --ubatch-size 256 например?
Вот тут собирают оптимальные способы инферить Qwen3.8-27b на 3090 в разных конфигурациях
https://github.com/noonghunna/club-3090
команда hf нам нужна только для того, чтобы скачать модель
Не нужна, llama.cpp умеет качать с hugging face
"На текущий момент qwen3.8–27b, без сомнений, лучшая модель для программирования, которую можно запускать на потребительских видеокартах". Сразу начинать с неправды, такое себе. По мне та же Strata и Qwen 3.8 flash next сильно интереснее, и это на первый взгляд только.
У меня 2х RTX3090 запускаю Qwen3.8-27B-UD-Q8_K_XL (llama.cpp 1500 t/s pp, 70 t/s) и Qwen3.8-Flash-Next-W4A16-FP8PLE (https://github.com/DominikBucko/qwen38-flash-next-2x3090 vllm, 4400-1300 t/s pp, 80-90 t/s). Нагенерил на каждой модели уже более 1 млрд токенов и вот прям так однозначно не могу сказать что Qwen3.8-Flash-Next лучше в программировании. До сих пор не выбрал из этих моделей основную, в целом субъективные ощущения, что Qwen3.8-Flash-Next умнее, но почему то иногда делает ошибки, которые не делает Qwen3.8-27B-UD-Q8_K_XL
Ну как будто локальная модель на малых мощностях вообще не сильно много смысла имеет
Вот нахера вы все этот сраный клауд код берете? Там же только харнесс 30к токенов сьедает? Сейчас же миллион разных харнессов есть, от минимального конструктора Pi и кончая одним бинарником на расте Maki. Даже Opencode уже разжирел прилично
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
70 токенов в секунду в qwen3.8–27b на RTX 3090