Рандом сиды я менял между запусками, температуру не трогал, эмпирически выяснил что дефолтная температура у небольших моделей очень тонко настроена, и шаг вправо шаг влево очень легко превращает ллмку в кирпич или в словоблуда. По поводу прироста - я придерживаюсь озвученного мнения в статье, что файнтюн на tool calling сделал свое дело шикарно (+ сейчас у больших ллмок тоже все делают акцент на долгосрочные задачи, а это буквально можно померить только планированием + tool calling).
Увидел бы ваш график раньше... В любом случае спасибо, не подскажите сурс для картинки? Честно говоря жалко что Gemma оказалась локальной только на словах, я надеялся что q8 кэш исправит ситуацию, но судя по графику это все еще мина замедленного действия. Не очень понятно как мерить тогда в принципе эффективный контекст, потому что у Gemma он будет раздуваться с астрономической скоростью
В этих тестах я намеренно обошел стороной Coder-версию, так как в семействе Qwen 3.6 модели 35B и 27B Dense заметно превосходят её во многих общих бенчмарках, да и полноценных тестов кодинга в этот раз я не проводил. К тому же, этой линейке моделей уже почти год, а как справедливо заметили ниже, я и так немного отстал от реальности.
Что касается 16 ГБ VRAM - запустить на них Qwen 3.6 27B в квантовании Q4_K_M без сильной потери скорости не получится (да и вообще любую Dense модель такого размера). Понятно что речь не про корпоративный, а домашний сценарий, но для комфортной работы лучше выбрать MoE-версию, иначе все сгрузится в RAM и результат придется прилично ждать
Да, затянулось все немного. Недавно проверял, там минимальный прирост относительно полученных метрик, потому что каких-то серьезных изменений с той ветки я лично не увидел.
Постфактум не могу не согласиться, но до экспериментов я был так науськан кликбейтами про то что это шедевр для локальной работы, что можно отменять все подписки и выкидывать qwen, что не мог не проверить. PR кампания у gemma 4 была очень мощной.
Репозиторий с тестом постараемся выложить. QAT версию я не трогал, не получилось подружить с llama.cpp чтобы заметить прирост в скорости или в памяти. В целом хорошее замечание, спасибо, действительно могло переквантоваться.
Про рост контекста - да, это ожидаемое поведение, у Qwen гораздо эффективнее настроен GQA.
Была цель уместить на одной карточке, потому что это довольно оптимальный формат для небольших корпоратов (условно при аренде на месяц), вторую карточку просто жалко для этого брать. По хорошему да, стоит попробовать запихнуть QAT версию + q8 на кэш, но кажется это все равно выходит за рамки бюджета в 32 VRAM
Спасибо! Про glm-flash хорошее предложение, про gpt-oos - кажется модель себя уже немного изжила, много более интересных небольших моделей сейчас существует
Про gigaAM - согласен, забыл про него совсем, скорее всего правда лучше, но на счет скорости не уверен. По поводу долгих раздумий - всегда можно ризонинг отключить, он и не нужен в целом для такого рода задач
Да, в целом нет никаких проблем, Silero VAD ( чтобы определять конец речи, у них была хорошая статья на хабре) + faster-whisper ( large или medium от железа) для самого распознавания, и на выход те же Silero TTS или Piper, ллмку можно и на Ollama для простоты.
Почти всегда это вопрос безопасности, готовы ли ИИ-агенты и их разработчики юридически и финансово отвечать за утечки или ошибочные транзакции, совершенные через открытые API банков? Мне кажется на этот вопрос почти никто не готов ответить
Рандом сиды я менял между запусками, температуру не трогал, эмпирически выяснил что дефолтная температура у небольших моделей очень тонко настроена, и шаг вправо шаг влево очень легко превращает ллмку в кирпич или в словоблуда. По поводу прироста - я придерживаюсь озвученного мнения в статье, что файнтюн на tool calling сделал свое дело шикарно (+ сейчас у больших ллмок тоже все делают акцент на долгосрочные задачи, а это буквально можно померить только планированием + tool calling).
Увидел бы ваш график раньше... В любом случае спасибо, не подскажите сурс для картинки? Честно говоря жалко что Gemma оказалась локальной только на словах, я надеялся что q8 кэш исправит ситуацию, но судя по графику это все еще мина замедленного действия. Не очень понятно как мерить тогда в принципе эффективный контекст, потому что у Gemma он будет раздуваться с астрономической скоростью
Принял, спасибо за наводку.
Короткие промты с маленьким контекстом, я правильно понимаю? В любом случае спасибо, попробуем.
В этих тестах я намеренно обошел стороной Coder-версию, так как в семействе Qwen 3.6 модели 35B и 27B Dense заметно превосходят её во многих общих бенчмарках, да и полноценных тестов кодинга в этот раз я не проводил. К тому же, этой линейке моделей уже почти год, а как справедливо заметили ниже, я и так немного отстал от реальности.
Что касается 16 ГБ VRAM - запустить на них Qwen 3.6 27B в квантовании Q4_K_M без сильной потери скорости не получится (да и вообще любую Dense модель такого размера). Понятно что речь не про корпоративный, а домашний сценарий, но для комфортной работы лучше выбрать MoE-версию, иначе все сгрузится в RAM и результат придется прилично ждать
Да, затянулось все немного. Недавно проверял, там минимальный прирост относительно полученных метрик, потому что каких-то серьезных изменений с той ветки я лично не увидел.
Постфактум не могу не согласиться, но до экспериментов я был так науськан кликбейтами про то что это шедевр для локальной работы, что можно отменять все подписки и выкидывать qwen, что не мог не проверить. PR кампания у gemma 4 была очень мощной.
А для развлечения кажется есть более веселые файнтюны типа Gemma4-12B-Coder-Composer 2.5 × Fable 5)
Свежее, интересное, спасибо. Правда не нашел ру файнтюнов, и бенчей на русском к сожалению тоже
Репозиторий с тестом постараемся выложить. QAT версию я не трогал, не получилось подружить с llama.cpp чтобы заметить прирост в скорости или в памяти. В целом хорошее замечание, спасибо, действительно могло переквантоваться.
Про рост контекста - да, это ожидаемое поведение, у Qwen гораздо эффективнее настроен GQA.
Была цель уместить на одной карточке, потому что это довольно оптимальный формат для небольших корпоратов (условно при аренде на месяц), вторую карточку просто жалко для этого брать. По хорошему да, стоит попробовать запихнуть QAT версию + q8 на кэш, но кажется это все равно выходит за рамки бюджета в 32 VRAM
Спасибо! Про glm-flash хорошее предложение, про gpt-oos - кажется модель себя уже немного изжила, много более интересных небольших моделей сейчас существует
Про gigaAM - согласен, забыл про него совсем, скорее всего правда лучше, но на счет скорости не уверен. По поводу долгих раздумий - всегда можно ризонинг отключить, он и не нужен в целом для такого рода задач
Да, в целом нет никаких проблем, Silero VAD ( чтобы определять конец речи, у них была хорошая статья на хабре) + faster-whisper ( large или medium от железа) для самого распознавания, и на выход те же Silero TTS или Piper, ллмку можно и на Ollama для простоты.
Почти всегда это вопрос безопасности, готовы ли ИИ-агенты и их разработчики юридически и финансово отвечать за утечки или ошибочные транзакции, совершенные через открытые API банков? Мне кажется на этот вопрос почти никто не готов ответить
Вопрос, кажется все восхищаются форматом MXFP4, но при этом абсолютно никто в этой квантизации паковать модель не хочет. Почему?