Комментарии 8
я так понимаю это первая большая модель с N-gram, очень интересно посмотреть что там у квена получилось. Раз выпустили - значит точно не хуже предыдущих моделей своего класса.
Пока что какая-то солянка, вместо нормально работающей модели. N-gram должен идти отдельным файлом, который остается на ссд, но пока что сами модели не разбиты на файлы должным образом, да и движки как-то не готовы для этого.
Энграмма должна оставаться на диске, а движок будет быстро вытаскивать нужные векторы по хэшам. При этом она плохо квантуется, поэтому даже Q1-Q2 модели тащат вместе с собой десятки гигабайт этой вспомогательной базы, которые пока что предлагают загружать в видео- и оперативную память.
Наверное Qwen выпустили эту модель, чтобы писатели движков доработали софт под эту архитектуру. Qwen4 наверняка уже сейчас обучается, и когда он выйдет, все движки подхватят его с пол-пинка.
На работе получилось этот Qwen3.8-flash-next в NVFP4 кванте и fp16 KV-cache запустить на 96vram, выгрузив N-gram в RAM - работает быстро, 100t/s+. Быстрее, чем у dense Qwen3.8-27b:fp8 на том же железе.
и да, вы правы, идея выгрузки N-gram на диск витает на reddit и прямо сейчас пул-реквесты в эту сторону уже пишутся.
Более того, выгрузить оставить N-grams на SSD можно просто жонглируя флагами LLAMA.cpp: https://www.reddit.com/r/unsloth/comments/1vz8zo6/comment/p6556ua/
--load-mode mmap → forces file-backed mmap even on the iGPU (bypasses the Vulkan mmap_support=!is_integrated_gpu bug)
--override-tensor per_layer_token_embd.weight=CPU → routes the PLE tensor to a CPU buffer that wraps the mmap’d pointer directly, so the OS can page it to NVMe
llama serve
-m ./Qwen3.8-Flash-Next-UD-IQ4_XS/Qwen3.8-Flash-Next-UD-IQ4_XS-00001-of-00003.gguf
-ngl 999
-fa 1
--load-mode mmap
--override-tensor per_layer_token_embd.weight=CPU
--jinja
--reasoning off
--temp 0.7 --top-p 0.80 --top-k 20 --min-p 0.0 --presence-penalty 1.5
-c 135000
Или вот так:
-ot "^per_layer_token_embd\.weight$=CPU"
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Qwen4: первая модель Alibaba на архитектуре нового поколения — Qwen3.8-Flash-Next