iximy13 авг в 14:43

Qwen 3.8 27B — сутки до выхода модели. На huggingface запущен обратный отсчет

1 мин

19K

IT-инфраструктура * Искусственный интеллект

+24

Комментарии 52

jarkevithwlad 13 авг в 14:44

да мы больше gguf ждём в 4 кванте))

CodARM 13 авг в 15:01

Кстати, какой квант посоветуете? Я глянул юнисохов qwen 3.6 27b iq4_nl, но кажется с ним потребление Врам выше чем на q4

Запускаю в lm_studio на Винде

Предвосхищая вопрос, у меня семья 9 резидент проходит

Zailox 13 авг в 16:19

В чём проблема на HF глянуть вес модели и не гадать?

Nur0809 14 авг в 07:31

накати ubantu , на нем можно экономить 1 или 2 гига врам и приятнее в целом система

UPD сорри увидел сообщение про re))) ну выдели отдельное место на диске))

kox 13 авг в 16:01

Ну и в NVFP4 лично я.)))

ToxaBes 13 авг в 16:48

Кто как. Я жду в FP8 веса с BF16 KV-кешем. В такой конфигурации все влезает в одну RTX A6000 без оффлоада и практически без потери точности (что-то около 1% потерь по сравнению с BF16). Q4 к сожалению сильно бьет по качеству на длинных контекстах.

Elaugaste 14 авг в 02:11

Нужен nvfp4 от unslosh. Потому что пускалки gguf нормально с kv кешем работать не умеют. Осваиваем Vllm и радуемся

jarkevithwlad 14 авг в 05:06

вполне себе llama cpp есть с турбоквантом итого q5_k_m + 256к контекста полностью влазят в rtx 3090 24gb vram (даже на вин 11 если закрыть большинство приложений, а q4_k_m ещё оставляет пару гигов запаса)

alexandr93 14 авг в 06:56

Чтобы не закрывать большинство приложений, можно кабель втыкать во встройку)

jarkevithwlad 19 авг в 04:18

это если есть встройка

ToxaBes 14 авг в 13:48

NVFP4 хорош если у карты есть его аппаратная поддержка, иначе никакой vllm не поможет (сам в большинстве случае использую vllm, но не с NVFP4).

Elaugaste 20 авг в 05:00

vllm и nvfp4 не то чтобы связаны, vvlm просто умеет нормально с kv работать и не падать по oom.

ToxaBes 20 авг в 05:42

Так они и не связаны, я писал про аппаратную поддержку формата видеокартой.

dibu28 14 авг в 04:12

Жду в 2 bit для 12gb vram

jarkevithwlad 14 авг в 05:09

2 бита и на 8 gb отлично работает

p.s. но думаю для таких gpu лучше moe 35b, если ram хотя бы от 24 gb а лучше минимум 32

grin_chik 14 авг в 07:56

а можешь скинуть свою конфигурацию плиз, у меня 2 bit вылазит за пределы gpu. Сколько t/s выжимается?

jarkevithwlad 14 авг в 09:41

всё в статье

alexandr93 14 авг в 09:57

По ощущениям эти ternary bonsai глупее моделей от unsloth. Как будто moe модели по качеству выигрывают даже.

misha_ruchk0 13 авг в 16:52

Qwen 3.8 MoE надеюсь на очереди. потому как 27b хороши, но уж больно задумчивы на моем железе

HomoSibiricus 13 авг в 17:20

Сейчас появляется много моделей класса 30B - это очень хорошо для рядовых пользователей. При умении от них можно получить очень много.

HellQwer 13 авг в 20:50

У рядовых пользователей обычно 16врам и меньше. А в 3 бита как-то не очень верится.

riky 13 авг в 17:43

“должна стать самым мощным открытым решением для локальной генерации”. Открытые модельки с триллионами параметров скромно хихикнули.

Самым популярным или народным но явно не самым мощным. *тоже жду

kox 13 авг в 18:04

Какая разница сколько да соседней звезды- 3.5 световых года или 4? Никакой- эти расстояния недостижимы в сегодняшних реалиях. Куда реальнее сгонять в соседнюю деревню на мотоцикле.))) Тоже самое и моделями с триллионами параметров для обычных людей.

riky 14 авг в 10:17

27В многие запускают, практически народный размер. а 1-2Т конечно недосигаема. тем не менее разница все таки есть. если вы не запускаете дома такое, то оно вам и не надо. через апи зачастую дешевле выйдет. считал примерно 3090 генерирует примерно 3М токенов в сутки. я такой же объём куплю рублей за 10.

alexandr93 14 авг в 13:46

Там вроде тарифы считают ещё токены на вход и на кэш. Но да, если посмотреть ещё стоимость электричества, то не сильно выгодно выходит.

DerTosser 14 авг в 19:02

через апи зачастую дешевле выйдет

и так же секъюрно для чувствительных данных?

HellQwer 15 авг в 00:31

Только там прям в цитате про локальную генерацию ;)

DerTosser 13 авг в 18:30

Можно скромно хихикнуть как и на чём запускать такие модели. 27B..30B даже в BF16 требуют всего H100 x1 (для квантов вроде Q4_K_M вообще потребительские игровые видеокарты), а для 1T параметров держать кластер дома никто не собирается. И при этом 1Т это всё равно не AGI, и мало чем лучше 27B. Тем временем простые модельки вроде Gemma или Qwen с каждым разом становятся всё лучше и уже почти не уступают гигантам.

puchuu 13 авг в 21:19

У меня две 9060 xt по 16 гб каждая идеально работают с qwen 3.6 27b q8_0 mtp 35-40 t/s аутпут. Запускать еще уметь нужно.

polk1l0 14 авг в 05:12

А зачем вам именно восьмой квант? Между ним и шестым квантом разница очень небольшая.

puchuu 14 авг в 06:25

Меньше галлюцинаций. А если меньше галюников то и производительность выше т.к. после определения галюника нужно итерацию агента заново запускать.

polk1l0 14 авг в 06:27

Для 8 кванта какое у вас окно контекста на вашем оборудовании? У меня 100к и мне для агентских задач иногда не хватает.

puchuu 14 авг в 07:01

Если не квантовать KV и без fa то 64к токенов максимум. Если включить fa и квантовать K - q8_0, V - не квантовать (f16), то будет 77 тысяч. Если квантовать K - q8_0, V - q8_0 то 93 тысячи. Дальше я не квантоват т.к. 93 тысячи уже мне хвататает.

polk1l0 14 авг в 07:04

Я КВ кеш не квантую, с ним быаают зацикливания и галлюцинации. Вопрос - зачем использовать q8 квант и что бы в иоге получить 64к окно контекста и квантизируемый кеш?

puchuu 14 авг в 07:19

У меня так получаются лучшие результаты. Можете взять unsloth Q6_K_XL и крутить с 256к, там одну строчку поменять.

puchuu 14 авг в 07:18

https://gist.github.com/andrew-aladev/529c62d09c31e3e26dec36264fd9416f Делюсь

Lagovi 14 авг в 05:57

А входящие токены с какой скоростью обрабатываются?

puchuu 14 авг в 06:22

Ну если кванты меньше, то еще быстрее. Входящие 680-720 t/s

puchuu 14 авг в 07:39

https://gist.github.com/andrew-aladev/529c62d09c31e3e26dec36264fd9416f Делюсь

g1t5 14 авг в 08:13

У меня примерно похожая скорость генерации на двух mi50 по 32Гб каждая (vllm). 16 гиговые думаю 15-20 t/s могут дать...

g1t5 14 авг в 10:28

Хотя, с 128к контекста похоже даже на двух 16Гб картах можно получить примерно теже 30-40 t/s, на GPTQ-Int4.
Попытался сэмулировать 16 гиговые карты. Выставил --gpu-memory-utilization 0.48, rocm-smi показал VRAM% 47% на обоих картах.

Запускал с --kv-cache-dtype fp8 --tensor-parallel-size 2 --max-model-len 132144 модель Qwen3.6-27B-GPTQ-Pro-4bit

Получил: Avg generation throughput: 37.4 tokens/s.