Обновить

Комментарии 14

Я так понимаю новшество не в моделях(не совсем в моделях), а в алгоритме. Интересно когда добавят в llama.cpp. Хотя это чем-то похоже на MTP

Это не просто похоже, а буквально описание MTP - сама модель генерит несколько варинатов за один проход, потом отфильтровывает.

есть форк для gguf, прямо сейчас собираю для cuda

Скрин сборки

p.s. наверняка при сборке я напортачил ибо было много проблем, но на rtx 3090 у меня такое..

Скрытый текст

хотя в целом не вижу смысла в этой модели

т.к.

скорости не очём, у меня на rtx 3090 в qwen 3.6 35b 95 ток/с и это без MTP

p.s.s. хотя в этой же сборке gemma4 e4b у меня выдаёт 70ток/с

Скрытый текст

Скорость это конечно крутяшно, но гораздо важнее точность ответов)
А то на турбо ускорении будет летать вокруг да около несколько итераций, а там хоба в два раза с меньшей скоростью ответ с первого раза^ ^

так и должно быть, ибо сие поделие оптимизировано под архитектуру GB200 :)

а если как в офф моделях делать через transformers + torch_cu128 и тд, то в nvidia/Nemotron-Labs-Diffusion-3B у меня 85 ток/с что тоже далеко не лучший результат

При каком размере контекста такие скорости?

И какая задержка до начала генерации первого токена?

контекст 128к, не смотрел даже

контекст 128к

Я имел ввиду сколько из 128к было реально заполнено? Дело в том, что у трансформера квадратичная сложность от длинны контекста, понятно что там kv кэш, но интересна производительность на реальном значении заполненности контекста, а он у агентов обычно заполнен на половину.

не смотрел даже

А напрасно, потому что агент пересылает всегда весь контекст целиком, и когда тот вырастает, это время становится значительным. Генерация т/с может быть одна, но время до начала генерации первого токена становится в разы больше.

всё проще, эти скорости на начальных этапах, дальше лучше не будет, а значит в топку))

Я так понимаю, что Multi-Token Prediction это когда считаются параллельно варианты и потом идёт обход алгоритмом-роутером по графу вариантов. А при режиме bidirectional draft т.е. "диффузии " генерируются сразу много пачек связанных токенов, их вторым прогоном проверяют на совпадение, и если на каком-то этапе не совпадает, то выкидывается сразу вся пачка.
Проверка пачек токенов авторегрессией в разы (реально - раза в два) быстрее, чем роутинг по графу.

Очевидно , что "self-speculation" очень хорошо будет работать на длинных предсказуемых цепочках, а на коротких - двойной прогон сожрёт всю экономию. И если поставить высокую "температуру" у модели, то предсказуемость поломается.

В общем, это алгоритм для агентского использования LLM :)

Почему поломается? маленькая модель приближает распределение большой модели, температура должна на обеих влиять одинаково, если исходить из формулы софтмакса, нет разве?

Сейчас набегут ллм ненавистники и скажут, что подавляющую часть времени вы смотрите не на код, который написал аги, а на картинки, которые вам нагенерила из белого шума диффузионка, как котиков )

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации