Да, именно так, WhisperX+pyannote. Начинал с обычного asr, потом просто добавил новый функционал в код, теперь можно выбирать режим работы. Работает шустро (на Ada 2000 8Гб) QUASAR-версию qwen3.8 я развернул, на том же образе vllm (мой 0.26.1rc1), попробую и Ваш вариант 0.28 тоже. Полет нормальный, профит по скорости заметен, буду понемногу тестить. Пока отметил что по-другому работает MTP, драфтит кучу токенов и забирает из них по 80-100. Ну и квантование (это 4-бит) тоже играет свою роль - меньше трафик через память, выше скорость. У меня qwen3.8 уже три штуки набралось: fp8, quasar и обычный nvfp4 (работает из SGLang). И можно еще попробовать Dflash2 прикрутить (вот тут об этом пишут) - тоже MTP-бустер
Вопрос: какой у Вас образ vllm, случайно не spark-arena/dgx-vllm-eugr? Или Вы ставили vllm прямо на хост? Я гоняю qwen3.6 в FP8, в целом норм, но так то скорости конечно хочется побольше. @thetrues0l - спасибо за наводку про QUASAR, тоже буду пробовать, есть мнение что не хуже FP8, зато скорость выше. И про ASR, я выбирал между qwen и whisper, по итогу выбрал второго, там есть встроенный функционал для разбора потока на спикеров, очень удобно для обработки бесед или совещаний.
Да, именно так, WhisperX+pyannote. Начинал с обычного asr, потом просто добавил новый функционал в код, теперь можно выбирать режим работы. Работает шустро (на Ada 2000 8Гб)
QUASAR-версию qwen3.8 я развернул, на том же образе vllm (мой 0.26.1rc1), попробую и Ваш вариант 0.28 тоже. Полет нормальный, профит по скорости заметен, буду понемногу тестить. Пока отметил что по-другому работает MTP, драфтит кучу токенов и забирает из них по 80-100. Ну и квантование (это 4-бит) тоже играет свою роль - меньше трафик через память, выше скорость. У меня qwen3.8 уже три штуки набралось: fp8, quasar и обычный nvfp4 (работает из SGLang). И можно еще попробовать Dflash2 прикрутить (вот тут об этом пишут) - тоже MTP-бустер
Вопрос: какой у Вас образ vllm, случайно не spark-arena/dgx-vllm-eugr? Или Вы ставили vllm прямо на хост? Я гоняю qwen3.6 в FP8, в целом норм, но так то скорости конечно хочется побольше. @thetrues0l - спасибо за наводку про QUASAR, тоже буду пробовать, есть мнение что не хуже FP8, зато скорость выше.
И про ASR, я выбирал между qwen и whisper, по итогу выбрал второго, там есть встроенный функционал для разбора потока на спикеров, очень удобно для обработки бесед или совещаний.