Обновить

Я ошибался: бенчмарк 23 ASR-нейросетей для русской айтишной диктовки

Уровень сложностиСредний
Время на прочтение60 мин
Охват и читатели5.3K
Всего голосов 5: ↑4 и ↓1+3
Комментарии9

Комментарии 9

Voxtral от Mistral — лучший из non-Whisper, но критически медленный

что простите? Вы вообще тесты запускали? Он самый быстрый из бесплатных моделей с адекватным качеством.

И уж тем более странно сравнивать его по скорости с NVIDIA Parakeet TDT 0.6B v3, которая быстрая даже при локальном запуске, но при этом очень глупая.

мои данные с вашей оценкой не согласны, если у вас есть другие, закидывайте их сюда, буду рад на них посмотреть

а что касается сравнений, то я в статье пишу, что действительно адекватно сравнивать скорость только внутри одного рантайма, в моем бенчмарке это условие выполняется только для моделей семейства whisper, остальное приведено скорее справочно, но запускалось на той же машине

NVIDIA Parakeet TDT 0.6B v3, которая быстрая даже при локальном запуске, но при этом очень глупая.

и похоже, вы упустили, что все модели в этом исследовании, за исключением закрытых облачных моделей, запускались и тестировались именно локально

Огромное вам спасибо за статью! Сам хотел сделать подобное, но все руки не доходили, теперь можно смело пропустить этот шаг и обновить бенчмарк локальных моделей на применимость по бизнес кейсам.

По моему опыту, из локальных моделей, Breeze и Whisper идут ноздря в ноздрю и конкретный победитель зависит от специфики проекта. А так оба хороши.

спасибо за фидбек, рад помочь!

По моему опыту, из локальных моделей, Breeze и Whisper идут ноздря в ноздрю и конкретный победитель зависит от специфики проекта

согласен, очень похоже на правду)

меня удивило, насколько конкурентно выступил Whisper Turbo, в итоге из открытых я бы выбирал из Breeze, Turbo и Large v2

У меня на ноутбуке нет мощной видеокарты и Breeze ASR думает ооочень долго. А вот Sber Giga AM3 очень быстрый

GigaAM ОЧЕНЬ шустрый и чистый русский хорошо берет, мне к сожалению не подходит, так как у меня в речи много английских слов и терминов, а gigaam на этом сыпется сильно.

Если у вас такой проблемы нет, то это супер вариант, а если есть, то попробуйте whisper turbo, он в 2.5 раза быстрее, чем breeze и другие представители large семейства.

У меня из Wisper Turbo только Large модель доступна в Handy. Скорость у нее невысокая показана
У меня из Wisper Turbo только Large модель доступна в Handy. Скорость у нее невысокая показана

да, я про нее, формально она Large v3 Turbo, в народе просто Turbo. На моей машине в Handy она в 2.5-3 раза быстрее, чем Large v3 или Breeze

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации