Comments 6
Для распознавания русской речи GigaAM поинтересней выглядит.
Хорошая заметка, особенно про ffmpeg вместо PyAV: на ogg/opus из мессенджеров с этим действительно бывают проблемы. Про загрузку модели на каждый вызов: на small она обычно занимает пару секунд (на холодном диске больше), так что в ваших 9 с заметная часть может быть загрузкой, а не распознаванием. Вы замеряли отдельно WhisperModel(...) и transcribe()? Если упрётесь в задержку, можно держать процесс живым и кормить очередью, ценой ~0,5–1 ГБ памяти. А vad_filter заодно снижает галлюцинации Whisper на тишине, хотя полностью их не убирает.
в библиотеке chotto-ui для отображения текста и сводки по голосовым есть дополнительные поля https://mobilon-dev.github.io/chotto/?path=/story/feed-elements-audiomessage--with-text-and-summary
Интересная статья и полезный юзкейс, я тоже за локальное решение вместо облака. Whisper медленный и не самый точный, лучше GigaAM v3, как писали выше, или Parakeet v3 от NVIDIA: обе точнее и в разы быстрее.
Я делаю свой движок распознавания речи – wavo. Ваша статья вдохновила меня добавить поддержку CPU (было заточено под GPU только). Работа пока в процессе (https://github.com/vladkens/wavo/pull/104), но результаты уже хорошие – N100 30 секунд идут за 5,4 с против 14,8 с у faster-whisper small.
Мое решение free & open-source, так что если интересно – буду рад новому пользователю!
Расшифровка голосовых для CRM на двух ядрах без видеокарты: faster-whisper, ffmpeg и cron