Mozilla разрабатывает функцию локального перевода аудио в текст

[Wesha]

А можно нам всё-таки браузер? Чтобы только браузер? Без ИИ, без TTS, без этих bells and whistles? Нам ещё со всей этой фигней взлетать...

[dartraiden]

Браузер используется и для просмотра видосиков, для них преобразование речи в текст очень полезно: можно генерировать субтитры.

Я бы и от аудиоперевода локального не отказался. Сейчас приходится для этого привлекать мощности Яндекса.

https://github.com/ilyhalight/voice-over-translation

Очень удобная фича, когда знание языка не настолько хорошее, чтобы воспринимать на слух, а смотреть с субтитрами не вариант (например, хочется слушать в фоне, а не читать)

[Wesha]

Ну так замечтательно — пускай делают extension, Вы его себе ставите, все довольны. А мне оно на зачем?

[dartraiden]

А языковые модели и так подгружаются отдельно, так что вам убытка не будет.

[Flux]

Whisperfile кстати хорошо работает, сожрал 67 минут звука за 58 секунд на m1pro, в 70 раз быстрее реалтайма на CPU при довольно хорошем качестве для английского.

[morijndael]

Это по сути whisper.cpp. Просто упакованный в универсальный бинарник вместе с моделью