Голосовой перевод трансляций в Яндекс Браузере: как он устроен и чем отличается от перевода обычных видео

[gusev]

В онлайн-видео потоке работает очень круто. Можно ли эту технологию применить для электронного переводчика? Если в двух словах почему продукты, даже от уважаемых поисковых компаний, которые есть сейчас на рынке просто хлам, в сравнении с вашим потоковым переводом?

[Two_Sheds]

Насколько я понимаю, писать субтитры в два раза быстрее и проще чем генерировать аудио поток. А если к стриму будет еще и добавляться текстовый файл будет вообще чудесно.

[HemulGM]

На сколько я понял, проблема именно в скорости перевода, а не в озвучивании текста. Т.к. качество перевода зависит от полноты данных (предложения)

[TonyEscobar]

Скажем так, необходимость озвучки (что само по себе дело небыстрое, в сравнении с генерацией текста) усугубляет проблему скорости перевода. Проблема полноты данных и сохранения контекста есть в обоих случаях, если мы говорим о генерации в реальном времени.

К тому же добавляются проблемы с тем, чтобы скорость речи (и, в идеале, интонация и тональность голоса) +- совпадали, иначе в стриме с несколькими говорящими людьми начнется хаос.

[Topchan]

Супер!

Но проверил в Я браузере декстопном и в мобильном. Пока, например NASA, не включается перевод.

[BarakAdama]

Подскажите десктопную ОС, пожалуйста.

[Katsiaryna001]

Да, у меня тоже не заработало (windows)

[SevSergei]

было бы здорово, если можно было открыть локальное видео и перевести. Или может такое уже есть?

[gressmc]

Можно попробовать загрузить в Ютуб) с ограничениями на доступ.

[AigizK]

А если один стрим смотрят 2 человека, то как и прежде будет только один раз переводиться?

[vabka]

Кажется разумным, что да. Так как результат 1 и тратить N мощности на выполнение двойной работы — такое себе.

[klirichek]

Можно же просто стримить пользователю с задержкой. Как раз, чтобы все конвейеры прогрелись.
Если это не диалог с пользователем - ну, будет переведённое видео (со звуком) отставать, скажем, на минуту; это не прямо сильно критично.

[asrtonom4ek]

было бы круто добавить возможность увеличить задержку для поднятия качества. Например задержка в 1мин меня устроит (при условии синхронизации видео), зато перевод будет качественнее

[polRk]

Яндекс, а теперь субтитры в зуме, пожалуйста:)

[alexmsk]

Лучше уж потоковый многосторонний мультиязычный перевод, чего уж там :)

[XperiAndri]

А с русского на английский?

[chemtech]

@sdukanov Спасибо. Планируется ли платная возможность перевода локальных видео файлов?

[actualinfo]

Как я понимаю, работает это штука только в одном направлении - перевод с английского на русский? А если наоборот - высылаешь иностранцу ссылку на русскоязычное видео, а он в яндекс-браузере нажимает кнопку перевода и смотрит на своём английском, немецком и т.д.?