Пользователям «Яндекс Браузера» теперь доступен многоголосый перевод видео: голосов стало двенадцать: шесть мужских и шесть женских. Благодаря улучшенным алгоритмам воспринимать видео с большим количеством спикеров стало намного легче, заявили Хабру в пресс-службе «Яндекса». Сначала одна нейросеть переводит речь в текст, восстанавливает пунктуацию и определяет границы предложений. Затем уже другая нейросеть анализирует спектрограмму голоса и отмечает на аудиодорожке фрагменты, сказанные разными людьми. Так и становится ясно, кто из спикеров что произнёс.
«Мы постоянно работаем над качеством перевода и озвучки, чтобы дать нашим пользователям доступ к любому контенту со всего мира. По нашим оценкам, около половины YouTube-роликов на иностранных языках — это ролики с тремя и более спикерами. Смотреть их с двухголосой озвучкой не совсем удобно — поэтому мы и сделали десять новых голосов», — сказал руководитель приложения «Яндекс» и «Яндекс Браузера» Дмитрий Тимко.
В сентябре 2021 года Яндекс представил технологию закадрового перевода видео для роликов на английском языке. Затем добавил французский, немецкий, испанский и итальянский языки. В планах — новые пары языков, например китайский. Нейросети продолжают помогать стирать границы в интернете: в Яндекс Браузере также появились интерактивные субтитры с подсветкой по словам, которые можно включить как на языке оригинала, так и на русском. Помимо этого, Яндекс добавил в свой браузер уникальную технологию автоматического закадрового перевода прямых трансляций на YouTube — сейчас она находится в режиме открытого тестирования.
