Как мы научились сохранять тембр и интонацию спикера при переводе видео в Яндекс Браузере

Тестировал модель где-то неделю в публичной бете браузера. Молодцы! Теперь жду модель в Алисе, ей (особенно в лайв-режиме) живости речи сильно не хватает с её монотонными стенами текста

А планируется ли добавление новых языков в перевод видео Яндекс. Браузера?
Мои предложения:
Арабский
Вьетнамский
Нидерландский
Польский
Португальский
Тайский
Турецкий

Лучше бы поправили перевод цифр. А то все время 150, хотя 150_000 и тп.

Гленна Гринвалда переводит с сильным акцентом.

https://m.youtube.com/watch?v=yfGc0Ve6s64

Это если с сохранением интонаций. А обычный перевод очень хорош.

Для тех, кому лень читать субтитры.

Ребят когда рекламные вставки будут в переводе? Я заждался, выпускать релиз без согласования с маркетологами это что-то удивительное для Яндекса.

Что-то в яндекс.браузере бета под линуксом этой функции нет.

Планируется ли внедрить "перевод" с русского на русский, когда исходный звук в видео плохого качества и его тяжело слушать?

Это ж Америкашка Дэнни.

Попробовал, очень даже годно, на слух как нормальных дубляж воспринимается. Перевод иногда не слишком хорош, когда видео какое-то специфичное, но этим и "кожаные" переводчики часто грешат. В целом очень крутая фича получилась!

Я когда услышал - просто обалдел! Это отвал башки. По сравнению со стандартной Алисой день и ночь вообще. Поверить не мог, что это нейросеть.

Как уже выше писали, было бы круто добавить побольше языков. В частности, хинди. Да и вообще азиатские (малайский, тайский). А то, как водится, выходит какой-нибудь классный смартфон-глобалка в Индии, и обзоры все на хинди (или хз на каком языке). Балакают прикольно, но нипанятна.

И да, по-моему очевидное приложение данной фичи, - это перевод всяких трейлеров на Кинопоиске. Очень удивился, что для Кинопоиска перевод почему-то не включили. Попробовал попереводить трейлеры с ютуба - получается оооочень плохо, но это не из-за озвучки, а именно из-за самого перевода. Он очень плохо переводит именно киношные диалоги. По-моему, это можно было бы без особых усилий подтянуть (видимо, этим просто особо никто не занимался).

Короче, я считаю, что вы просто огромные молодцы! И нейросетевой дубляж кино - это то, в чём Яндекс может быть первым в мире. Не знаю, внедрили ли вы уже перевод в Яндекс ТВ, но если нет, то стоило бы. Это ж просто киллер-фича!!

Ну и в Алису тоже, а то чего она как в прошлом застряла.

В идеале было бы супер, если бы не просто интонации и тембр копировали, а именно весь голос (как Heygen).

Давно слежу и пользуюсь переводом видео в браузере. Считаю, что это киллер-фича. Спасибо.

Подскажите, а есть в планах использовать данную технологию в синхронном переводе созвонов? Хотя, могу предположить, что как отдельный продукт вряд ли, но мб в рамках Я экосистемы? А то в последнее время появляется много продуктов по устранению языковых барьеров, было бы здорово увидеть и русскоязычную базу от Я.

Потрясающая работа. Хотелось бы понять, а возможно ли указать свои субтитры с правильным переводом. В этом плане к сожалению модель еще не совершенна. Например, вместо факсы говорит факты. А вы не прогоняете текст перед озвучкой в какой-нибудь yandex gpt5 например? полагаю это бы сильно сократило количество подобных ошибок. Потому что по контексту понятно, что факсы, но видимо распознавание голоса именно так услышало. Хотя через пару минут уже скажет факсы.

остается начать переводить другие языки и научить говорить голосом оригинала

Перевод с озвучкой — дело хорошее. Синтез речи давно уже выше приемлемого уровня.
А вот перевод очень страдает даже в мало-мальски специализированных видео.

1. один и тот же термин в течение всего видео переводится по-разному.
2. Термин или слово переводится неправильно, абсолютно в отрыве от темы видео.

Это общая беда нейронок сейчас — отсутствие памяти со знаниями и вообще плотного взаимодействия с классическими алгоритмами. То есть определить тематику видео, собрать слова по применению, найти среди них термины, перевести термины в контексте тематики, сохранить этот перевод термина как правильный, использовать этот перевод термина на протяжении всего видео.