Создаём субтитры для любого видео в интернете с помощью нейросети в браузере

[Sarjin]

насколько сложно сделать перевод на выбранный язык с голосами используемыми в видео?

[N1kSt4r]

Клонирование голоса сложно сделать, тем более локально. Моя статья в первую очередь про распознавание речи на устройстве пользователя, когда язык субтитров совпадает с языком видео. Я говорю только про генерацию текста.

Но команда перевода видео исследует эту задачу

[Kristaller486]

А есть какие-нибудь сравнения с другими моделями, типа whisper?

[N1kSt4r]

Whisper и большая часть текущих SOTA моделей совершенно не влазят в наши ограничения по drive / ram, так еще и не приспособлены к стриминговому режиму работы, а это один из наиболее важных критериев для нас из-за длины записей.
Плюс почти все такие бейслайны хорошо работают на английском, но далеко не на русском.

[Kristaller486]

Про ограничения понимаю, мне скорее интересно про точность.

[N1kSt4r]

Да, я понимаю.

Просто точность может зависеть от домена и датасета, поэтому с большими моделями без обучения на наших датасетах сравнение не валидно.

Если сравнивать с моделью перевода видео, то у нас отставание на 10-15% (относительные) по WER на нашем русском датасете.

[Zara6502]

Довольно часто пользователи смотрят видео с субтитрами, и тому есть разные причины

Не смотрю, потому что тогда видео длинной в час я буду смотреть часа 3-4. Как только в ЯБ появился перевод в ютубе - стал им пользоваться.

Например, кто‑то хочет посмотреть видео там, где нужно соблюдать тишину или, наоборот, где слишком шумно

Странная причина, для этого есть наушники.

Яндекс Браузер решил эту проблему

Меня бы больше заинтересовало приложение для андроида, которое озвучивало бы потоковые сервисы через себя. Сейчас ЯБ ставить нужно и запускать внутри браузера видео чтобы получить доступ к переводу, а на ТВ и телефоне это неудобно делать. Для монетизации сервиса его бы можно было внедрить в Кинопоиск по подписке Плюс.

[dimnsk]

Вы скажите не к вам, но... мне кажется, вы этими плюшками не затянете пользоваться очень-очень назойливым браузером который лезет в систему и пользователю куда его совсем не просят!
Помните IE 15 лет назад?

частный кейс: слушаю видео и закрываю

[s207883]

Видел варианты, по прикручиванию перевода от Яндекса к любым други браузерам.

[farrow]

Было бы здорово добавить и английские субтитры. Когда увидел заголовок, то сразу подумал об использовании для учебы: смотреть без субтитров, где нужно — включать английские, а для новых слов — английские субтитры менять на русские.

[N1kSt4r]

Английские субтитры в браузере уже есть на YouTube и Coursera, где работает функция перевода видео с иностранных языков. Субтитры интерактивные - по клику на незнакомое слово браузер покажет его перевод.

Субтитры будут доступны сразу, если видео раньше было переведено другим пользователем. Если интерактивных субтитров нет, нужно сначала перевести видео - тогда появятся и субтитры. При этом вы сможете слушать ролик в оригинале и читать субтитры на английском (фича работает для 6 языков).

Если говорить о создании английских субтитров для любого видео в интернете по технологии, которая описана в этой статье, - у нас есть такая идея, но о сроках пока говорить рано

[lexmirnov]

Спасибо, полезная вещь. Ещё пригодился бы функционал выгрузки субтитров в текстовый файл, раз уж они есть.

(Тестирую — к публичному видео, выложенному на облако Mail.ru, не генерирует, пишет «недоступны»).

[dimnsk]

аа еще очень важный момент
RLHF ?
когда модель будет дообучаться? прикрутить отзывы или что-то типа фидбэка

устал уже слушать
перевод first - первый, а не сначала,
github - джитаб

chatgpt -чет-чтото там гэпэте

серьезно? год уже нарицательному имени...

[Orngali65]

Что-то это работает только на канале youtube. Пробовал проделать в одноклассниках не сработало.

[BarakAdama]

Точно ли последняя версия Браузера (можно в меню в «О браузере» проверить обновления)? Если да, то можно ещё разок перезапустить и проверить.

[zxx33]

Я тоже столкнулся с такой же проблемой. Функция создания субтитров работает только на YouTube, на Rutube и Premier.one она отсутствует. Версия браузера - 23.7.5.735. Не же, что можно создавать субтитры на любом видеосервисе?... Это ошибка

[KhodeN]

Мне кажется, в статье была бы уместны ссылки на примеры таких страниц с видео.

[grumpytoe]

А как сохранить субтитры перевода нейросети?

[Laryx]

Давно уже использую Whisper и Vosk для генерации субтитров из звука.