Создаём субтитры для любого видео в интернете с помощью нейросети в браузере

[Sarjin]

насколько сложно сделать перевод на выбранный язык с голосами используемыми в видео?

[N1kSt4r]

Клонирование голоса сложно сделать, тем более локально. Моя статья в первую очередь про распознавание речи на устройстве пользователя, когда язык субтитров совпадает с языком видео. Я говорю только про генерацию текста.

Но команда перевода видео исследует эту задачу

[Kristaller486]

А есть какие-нибудь сравнения с другими моделями, типа whisper?

[N1kSt4r]

Whisper и большая часть текущих SOTA моделей совершенно не влазят в наши ограничения по drive / ram, так еще и не приспособлены к стриминговому режиму работы, а это один из наиболее важных критериев для нас из-за длины записей.
Плюс почти все такие бейслайны хорошо работают на английском, но далеко не на русском.

[Kristaller486]

Про ограничения понимаю, мне скорее интересно про точность.

[N1kSt4r]

Да, я понимаю.

Просто точность может зависеть от домена и датасета, поэтому с большими моделями без обучения на наших датасетах сравнение не валидно.

Если сравнивать с моделью перевода видео, то у нас отставание на 10-15% (относительные) по WER на нашем русском датасете.

[dimnsk]

Вы скажите не к вам, но... мне кажется, вы этими плюшками не затянете пользоваться очень-очень назойливым браузером который лезет в систему и пользователю куда его совсем не просят!
Помните IE 15 лет назад?

частный кейс: слушаю видео и закрываю

[s207883]

Видел варианты, по прикручиванию перевода от Яндекса к любым други браузерам.

[farrow]

Было бы здорово добавить и английские субтитры. Когда увидел заголовок, то сразу подумал об использовании для учебы: смотреть без субтитров, где нужно — включать английские, а для новых слов — английские субтитры менять на русские.

[N1kSt4r]

Английские субтитры в браузере уже есть на YouTube и Coursera, где работает функция перевода видео с иностранных языков. Субтитры интерактивные - по клику на незнакомое слово браузер покажет его перевод.

Субтитры будут доступны сразу, если видео раньше было переведено другим пользователем. Если интерактивных субтитров нет, нужно сначала перевести видео - тогда появятся и субтитры. При этом вы сможете слушать ролик в оригинале и читать субтитры на английском (фича работает для 6 языков).

Если говорить о создании английских субтитров для любого видео в интернете по технологии, которая описана в этой статье, - у нас есть такая идея, но о сроках пока говорить рано

[lexmirnov]

Спасибо, полезная вещь. Ещё пригодился бы функционал выгрузки субтитров в текстовый файл, раз уж они есть.

(Тестирую — к публичному видео, выложенному на облако Mail.ru, не генерирует, пишет «недоступны»).

[dimnsk]

аа еще очень важный момент
RLHF ?
когда модель будет дообучаться? прикрутить отзывы или что-то типа фидбэка

устал уже слушать
перевод first - первый, а не сначала,
github - джитаб

chatgpt -чет-чтото там гэпэте

серьезно? год уже нарицательному имени...

[Orngali65]

Что-то это работает только на канале youtube. Пробовал проделать в одноклассниках не сработало.

[BarakAdama]

Точно ли последняя версия Браузера (можно в меню в «О браузере» проверить обновления)? Если да, то можно ещё разок перезапустить и проверить.

[zxx33]

Я тоже столкнулся с такой же проблемой. Функция создания субтитров работает только на YouTube, на Rutube и Premier.one она отсутствует. Версия браузера - 23.7.5.735. Не же, что можно создавать субтитры на любом видеосервисе?... Это ошибка

[KhodeN]

Мне кажется, в статье была бы уместны ссылки на примеры таких страниц с видео.

[grumpytoe]

А как сохранить субтитры перевода нейросети?

[Laryx]

Давно уже использую Whisper и Vosk для генерации субтитров из звука.