Comments 19
насколько сложно сделать перевод на выбранный язык с голосами используемыми в видео?
А есть какие-нибудь сравнения с другими моделями, типа whisper?
Whisper и большая часть текущих SOTA моделей совершенно не влазят в наши ограничения по drive / ram, так еще и не приспособлены к стриминговому режиму работы, а это один из наиболее важных критериев для нас из-за длины записей.
Плюс почти все такие бейслайны хорошо работают на английском, но далеко не на русском.
Довольно часто пользователи смотрят видео с субтитрами, и тому есть разные причины
Не смотрю, потому что тогда видео длинной в час я буду смотреть часа 3-4. Как только в ЯБ появился перевод в ютубе - стал им пользоваться.
Например, кто‑то хочет посмотреть видео там, где нужно соблюдать тишину или, наоборот, где слишком шумно
Странная причина, для этого есть наушники.
Яндекс Браузер решил эту проблему
Меня бы больше заинтересовало приложение для андроида, которое озвучивало бы потоковые сервисы через себя. Сейчас ЯБ ставить нужно и запускать внутри браузера видео чтобы получить доступ к переводу, а на ТВ и телефоне это неудобно делать. Для монетизации сервиса его бы можно было внедрить в Кинопоиск по подписке Плюс.
Вы скажите не к вам, но... мне кажется, вы этими плюшками не затянете пользоваться очень-очень назойливым браузером который лезет в систему и пользователю куда его совсем не просят!
Помните IE 15 лет назад?
частный кейс: слушаю видео и закрываю
Было бы здорово добавить и английские субтитры. Когда увидел заголовок, то сразу подумал об использовании для учебы: смотреть без субтитров, где нужно — включать английские, а для новых слов — английские субтитры менять на русские.
Английские субтитры в браузере уже есть на YouTube и Coursera, где работает функция перевода видео с иностранных языков. Субтитры интерактивные - по клику на незнакомое слово браузер покажет его перевод.
Субтитры будут доступны сразу, если видео раньше было переведено другим пользователем. Если интерактивных субтитров нет, нужно сначала перевести видео - тогда появятся и субтитры. При этом вы сможете слушать ролик в оригинале и читать субтитры на английском (фича работает для 6 языков).
Если говорить о создании английских субтитров для любого видео в интернете по технологии, которая описана в этой статье, - у нас есть такая идея, но о сроках пока говорить рано
аа еще очень важный момент
RLHF ?
когда модель будет дообучаться? прикрутить отзывы или что-то типа фидбэка
устал уже слушать
перевод first - первый, а не сначала,
github - джитаб
chatgpt -чет-чтото там гэпэте
Что-то это работает только на канале youtube. Пробовал проделать в одноклассниках не сработало.
Мне кажется, в статье была бы уместны ссылки на примеры таких страниц с видео.
А как сохранить субтитры перевода нейросети?
Давно уже использую Whisper и Vosk для генерации субтитров из звука.
Создаём субтитры для любого видео в интернете с помощью нейросети в браузере