Как стать автором
Обновить

«Яндекс Браузер» научили переводить с китайского языка и автоматически накладывать русскую озвучку

Время на прочтение 2 мин
Количество просмотров 3.8K

Компания «Яндекс» заявила, что «Яндекс Браузер» научился переводить видео с китайского языка. Браузер может переводить видео с китайского и автоматически накладывать русскую озвучку, рассказали информационной службе Хабра в пресс‑службе IT‑компании.

По заявлениям разработчиков, технология уже работает на YouTube, и позже появится поддержка китайской видеоплатформы Bilibili. Готовых решений для китайского языка не было, поэтому разработчики с нуля собрали датасет. При помощи специального алгоритма создатели обработали 1,5 миллиона видео и выбрали 100 тысяч с качественными субтитрами на севернокитайском языке.

Превращение речи в текст было первым этапом перевода, и для этого нейросети, используемой в «Яндекс Браузере», пришлось выучить тысячи иероглифов. Нейросеть научилась понимать иероглифы, а словарь для работы с китайским языком разработчики закодировали в виде 10 тысяч токенов. Один токен — это один слог или регулярно использующееся сочетание двух слогов. Как говорят создатели, пять европейских языков, переводимые «Яндекс Браузером», уместились в библиотеку на 5 тысяч токенов. Кроме того, нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки для точной синхронизации перевода с исходной речью.

Самая сложная особенность китайского языка — это изучение четырёх тонов, определяющих смысл сказанного. Тон представляет собой мелодический рисунок голоса. Один и тот же слог, произнесённый с повышением или понижением голоса, означает разные вещи. На понимание этой особенности у человека уходят годы. Разработчики утверждают, что нейросеть «Яндекс Браузера» справились за месяц. Также в китайском много омофонов — слов, звучащих одинаково, но пишущихся по‑разному и обладающих разным значением. Чтобы различать их, нейросети Браузера умеют учитывать контекст. Подробный рассказ об особенностях технологии опубликован в статье разработчиков.

Теги:
Хабы:
+11
Комментарии 3
Комментарии Комментарии 3

Другие новости

Истории

Ближайшие события

PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн
EvaConf 2024
Дата 16 апреля
Время 11:00 – 16:00
Место
Москва Онлайн
Weekend Offer в AliExpress
Дата 20 – 21 апреля
Время 10:00 – 20:00
Место
Онлайн