Компания «Яндекс» заявила, что «Яндекс Браузер» научился переводить видео с китайского языка. Браузер может переводить видео с китайского и автоматически накладывать русскую озвучку, рассказали информационной службе Хабра в пресс‑службе IT‑компании.
По заявлениям разработчиков, технология уже работает на YouTube, и позже появится поддержка китайской видеоплатформы Bilibili. Готовых решений для китайского языка не было, поэтому разработчики с нуля собрали датасет. При помощи специального алгоритма создатели обработали 1,5 миллиона видео и выбрали 100 тысяч с качественными субтитрами на севернокитайском языке.
Превращение речи в текст было первым этапом перевода, и для этого нейросети, используемой в «Яндекс Браузере», пришлось выучить тысячи иероглифов. Нейросеть научилась понимать иероглифы, а словарь для работы с китайским языком разработчики закодировали в виде 10 тысяч токенов. Один токен — это один слог или регулярно использующееся сочетание двух слогов. Как говорят создатели, пять европейских языков, переводимые «Яндекс Браузером», уместились в библиотеку на 5 тысяч токенов. Кроме того, нейросеть обучили делить сплошной поток иероглифов на смысловые отрезки для точной синхронизации перевода с исходной речью.
Самая сложная особенность китайского языка — это изучение четырёх тонов, определяющих смысл сказанного. Тон представляет собой мелодический рисунок голоса. Один и тот же слог, произнесённый с повышением или понижением голоса, означает разные вещи. На понимание этой особенности у человека уходят годы. Разработчики утверждают, что нейросеть «Яндекс Браузера» справились за месяц. Также в китайском много омофонов — слов, звучащих одинаково, но пишущихся по‑разному и обладающих разным значением. Чтобы различать их, нейросети Браузера умеют учитывать контекст. Подробный рассказ об особенностях технологии опубликован в статье разработчиков.
