Meta* представила модель SeamlessM4T, которая принимает входные данные в виде текста и аудио, распознаёт речь и способна переводить её на 100 языков.

Однако аудиоперевод пока доступен только на 35 языках.

Кроме того, модель работает с входными данными, в которых используется сразу несколько языков.

Проект с исходным открытым кодом доступен на GitHub. Также Meta выпустила набор данных SeamlessAlign, который включает 270 тысяч часов звучащей речи и её текстовый перевод. Компания сравнивает свою модель с вавилонской рыбкой из книг Дугласа Адамса «Автостопом по галактике».

Как использовать демо-версию:

надиктовать полное предложение на выбранном языке в тихой обстановке. Его длина не может превышать 15 секунд;
выбрать до трёх языков для перевода.

После этого будут доступны как транскрипция, так и аудиоперевод.

Исследователи предупреждают, что экспериментальная демонстрация может дать неточный перевод или изменить значение произнесённых слов. Они попросили сообщать о выявленных ошибках в её работе.

Модель основана на предыдущих проектах Meta, в том числе системе прямого перевода между языками, ИИ-переводчике для диалекта хоккеин без письменного варианта и других.

Ранее Meta представила нейросеть CM3leon для преобразования текста в изображения, изображений в текст и других подобных задач. Она полагается на трансформеры только с декодерами (decoder-only transformer), что делает её схожей с текстовыми моделями.

_{Meta Platforms*, а также принадлежащие ей Facebook** и Instagram**:
* признана экстремистской организацией, её деятельность в России запрещена;
** запрещены в России.}

Meta* представила нейросеть SeamlessM4T с функциями распознавания и перевода речи на 100 языков