Meta* представила модель SeamlessM4T, которая принимает входные данные в виде текста и аудио, распознаёт речь и способна переводить её на 100 языков.
Однако аудиоперевод пока доступен только на 35 языках.
Кроме того, модель работает с входными данными, в которых используется сразу несколько языков.
Проект с исходным открытым кодом доступен на GitHub. Также Meta выпустила набор данных SeamlessAlign, который включает 270 тысяч часов звучащей речи и её текстовый перевод. Компания сравнивает свою модель с вавилонской рыбкой из книг Дугласа Адамса «Автостопом по галактике».
Как использовать демо-версию:
надиктовать полное предложение на выбранном языке в тихой обстановке. Его длина не может превышать 15 секунд;
выбрать до трёх языков для перевода.
После этого будут доступны как транскрипция, так и аудиоперевод.
Исследователи предупреждают, что экспериментальная демонстрация может дать неточный перевод или изменить значение произнесённых слов. Они попросили сообщать о выявленных ошибках в её работе.
Модель основана на предыдущих проектах Meta, в том числе системе прямого перевода между языками, ИИ-переводчике для диалекта хоккеин без письменного варианта и других.
Ранее Meta представила нейросеть CM3leon для преобразования текста в изображения, изображений в текст и других подобных задач. Она полагается на трансформеры только с декодерами (decoder-only transformer), что делает её схожей с текстовыми моделями.
Meta Platforms*, а также принадлежащие ей Facebook** и Instagram**:
* признана экстремистской организацией, её деятельность в России запрещена;
** запрещены в России.
