Facebook AI представила новую систему машинного перевода M2M-100 с 15 млрд параметров. Она способна переводить с одного языка на другой напрямую, не используя английский в качестве промежуточного.
Компания заявила, что новая система стала первой многоязычной моделью машинного перевода. Она способна осуществлять переводы между парами из ста языков. Модель обучали на наборе данных из более чем 7,5 млрд предложений как из базы Facebook, так и из других источников. При разработке использовали инструмент CommonCrawl, который поддерживает открытый репозиторий данных веб-сканирования, и систему классификации текстов FastText, которую в Facebook представили несколько лет назад.
Согласно метрикам BLEU, M2M-100 на 10 баллов опережает предшественника, где английский язык был промежуточным.
Facebook AI отмечает, что эта модель может быть полезной не только при машинном переводе, но и при изучении языков.
Компания пообещала сделать набор данных обучения и оценки модели доступным для научного сообщества.
В настоящее время только для своей новостной ленты Facebook ежедневно выполняет около 20 млрд машинных переводов. В компании отметили, что использование английского языка в качестве посредника снижало точность такого перевода и усложняло процесс.
См. также:
