По итогам международного независимого бенчмарка DiBiMT «Яндекс Переводчик» вошёл в тройку по онлайн‑переводам. В части перевода текста с английского на русский язык сервис вообще занял первое место. Также «Яндекс Переводчик» занял третье место по качеству перевода с английского на китайский, немецкий, итальянский и испанский языки. Рейтинг опубликовали итальянские институты Sapienza и SSML Carlo Bo, рассказали информационной службе Хабра в пресс‑службе «Яндекса».

Бенчмарк DiBiMT — это эталонный тест для измерения процента ошибок в машинном переводе. Тестирование проходили многие онлайн‑переводчики, включая Google Translate и DeepL и открытые большие языковые модели, например, mBART-50, M2M100 и проект OPUS.

Исследователи собрали базу данных из нескольких тысяч предложений на английском языке с омонимами — одинаковыми по написанию словами, имеющими разное значение. Модели и сервисы перевели эти предложения, а алгоритмы бенчмарка определили процент корректно переведённых слов. Правильные варианты выборочно проверяли профессиональные переводчики. На основе этих показателей был сформирован публичный рейтинг. Кроме качества переводов, тест показал, что «Яндекс Переводчик» лучше других определяет значение конкретных английских слов в предложениях и допускает меньшее количество семантических ошибок.