Комментарии 27
Я, со своим опенсорсным COMET рейтингом переводчиков на 40 позиций: "Ждём-с!" :)
Пока самый топовый на англо-русском переводе - Sonnet 3.5, уже лучше GPT-4.
Насколько велико различие между 87.93 и 87.53 на практике?
Тоже любопытно. Попробовал сравнить стихи)
google_translate:
There is a green oak near the Lukomorye;
Golden chain on the oak tree:
Day and night the cat is a scientist
Everything goes round and round in a chain;
He goes to the right - the song starts,
To the left - he tells a fairy tale.
There are miracles there: a goblin wanders there,
The mermaid sits on the branches;
There on unknown paths
Traces of unseen beasts;
deepl
There's a green oak tree by the bow-moor;
A golden chain on that oak:
And day and night the learned cat
He walks the chain around and around;
He goes to the right and sings a song,
He goes to the left and tells a tale.
There are wonders there: there's a lion wanders there,
There's a mermaid on the branches;
There on unknown paths
Footprints of unseen beasts;
Я русско->английский перевод не решусь сравнивать, не настолько у меня хороший английский.
Но вообще там метрики неинтересные - все +- одно и то же выдают имхо. А вот английский->русский интереснее, там конкуренция и оценить можно.
И да - там разница в единицу приличная.
Если хотите пример, на котором большинство ломается - вот фраза (FLORES датасет):
"Tournament top seeds South Africa started on the right note when they had a comfortable 26 - 00 win against 5th seeded Zambia."
Рискнул. Действительно, дипл половину слов выкинул. Нечасто такое вижу
В этой фразе используется специфическая спортивная лексика, которая могла отсутствовать в параллельных текстах, на которых обучали машинные переводчики. Мне самому пришлось малость погуглить для того, чтобы уточнить смысл слова seed, потому что не болельщик и не спортсмен...
Это да, но поэтому оно и интересно. Совсем обычные фразы все переводят +- хорошо.
Я бы не сказал, что так уж хорошо. Ниже привожу пример перевода взятого отсюда английского текста.
Оригинал:
With an initial $50 million investment, the Bay Area Housing Innovation Fund will support four projects in the greater San Francisco Bay Area, creating more than 400 homes within the next two years. Using proven methods, the fund is uniquely focused on removing barriers that affordable housing developers frequently encounter in order to deliver high-quality units faster and for significantly less than current industry averages.
DeepL:
При первоначальных инвестициях в размере 50 миллионов долларов Фонд жилищных инноваций района залива поддержит четыре проекта в районе залива Сан-Франциско, что позволит создать более 400 домов в течение следующих двух лет. Используя проверенные методы, фонд нацелен на устранение барьеров, с которыми часто сталкиваются застройщики доступного жилья, с тем чтобы обеспечить строительство высококачественных объектов быстрее и за значительно меньшие деньги, чем в среднем по отрасли.
Google Translate:
С первоначальными инвестициями в размере 50 миллионов долларов Фонд жилищных инноваций в районе залива поддержит четыре проекта в районе залива Сан-Франциско, построив более 400 домов в течение следующих двух лет. Используя проверенные методы, фонд уделяет особое внимание устранению барьеров, с которыми часто сталкиваются застройщики доступного жилья, чтобы поставлять высококачественные квартиры быстрее и за значительно меньшие деньги, чем в настоящее время в среднем по отрасли.
Оба перевода с виду гладкие, однако содержат неточности и как минимум одну смысловую ошибку (подробнее здесь). Это при том, что текст оригинала вполне себе простой для понимания.
На всякий случай уточняю, что были переведены 3 абзаца, включая приведенный выше. Выложил только третий абзац, чтобы не загромождать комментарий.
Я воткнул раза с третьего, в чем проблема - в многозначности projects и home. Причем перевод имхо приличный, а детали выясняются, если рассмотреть контекст.
Т.е. без контекста перевод вполне корректный, на мой взгляд.
Пример со спортивной лексикой имхо хорош тем, что человек относительно легко может догадаться, что seeded используется в другом значении, и не станет рассказывать о командах "посеянный", как это делают машинные переводчики - просто в аспекте смысла.
<...> Причем перевод имхо приличный, а детали выясняются, если рассмотреть контекст.
Google Translate переводит неправильно даже при наличии доступа ко всей веб-странице со статьей. Можете убедиться сами: Apple помогает создать Фонд жилищных инноваций Bay Area - Apple
Хотя, наверное, я слишком придирчивый. Люди-то зачастую переводят неправильно.
Пример со спортивной лексикой имхо хорош тем, что человек относительно легко может догадаться, что seeded используется в другом значении, и не станет рассказывать о командах "посеянный", как это делают машинные переводчики - просто в аспекте смысла.
Насколько я знаю, нейросетевые переводчики работают по стохастическому принципу (точнее, используют вероятностный подход), так что...
Насколько я знаю, нейросетевые переводчики работают по стохастическому принципу, так что...
Это да, но как раз тут и можно оценить, насколько хорошо натренирована модель в целом.
Я имел в виду, что сравнение с живым переводчиком не вполне уместно, поскольку машинный переводчик при незнании правильного варианта тупо выберет "ближайший" неправильный. При этом ни в коем случае не умаляю заслуг разработчиков переводческих нейросетей, поскольку прогресс в качестве перевода, что ни говори, колоссальный.
Ну, можно так сказать, но тогда мы же все равно в целом оцениваем натренированность модели с учетом разных кейсов - т.е. вполне себе её уровень для решения практических задач.
В датасете FLORES куча разных новостных сообщений из разных областей, где-то имена нужно переводить, где-то термины впрямую транслитерировать. Ну, и конечно, имеет значение средний рейтинг, а не то, хорошо ли перевела модель конкретную фразу, это правда.
Наконец-то хоть кто-то ещё использует модели Claude для задач на русском языке! Они давным-давно были топом на русском, а 3.5 Sonnet сам по себе лучше GPT-4o практически во всех задачах (включая программирование).
Я ещё со времён когда опус зарелизили, он вообще идеально переводит. Да ещё можно перевод адаптировать под разный стиль от стихотворного до гоблина или Жириновского например, я так например субтитры к кино, переводил а разных вариациях, просто шикарно. А вообще если просто переводить, я книжку переводил в 200 страниц, мне потом сказали, зачем я в ручную переводил. Клауд3 отличный в переводах и во многом лучше 4ки. Скоро 3.5 версия Опуса должна зарелизиться. Думаю там будет ещё интересней.
Как насчёт "китайский->русский"?
Это истинный попа боль, если английский->русский более менее понятно обычным переводом Google, то вот китайский->русский зачастую рандомные слова, даже не нужно искать специальные предложения.
У меня есть DeepL Pro, могу поделиться доступом.
Тут есть результаты по японскому->русскому: https://github.com/janvarev/OneRingTranslator/blob/main/docs_md/ESTIMATIONS.md#chain-translation-results-use_mid_lang-plugin
Можно попробовать китайский->русский, но надо адаптировать код - весь бенчмарк в проекте есть, если будет время и желание, можете попробовать.
Интересно, эта модель так же будет менять пол персонажей по десять раз за главу? Инклюзивность инклюзивностью, но это пиздец же, читать не возможно, голова болеть начинает.
Использую гугл транслейт с фолбеком на ллм для автоперевода сообщений от телеграм бота на все языки. Пробовал вместо него юзать deepl - получилось сильно заметно хуже.
Google Translate конечно полный профан, по сравнению с DeepL, перехожу на GT только когда упираюсь в бесплатный 24 часовой лимит DeepL.
DeepL будет тяжело конкурировать с Sonnet и GPT-4o, так как они дают ± такой же отличный перевод, но при этом не заточены под одну единственную функцию.
Русско- Вьетнамский переводчик ищу хороший, может кто пользуется?
DeepL представляет новую модель ИИ, превосходящую GPT-4 в переводе и редактировании