LLM в художественном переводе: сравнительные замеры
В этой статье мы сравним передовые подписочные модели от Antropic, OpenAI и Google для целей литературного перевода, редактирования и сверки. А конкретнее — Google (gemini-3.7-flash и gemini-3.1-pro), Anthropic (claude-opus-5) и OpenAI (gpt-5.6-sol): кто чище переводит, кто внимательнее редактирует и кому можно доверить вердикт «ошибся автор или перевод».
Все сравнения проводились внутри опенсурсного конвейера BookTrans, о котором уже рассказывалось на Хабре.
TL;DR:
свежая gemini-3.7-flash обошла флагманскую gemini-3.1-pro по всем параметрам сразу;
модель, правящая собственный перевод, слепа к своим ошибкам;
полировать текст умеют все, а заметить чушь и усомниться вслух — одна модель из трёх; на этой разнице держится вся иерархия ролей в конвейере;
идеального переводчика не нашлось: чистота, блеск и верность оригиналу достались трём разным моделям.
Зачем в конвейере появился сверщик
Конвейер BookTrans переводит книгу этапами — вначале разведка собирает справочник имён и терминов, переводчик идёт по книге кусками, редактор вычитывает результат, сборщик собирает в epub/fb2 и другие форматы. Редактору оригинал не показывается сознательно: когда перед глазами английский синтаксис, правка тянется к нему, перенося кальки из языка оригинала.
У этой слепоты есть цена — нагрузка на человека-оператора конвейера. Дело в том, что редактор должен пропускать ошибки автора, но создавать сноску с верной информацией для читателя. Также, поскольку редактор не знает, является ли ошибка автора или переводчика, он оставляет замечание для человека-оператора.
Например, он видит в переводе «пяти гравитационно устойчивых точек Лагранжа», но исправлять не имеет права — вдруг так у автора? Такие места он выписывает в лог для человека с замечанием «сверить с оригиналом». При переводе целой книги замечаний набегают десятки, и половина из них — фактические: числа, даты, физика.
Так появился сверщик — единственная роль, которая видит обе стороны сразу: замечание редактора, оригинал спорных абзацев и их перевод. По каждому замечанию он выносит вердикт. Если реально ошибся автор — текст не трогаем, истина уходит в сноску с подписью «Прим. ред.»: так из примера выше появилось примечание, что гравитационно устойчивы только две точки Лагранжа из пяти. Если в переводе — исправляем перевод. Подозрение пустое — снимается с записью в лог. Оставшиеся единичные вопросы решает (если захочет) человек.
Далее покажем, почему LLM на эту роль нужно тщательно выбирать.
Испытательный материал и методика
Полигон — главы романа Стивена Бакстера «Timelike Infinity» (цикл Xeelee Sequence), перевод EN→RU. Все LLM-переводчики работали с одним справочником имён на одних и тех же главах.
Участники:
короткое имя | полное имя | семья |
|---|---|---|
flash | gemini-3.7-flash (high) | |
pro | gemini-3.1-pro (high) | |
opus | claude-opus-5 (xhigh) | Anthropic |
sol | gpt-5.6-sol (high) | OpenAI |
Измеряем качество перевода двумя способами. Первый — подсчёт правок, которые предлагает внести другая модель-редактор (и судья в этом тесте). Предполагаем, что чем меньше правок — тем чище перевод. Судьи разные, меряют разной строгостью, поэтому сравнивать числа можно только внутри одного судьи.
Второй способ — ручное чтение: все четыре перевода одних и тех же абзацев читаются рядом с оригиналом. Без второго способа первый ненадёжен: счёт правок льстит гладкому осторожному переводчику и штрафует смелого и образного. Самоправку не тестируем: к своим калькам модель слепа — об этом отдельно.
Сенсация: младшая модель обошла старшую
Gemini Flash и Gemini Pro — одна семья, и лестница внутри неё общеизвестна: Pro — флагманская линейка, Flash — младшая, быстрая и дешёвая, «для черновой работы». Я ждал, что флагман переведёт лучше, и вопрос только насколько.
Вышло наоборот по всем параметрам (ниже таблица):
проза: 40 правок у судьи-opus против 74 — почти вдвое чище; та же картина у остальных судей (48 против 74 у Sol, 52 против 65 у самого Pro);
диалог: 41 против 57;
чувствительная сцена, которую модели переводили трижды: Flash — 3/3 прохода без цензурного отказа, pro — 1/3;
характер текста: у pro кальки и канцелярщина идут постоянно, у Flash — живой русский с находками. При этом flash в разы дешевле и быстрее.
Думаю, дело в том, что поколение важнее ранга. Flash-3.7 — модель более новая, вышла в июле 2026, а pro-3.1 в январе 2026. Новая «младшая» переросла старую «старшую», но маркетинговая лестница «флагман, середина, эконом» осталась прежней и об этом не вполне сообщает.
Теперь ясно, что выбирать модель по имени линейки нельзя, только по замеру на своей задаче. В конвейере с профилем agy после этих испытаний главным переводчиком стала Flash, а Pro опустилась в резерв.
Матрица «переводчик × судья»
Полная картина на прозе (~100 абзацев одной главы). Число — правки судьи на черновике; меньше — чище черновик.
переводчик ↓ \ судья → | Opus | Sol | Pro |
|---|---|---|---|
flash | 40 | 48 | 52 |
opus | — | 61 | 63 |
sol | 55 | 51 (самоправка) | 69 |
pro | 74 | 74 | 65 (самоправка) |
Flash чище всех в глазах всех трёх семей судей, и ряд у него самый ровный (40/48/52) — оценка не зависит от вкуса судьи. Сильный довод спрятан в столбце sol: в собственном переводе он нашёл 51 повод для правки, а в flash-переводе только 48 — при том что свои огрехи модель систематически недосматривает.
А вот как те же четыре перевода выглядят на глаз — по горизонтали одни и те же абзацы:
Flash. Точный и живой. Смысловых ошибок на сотне абзацев не нашлось; есть находки уровня хорошего переводчика («росчерк пикселей» для bolt of pixels, «щемяще-синий серп Земли»). Огрехи мелкие: одна тавтология, одна калька.
Opus. Лучший ритм русской прозы: «Людей раздавили», «Они себя переделали». Читается как проза, а не как перевод. Иногда бывают редкие вольности и пересушенные места.
Sol. Самый верный оригиналу. Единственный из четырёх восстановил повреждённое OCR место (склейку «…sparkling.Qax Jasoft Parz…» прочёл как титул «Посол при кваксах» — верно по сюжету) и единственный сохранил авторский образ «the ship exploded from the surface». Русский гладкий, но суше и книжнее Opus.
Pro. Аутсайдер: кальки системой («триггеры ностальгии», «глаза почувствовали слезливость и боль»), канцелярит, лишние местоимения в каждом предложении, орфографические промахи.
Резюме: живой, образный язык — Opus, верность оригиналу — Sol, минимум правок у редакторов-судей (чистота) — Flash. Идеального переводчика в четвёрке нет. Что подтверждает ценность мультимодельности и мультиагентности, похоже что как, как минимум, двух разных моделей качественный перевод не сделать.
Примеры переводов: один абзац — четыре версии
ПРИМЕР 1. Битое OCR место: в исходнике склейка «...sparkling.Qax Jasoft Parz had been summoned...» (потерян пробел и, видимо, слово). Кто как выкрутился. EN: The little cylindrical craft tumbled slowly as it climbed, sparkling.Qax Jasoft Parz had been summoned to a meeting, in orbit, with the Qax Governor of Earth. FLASH: Маленький цилиндрический кораблик, сверкая, медленно кувыркался при подъёме. Джасофта Парза вызвали на встречу на орбите с Губернатором Земли. [обломок «Qax» молча выброшен] OPUS: Маленький цилиндрический аппарат медленно кувыркался и поблёскивал, набирая высоту. Джасофта Парза вызвали на встречу — на орбиту, к Губернатору Земли. [обломок молча выброшен] SOL: Маленький цилиндрический аппарат медленно кувыркался, набирая высоту и посверкивая. Посла при кваксах Джасофта Парза вызвали на орбиту, на встречу с Губернатором Земли. [восстановил титул — верно по сюжету: Парз посол] PRO: Набирая высоту, маленький цилиндрический аппарат медленно кувыркался и искрился. Джасофт Парз был вызван на орбиту, на встречу с Губернатором Земли. [обломок молча выброшен; пассив] --------------------------------------------------------------------------- ПРИМЕР 2. Короткая фраза — видно ритм. EN: Humans were crushed; the first occupation of Earth began. FLASH: Человечество было разгромлено; началась первая оккупация Земли. OPUS: Людей раздавили; началась первая оккупация Земли. SOL: Людей сокрушили; началась первая оккупация Земли. PRO: Люди были разгромлены; началась первая оккупация Земли. --------------------------------------------------------------------------- ПРИМЕР 3. Ещё короче. EN: They rebuilt themselves. FLASH: Они перестроили сами себя. OPUS: Они себя переделали. SOL: Они перестроили себя. PRO: Они перестроили себя. --------------------------------------------------------------------------- ПРИМЕР 4. Перенос эпитета и работа с образом. EN: Beyond the Spline's fleshy horizon, a blue, haunting sliver of Earth arced across the darkness; and to the old man it felt as if a steel cable were tugging his heart to that inaccessible slice of his home planet. FLASH: За мясистым горизонтом сплайна тонкий, щемяще-синий серп Земли изгибался дугой во тьме; старику казалось, будто стальной трос тянет его сердце к этой недосягаемой частице родной планеты. OPUS: За мясистым горизонтом сплайна уходил дугой во тьму синий, щемящий серп Земли; и старику казалось, будто стальной трос тянет его сердце к этому недоступному ломтю родной планеты. SOL: За мясистым горизонтом сплайна через тьму изгибался тревожно-прекрасный голубой серп Земли; старику казалось, будто стальной трос тянет его сердце к этому недоступному клочку родной планеты. PRO: За плотским горизонтом сплайна сквозь темноту выгибалась синяя, неотвязная долька Земли; и старику казалось, будто стальной трос тянет его сердце к этому недосягаемому ломтю его родной планеты. [«плотским», «неотвязная долька», двойное «его»] --------------------------------------------------------------------------- ПРИМЕР 5. Кальки PRO как система (один абзац, сокращён). EN: Sometimes he wondered if it were possible for him genuinely to feel anything any more; even the city-scars had been degraded in his perception, so that now they served only as convenient triggers of nostalgia for his youth. FLASH: Временами он сомневался, способен ли вообще ещё испытывать что-то по-настоящему; даже шрамы на месте городов поблекли в его восприятии и теперь служили лишь удобным поводом для ностальгии по юности. OPUS: Иногда он думал, способен ли ещё хоть что-нибудь чувствовать по-настоящему; даже шрамы городов обесценились в его восприятии и служили теперь лишь удобным поводом для тоски по молодости. SOL: Порой он сомневался, способен ли ещё вообще что-нибудь чувствовать по-настоящему; даже городские шрамы поблекли в его восприятии и теперь служили лишь удобными спусковыми крючками для ностальгии по юности. PRO: Иногда он задавался вопросом, способен ли он ещё вообще хоть что-то искренне чувствовать; в его восприятии обесценились даже города-шрамы, так что теперь они служили лишь удобными триггерами ностальгии по молодости. [«триггерами ностальгии», «города-шрамы»] --------------------------------------------------------------------------- ПРИМЕР 6. Диалог (гл. 8): угроза Губернатора. FLASH против PRO — именно эта пара сравнивалась на диалоговой главе (судья-opus: 41 правка против 57). EN: 'Two are all that is required. The humans of fifteen centuries ago will have no means of defence against the weaponry of the Spline craft. ...' FLASH: — Двух вполне достаточно. У людей пятнадцативековой давности не найдётся средств защиты против оружия сплайнов. Второй корабль уничтожит судно мятежников из вашего настоящего — этих Друзей Вигнера, — пока мой корабль возьмёт в осаду Землю. PRO: — Двух вполне достаточно. У людей пятнадцативековой давности не будет никаких средств защиты против вооружения сплайнов. Второй корабль уничтожит судно этих мятежников из вашего настоящего — этих Друзей Вигнера, — тогда как мой корабль возьмёт Землю в осаду. [двойное «этих», канцелярское «тогда как»] EN: 'Yes, we are sure. My intention is to close off all probabilities, all variants of reality in which humanity can survive. After the destruction of your System, you will be the only human left alive.' FLASH: — Да, мы уверены. Моё намерение — перекрыть все вероятности, все варианты реальности, в которых человечество способно выжить. После уничтожения вашей Системы вы останетесь единственным живым человеком. PRO: — Да, мы уверены. Я намереваюсь отсечь все вероятности, все варианты реальности, в которых человечество может выжить. После уничтожения вашей Системы вы останетесь единственным живым человеком.
Дозамер: Sonnet 5, Terra 5.6 и цена глубоких рассуждений
За кадром матрицы остались середняки двух семей — claude-sonnet-5 и gpt-5.6-terra. Я замерил их позже на том же материале, заодно проверив, покупает ли что-нибудь уровень рассуждений: у Claude их пять, от low до max, у Codex — четыре, до xhigh.
Судьёй в этом заезде работала gemini-3.7-flash, прежняя тройка судей не выходила, так что числа с большой матрицей напрямую не складываются. Мост — opus: его перевод той же главы flash оценила в 49 правок.
перевод | правок flash-судьи | правок opus-судьи | цена | время |
|---|---|---|---|---|
opus (мост к матрице) | 49 | — | $1.26 | — |
sonnet high | 72 | 59 | $0.39 | 4,6 мин |
sonnet xhigh | 75 | 55 | $0.59 | 8,1 мин |
sonnet max | 67 | 47 | $1.22 | 20 мин |
terra high | 77 | 46 | подписка | 2,6 мин |
terra xhigh | 80 | 51 | подписка | 6,8 мин |
Глубина рассуждений почти не влияет на результаты теста. У Sonnet 72 → 75 → 67, у Terra 77 → 80 — разброс сравним с шумом. Меняется характер огрехов: на max у Sonnet пропадают сломанный синтаксис («выплыла миля в поперечнике громада флагманского сплайна») и кальки («имея впереди всё время мира»), а bolt of pixels он переводит «росчерком пикселей» — до той же находки его high-прогон не добрался, а судья добрался. Расплата: тройная цена, вчетверо больше времени, и на max модель начала терять абзацы — первая попытка выбросила 34 из 40, конвейер дожимал повтором. Терре глубина не помогла вовсе: xhigh вернул мили, которые high перевёл в километры, но счёт стал худшим в таблице.
Sonnet 5 — Opus без чутья. Смысловых ошибок на сотне абзацев нет, слог живой, но швов больше, чем у старшего: рваный синтаксис, «ожесточили внутренние органы» там, где органы закаляли. Экономика ставит все точки над i: max-прогон Sonnet стоит $1.22 — столько же, сколько перевод той же главы настоящим Opus ($1.26), у которого правок на треть меньше.
Terra 5.6 — родня Sol, но неряшливее. Тот же сухой, верный тон — и смысловой промах на битом OCR-месте, которого не допустила ни одна модель прежней четвёрки: «Квакса Джасофта Парза вызвали на встречу» — посол человечества подан кваксом. На high модель самовольно перевела мили в километры («исполин шириной в 1,6 км» — у остальных прогонов мили), рядом кальки «печёночные пятна» и «спусковые крючки ностальгии». Из находок — «копьё пикселей» и «располагая всей вечностью».
Перекрёстная проверка opus-судьёй — тем же, что в большой матрице, — при 40 у flash дала терре 46 и 51 (high и xhigh), соннету — 59, 55 и 47 (high, xhigh, max). Родство opus↔sonnet счёт не занизило: на равной глубине рассуждений опус ставит терру выше собственного родственника (46 против 59, 51 против 55) — семейной слепоты между поколениями не видно. Зато видна межсудейская разноголосица: flash-судья выстроил тех же переводчиков в обратном порядке, а терру опус считает вдвое чище, чем флэш. Стоит прислушаться — Opus всё-таки поумнее Flash.
Вывод простой: ни соннету, ни терре нет смысла быть основным переводчиком. Соннет на max стоит как настоящий opus и даёт черновик грязнее; терра быстра, но подала посла кваксом — а чистота слога ничего не стоит там, где искажён смысл. Flash переводит дешевле и чище обоих, глубину добавляют редактор и сверщик другой семьи.
Дозамер 2: Gemini 3.8 Flash
2 сентября 2026 года вышла gemini-3.8-flash — прямая наследница рабочей лошадки конвейера с профилем agy, и статью пришлось дорабатывать назавтра после релиза. Замерил ту же главу, те же сто абзацев.
судья | flash 3.7 | flash 3.8 |
|---|---|---|
opus | 40 | 50 |
sol | 48 | 57 |
flash 3.7 (своя семья) | — | 55 (самоправка) |
В глазах Opus-судьи новый флэш грязнее старого: 50 правок против 40, и Sol согласен — 57 против 48. Два судьи разных семей говорят о том, что Flash 3.8 не лучше Flash 3.7. Характер правок — стилистика, со смыслом всё нормально. Opus пересобирал рваные фразы («вплыла шириной в милю туша флагманского сплайна») и смягчал канцелярит («был вызван на встречу на орбите» → «вызвали на орбиту»). Смысловых ошибок на сотне абзацев нет, числа и меры целы, OCR-ловушку с послом Парзом — на которой terra родила «квакса» — модель прошла. Из находок — «стрела пикселей» там, где 3.7 нашла «росчерк»; семейные «печёночные пятна» на месте (их, впрочем, не тронул и опус-судья).
3.8 сохранил сослагательность целого рассуждения о кваксах-корпорациях, которую 3.7 сгладил в утверждение, не потерял «Оккупацию кваксов» и перевёл tight laser link «узконаправленным» каналом там, где 3.7 скалькировал «плотный»; зато 3.7 без «был вызван на встречу», без «обратив флиттер в ничтожество» и без «аэростатов» на месте живых шаров-сплайнов. Решающей оказалось типографика: 3.7 в четырнадцати абзацах начал прямую речь с новой строки, как положено по-русски, — 3.8 не сделал этого ни разу, приклеивая реплику к повествованию через тире в строке. Дефект системный и объясняет заметную часть разрыва 40 → 50.
Итак, заменить Flash 3.7 в роли переводчика-черновика Flash 3.8 пока не готов — чистота не выросла, а привычку рвать строку перед репликой новое поколение потеряло.
Почему самоправка запрещена
Самоправка — когда одна модель и переводит, и редактирует свой перевод. Её слепота к собственным косякам и калькам абсолютно логичны и неизбежны. Вначале я думал, что от этого спасёт чёткое задание роли агенту “Ты — литературный редактор и т.п.”, но нет. Это помогает только частично. Да, мы заставляем модель входить в ту или иную роль, но её внутренняя начинка (веса) от этого совершенно не меняются.
Оборот, который модель выбрала при переводе как лучший из возможных, при редактуре она снова оценивает как лучший — своя калька выглядит для неё нормой. Чужая модель приходит с другим взглядом и видит чужие штампы.
Слепоту видно прямо на диагонали матрицы — там, где судья встречает собственный черновик:
в своём переводе pro нашёл 65 поводов для правки; чужие судьи в том же тексте — по 74 (недосмотр ~12%);
в своём переводе sol нашёл 51; opus в том же тексте — 55 (sol проглядел ~7%).
Моменты, которые LLM проглядела в своём тексте, — не просто случайные абзацы — это систематически наихудшие её косяки. Самоправка пропускает устойчивые ошибки модели в переводе, которые повторяются по всей книге.
Слепота не лечится использованием самой дорогой модели: сильнейший редактор, правя собственный перевод, так же слеп к своим калькам. Потому в конвейере теперь крайне не рекомендуется совпадение семей переводчика и редактора. Как только я это понял, две книги цикла, собранные ранней версией конвейера и самоправленные почти целиком, пришлось отправить на повторную редактуру чужой семьёй.
Цена вопроса в цифрах. Первая книга: перевод и почти вся первая редактура — opus, 927 правок; второй проход чужой семьёй (sol) нашёл поверх них ещё 1246 — правился каждый второй абзац из 2403. Третья книга: первый проход той же парой семей, что переводила, дал 1943 правки, второй проход sol — ещё 1945 на 3486 абзацев. Оба раза чужой редактор нашёл не хвосты за первым, а больше, чем весь первый проход целиком.
Редакторы: строгость — не то же, что зоркость
Один и тот же перевод-черновик от opus правили трое: flash — 49 правок, sol — 61, pro — 63. Число говорит о строгости, не о качестве. И у всех трёх правки — в основном полировка. У pro среди правок попадается ошибка — снятая буква «ё», ухудшенные обороты.
Примеры правок: как один черновик правят три редактора
OPUS (claude-opus-5) — 40 правок. Примеры: БЫЛО: По мере того как расстояние до планеты росло, крепла и тревога Парза. СТАЛО: Чем дальше уходила планета, тем сильнее становилась тревога Парза. БЫЛО: Разве кваксы не уничтожили технологическую базу Антистарения... СТАЛО: Разве не они уничтожили технологическую базу Антистарения... [снят повтор «кваксов» из соседней фразы] --------------------------------------------------------------------------- SOL (gpt-5.6-sol) — 48 правок. Примеры: БЫЛО: Один в автоматическом флиттере, Парз наблюдал... СТАЛО: Оставшись один в автоматическом флиттере, Парз наблюдал... [снята английская конструкция «Alone in..., Parz...»] БЫЛО: Парз выгрузил в столик новую порцию данных. СТАЛО: Парз передал на столик новую порцию данных. БЫЛО: ...снимок был улучшен до предела возможностей телескопических данных — чёткий, но начисто лишённый мелких деталей. СТАЛО: ...Снимок обработали до предела, допускаемого телескопическими данными, и картинка вышла резкой, но почти без подробностей. --------------------------------------------------------------------------- PRO (gemini-3.1-pro) — 52 правки. Примеры, включая порчу: БЫЛО: «Ну что, Джасофт, — спросил он себя, — и что сталось...» СТАЛО: «Ну что, Джасофт? — спросил он себя. — И что сталось...» БЫЛО: Флиттер взмыл над оккупированной Землёй... СТАЛО: Флиттер взмыл над оккупированной Землей... [ПОРЧА: снята буква «ё», принятая по всей книге] БЫЛО: По мере того как расстояние до планеты росло, крепла и тревога Парза. СТАЛО: Чем дальше оставалась планета, тем сильнее крепла тревога Парза. [ПОРЧА: «дальше оставалась» — не по-русски; ср. правку OPUS того же места: «Чем дальше уходила планета...»] --------------------------------------------------------------------------- Условно правка и порча стоят по одному «баллу», поэтому счёт правок без чтения глазами — мера грубая. Оценки сходятся с ручным чтением только потому, что доля порчи у всех, кроме PRO, мала.
Счёт числа правок мало что гарантирует, поэтому редакторам я устроил экзамен.
Экзамен: тест разумности редактора
В opus-черновик главы я поместил 8 типовых дефектов и отдал один и тот же испорченный текст трём редакторам. Помните устройство конвейера: редактор не видит оригинала, поэтому смысловые сомнения он должен не исправлять, а выписывать замечания для сверщика и человека.
дефект | flash | sol | opus |
|---|---|---|---|
слог — 7 дефектов: род, канцелярит, повтор, разнобой имени, калька, падеж | 7/7 | 7/7 | 7/7 |
смысловая несуразица (см. ниже) | пропустил молча | пропустил молча | замечание для сверки |
Порчу слога поймали все, полный список дефектов с судьбой каждого лежит в спойлере ниже. Интересна вторая строка таблицы.
Сюжет с трёхсантиметровым глазом. В оригинале глаз живого гигантского корабля-сплайна — «a gleaming ball three yards across», блестящий шар трёх ярдов (≈2,7 м) в поперечнике. Дефект превратил его в «блестящий шарик в три сантиметра поперечником» — при том что рядом в том же абзаце остались «оспины-пупки в несколько ярдов шириной» и «тяжесть этого огромного взгляда». Ловушка проверяла не языковой слух, а понимание читаемого: противоречие видно из самого текста, оригинал не нужен.
Flash и sol правили этот самый абзац — перестраивали фразы вокруг — и оба оставили трёхсантиметровый глаз без единого замечания. Opus тоже не стал его исправлять, и по указанию в промте «не исправляй автора» это верно. Но он единственный выписал замечание:
«блестящий шарик в три сантиметра поперечником» — единица метрическая, тогда как рядом в том же абзаце ярды и мили, а книга по справочнику держит имперские единицы. Возможно, в оригинале стоит другая мера (ярд?) или размер иной; не тронул, стоит сверить.
Он даже вычислил вероятную правильную меру. И он самый экономный из троих: 15 правок против 21 у flash и 24 у sol — меньше вкусовщины.
Языковой слух есть у всех троих. Разумность — понимание читаемого плюс навык сомнения — только у opus. Для конвейера, где замечания редактора идут сверщику, это решающее качество: редактор без замечаний оставляет сверщика без работы, а сплайна в милю длиной — с карликовыми трёхсантиметровыми глазами.
Все восемь дефектов экзамена и судьба каждого
ДЕФЕКТЫ 1-7 (слог) — исправлены всеми тремя редакторами: 1. Сломанный род: «И каждый раз силилась вспомнить» (о мужчине) 2. Канцелярит: «Задача Парза — принять меры по обеспечению успокоения Губернатора» 3. Удвоенное слово: «стальной трос тянет его сердце сердце» 4. Разнобой имени: один раз «Ясофту» при «Джасофт» по всей главе 5. Канцелярит: «был осуществлён процесс получения информации о том» 6. Калька с английского: «Это делало смысл как стратегия выживания расы» (makes sense; flash и sol свели к одинаковому «В этом был смысл как в стратегии...») 7. Падежная ошибка: «честь, заслуженная благодаря долгих отношений» --------------------------------------------------------------------------- ДЕФЕКТ 8 — смысловая ловушка, тест разумности. В оригинале глаз живого корабля-сплайна — «a gleaming ball three yards across»: блестящий шар ТРЁХ ЯРДОВ (около 2,7 м) в поперечнике. Дефект превратил его в: «блестящий шарик в три сантиметра поперечником» — при том что рядом в том же абзаце остались «оспины-пупки в несколько ярдов шириной» и «тяжесть этого огромного взгляда». Противоречие видно из самого текста, оригинал для этого не нужен. FLASH (gemini-3.7-flash): правил этот самый абзац — заменил «смущающе уставившийся» на «пристально уставившийся», перестроил первую фразу — и оставил трёхсантиметровый глаз. Замечаний: ноль. SOL (gpt-5.6-sol): тоже правил этот абзац («неуютно пристально смотревший») — и тоже оставил шарик. Замечаний: ноль. OPUS (claude-opus-5): глаз не исправил — по дисциплине «не исправляй автора» это верно, — но единственный выписал замечание: «блестящий шарик в три сантиметра поперечником» — единица метрическая, тогда как рядом в том же абзаце ярды и мили, а книга по справочнику держит имперские единицы. Возможно, в оригинале стоит другая мера (ярд?) или размер иной; не тронул, стоит сверить. Замечание попадает на этап сверки, сверка открывает оригинал — и дефект чинится штатным путём. Ровно так конвейер и задуман: редактор сомневается вслух, сверщик решает по оригиналу.
Рейтинг троек LLM или кого куда ставить:
Принципы, которые вытекают из замеров:
Стилист идёт вторым. Яркость и образность в черновике перевода, суховатый редактор потом подсушивает; чистый черновик + стилист потом дают гибрид «точность переводчика + вкус редактора».
Точность — единственное, что редактурой не добавляется (редактор слеп к оригиналу). Чистота и стиль — добавляются.
Отказы цензуры чинит другая семья LLM: у моделей одной семьи запреты общие.
Сверщик — не из семьи переводчика. Вердикт «автор или перевод» нельзя доверять родне переводчика: модель, которая судит сама себя, скорее обвинит автора, чем сможет исправить свою ошибку. Редактор же к спорному переводу непричастен, поэтому сверкой может заниматься. И так сделано по-умолчанию.
Редактор и сверщик — должны быть очень умные модели. Экзамен показал, что полировать умеют все, а вот посомневался вслух — только opus; замечания редактора и вердикты сверщика — идеальная работа для него.
Рейтинг троек «переводчик → редактор → сверщик» по совокупности:
flash → opus → opus — чистейший черновик + лучший стилист + сверщик с доказанным чутьём; обе проверяющие роли автоматически кросс-семейны переводчику. Дёшево на самом объёмном этапе, цензуроустойчиво.
sol → opus → opus — вплотную; на книгах с грязным исходником (OCR, кривой PDF) выходит вперёд: умение sol чинить битые места ничем не заменяется.
flash → sol → sol — добротная дешёвая тройка: sol на экзамене равен flash в правке слога и аккуратнее pro.
opus → sol → sol — отличная конфигурация для дорогих подписок, но порядок ролей против шерсти: мы платим дорого за образный черновик перевода, блеск которого затем подсушивается sol.
Про flash. Для роли главного редактора и сверщика основных цепочек он не оптимален. Он полирует, но не сомневается. Его место — переводчик везде и редактор в дешёвых пробных профилях.
Экономика выбора LLM для каждой роли
Самая сильная модель нужна не там, где больше всего работы.
Редактору — пик ума. Он единственный внимательно читает всю книгу после перевода, и его внимательность — последняя страховка: что редактор не поправил и не выписал замечанием, того уже никто не увидит. Сверка разрешает только выписанные сомнения, сама книгу не читает.
Сверщику — тот же уровень, но по другой причине. Задача у него у́же: дано конкретное сомнение, оригинал и перевод; решить точечный вопрос проще, чем заметить его в потоке. Но ошибки сверщика публичны — вердикт «автор ошибся» превращается в печатную сноску, а неверная сноска позорнее пропущенной кальки. Объём его работы при этом ничтожен: десятки замечаний на книгу, экономить не на чем. Поэтому самая дорогая и умная модель тут полностью оправдана.
Переводчику достаточно быть чистым и точным. У требований есть минимальный уровень: переводчик не может быть сколь угодно слаб. Дело в том, что гладкая, но неверная фраза не ловится никем — редактор без оригинала видит только шероховатости, сверка приходит только по его замечаниям. flash по этим минимальным требованиям проходит — ручное чтение сотни абзацев не нашло у него ни одной смысловой ошибки.
По уму выходит: редактор ≥ сверщик > переводчик. По деньгам — наоборот: переводчик делает 95 % объёма, и его дешевизна окупает конвейер.
Ассиметрия стоимости токенов — подарок для сверщика
Известный факт, что стоимость входящих токенов в разы (от 5 до 10) дешевле, чем исходящих. Именно на этом факте держится роль сверщика. Самая умная нейросеть просматривает полностью по кускам оригинал с итоговым переводов и замечаниями LLM-редактора и выдаёт короткие фрагменты для правки в случае грубых смысловых, грамматических или ошибок.
Хорошо подобранные пары переводчик-редактор
По-умолчанию сверщик — та же LLM, что и редактор, хотя, понятно, что Opus 5 лучше всего справится с этой ролью, на втором месте — Sol.
Если кратно, то самый лучший профиль это --profile best-codex-claude, а самый экономически выгодный с очень хорошим качеством — --profile good-agy-codex.
В таких двойных профилях сразу ясно, какой даст наилучшее качество перевода (best-), а какой хорошее (good-).
В названиях вначале указывается агент для разведки и перевода, а потом для редактуры.
Умолчания перекрываются ключами:
--scout --translate --editor --verifier
Кеш промпта против последовательного перевода
В каждый запрос конвейера уходит одно и то же начало: стилевое руководство, правила языка, справочник книги. Провайдеры умеют это не пересчитывать — кешируют промпт, — и устроен он у всех по сути одинаково: кешируется только дословно совпадающее начало запроса, живёт кеш минуты, попадание стоит около десятой части цены входа.
Как устроен кеш промпта у трёх провайдеров
У Anthropic кеш явный: разработчик сам ставит точки кеширования, совпадение начала требуется стопроцентное. Окно — 5 минут, и оно бесплатно продлевается при каждом попадании; чтение из кеша — 0,1 цены входа, запись — 1,25. Есть часовое окно — запись вдвое дороже обычной.
У OpenAI кеш автоматический для запросов от 1024 токенов: система ищет самый длинный совпавший кешированный префикс. На gpt-5.6 и новее кешированные токены — 0,1 цены, а запись живёт не меньше получаса после последнего обращения; на старших моделях — 5–10 минут.
У Google неявный кеш включён по умолчанию для Gemini 2.5 и новее, скидка начисляется автоматически. Для моделей третьей серии кешируются запросы от 4096 токенов.
Стоимость с кешем и без него
Перевод в конвейере последователен, и это принципиально: каждый кусок получает хвост предыдущего перевода и конспект сюжета, без них связность рвётся на границах кусков. А последовательность означает, что зазор между двумя запросами равен длительности одного. Flash укладывается в минуту — его кеш живёт. Остальные работают от двух минут, а opus в часы пик — по десять и до восемнадцати: пятиминутное окно истекает раньше, чем начнётся следующий запрос, и каждый кусок платит полный вход заново. Двухминутные запросы в окно ещё успевают, но при любой зедержке — лимит, повтор после обрыва, ожидание запасной модели — кеш теряется.
Отсюда злая арифметика подписки. У Anthropic всё жутко тормозит в часы пик. И чем медленнее отвечает opus, тем мертвее кеш и тем больше токенов списывается за ту же самую книгу. Получается саморегулирующаяся система со штрафом за работу в загруженные часы — не думаю, что её проектировали такой, но работает она именно так. Подписка Anthropic за 20 долларов для перевода книг практически бесполезна: лимиты кончаются раньше, чем конвейер разгонится. Для перевода книг Опусом нужна подписка от 100 долларов и выше.
Редактура, в отличие от перевода, параллелится: куски правятся независимо. Ей выгодно давать хотя бы --jobs 2 и даже 5 — запросы идут внахлёст, зазоры короче окна, и кеш прекрасно работает.
Fable 5, новую старшую модель Anthropic, я для перевода не тестировал: при её цене замер обошёлся бы дороже всех остальных вместе взятых.
Идеальный перевод, если для вас деньги не имеют значения
Я подумал, как можно было бы идеально сделать конвейер перевода, если бы материальные ограничения отсутствовали? И вот к чему я пришёл. Но только в теории. На практике у меня 2 подписки по 20 долларов (OpenAI, Google) и одна за 100 (Anthropic).
Экономика формирует архитектуру. Если снять ценовые ограничения, лучший конвейер — не «те же роли, но модели дороже», а другая схема. Меняются четыре узла.
Перевод ансамблем. Каждый кусок независимо переводят две-три модели разных семей; судья выбирает лучший вариант поблочно — или собирает итог из лучших мест каждого. Ищется максимум целевой функции от трёх переменных — чистота, блеск, верность. Побочный выигрыш: если одна семья отказывается переводить из-за цензуры одной семьи не непеведённых кусков — вариант от другой семьи LLM уже готов.
Панель редакторов вместо одного. Экзамен с дефектами показал, что языковой слух и понимание читаемого — разные способности: огрехи слога ловят все, а сомневаться вслух умеет не каждый. Значит, редактора можно раздвоить: стилист полирует, придира ищет несуразицы и пишет замечания.
Вердикты в сверке — голосованием. Вердикт «автор ошибся» превращается в печатную сноску. Ошибка в нём очень серьёзна — её видит читатель. Если не экономить, то его выносит не одна модель, а несколько самых умных — сноска публикуется, только когда голоса сошлись.
Реализация всех вышеизложенных идей приведёт к цене перевода в четыре-шесть раз больше против обычной. Несколько LLM с голосованиями умножают стоимость перевода, редактуры, сверки и вердиктов в разы. Такова цена последней доли процента качества.
Я не увидел в этом практического смысла.
Однако безлимитные деньги не отменяют важные принципы конвейера перевода:
лучший стилист идёт за точным переводчиком;
самоправка запрещена — свои кальки модель не видит ни за какие деньги;
редакторы и сверщики — не из семьи переводчика;
последнее слово — у человека, читающего замечания.
Полные материалы для пытливого читателя
Выжимки в спойлерах выше — для беглого знакомства. Полные тексты, по которым можно проверить каждый вывод самостоятельно:
материал | ссылка |
|---|---|
Начало главы 1 целиком — 102 абзаца в четырёх переводах, с оригиналом | |
Полные списки правок трёх редакторов на одном flash-черновике (40 + 48 + 52) |
© 2026 ООО «МТ ФИНАНС»
