При вычитке десяти статей для блога мы получили от Haiku такой отчет. Фрагмент сокращен:
{ "verdict": "PASS", "meaning_preserved": true, "issues": [{"severity": "major"}] }
В соседнем замечании модель написала: “это существенное искажение совета”. При этом наш запрос требовал считать фактические ошибки и смысловые противоречия блокирующими. Пришлось разбираться, что ошибочно: вердикт, замечание или наша редакция.
Что проверяли
Черновики с условными примерами писал один агент, проверяла anthropic/claude-haiku-5.5 через OpenRouter. Мы передавали правила читаемости, тексты и список существующих статей; после правок - исходник и редакцию. В отчете запрашивали вердикт, серьезность замечаний и точные цитаты. Подробную градацию уровней серьезности не задавали.
Это разбор одной сессии. Частоту ошибок модели и качество относительно других проверяющих мы не измеряли.
Кто кому задает вопросы
В черновике кандидату советовали задавать вопросы работодателю и ссылались на статью о скрининге. Но связанная статья рассказывала о вопросах рекрутера кандидату.
Мы исправили описание ссылки. Haiku заметила смену ролей и предложила вернуть исходник. Частично замечание было полезным: при нашей правке действительно потерялся совет кандидату самому задавать вопросы. Однако возврат всей фразы восстановил бы неверное описание ссылки.
Полного текста связанного материала модель сначала не получила - только название и адрес. Мы добавили текст и сохранили обе мысли: кандидат уточняет задачи роли, а отдельная статья помогает подготовиться к вопросам рекрутера. Следующая проверка подтвердила читаемость и сохранность смысла; итоговый вердикт - RISK с необязательными замечаниями.
Кавычки, которых не было
Haiku также предложила убрать экранирование в строке:
Строка "сертификат по аналитике, 2025" почти ничего не говорит о содержании.
Пакет передавался в JSON, где кавычки внутри строк экранируются. В исходном Markdown обратных слешей не было. Правку отклонили. Внутреннюю причину ответа модели этот случай не устанавливает; мы подтвердили только отсутствие указанных символов в файле.
Что приняли и что проверили
Полезные замечания тоже были. Вместо “Само число можно не выносить…” написали “Итоговую цифру стажа можно не выносить…”. В статье о наставничестве переставили абзацы: сначала сбор фактов, затем подготовка истории для интервью.
Для каждого замечания проверяли:
ту ли версию файла оно описывает;
существует ли цитата в исходнике;
сохраняет ли правка условия и роли участников;
согласуется ли общий вердикт с содержанием замечаний.
Полезные правки внесли, спорные сверили с источниками. Измененные статьи проверили повторно, исходники сохранили.
Для автоматизации можно добавить сигнал: PASS вместе с major или blocker требует ручного разбора. Он обнаружит противоречивый отчет, но не установит наличие ошибки в статье. Само замечание тоже нуждается в проверке.
