Агент поправил код, прогнал тесты, получил зелёную сборку и повесил релизный тег. Потом падает интеграция, и оказывается, что заодно он сменил таймауты в конфиге, дёрнул внешний API и разослал уведомления. Командой git revert файлы в репозитории вы вернёте, а всё остальное останется сломанным.

Я посмотрел пять докладов с недавних AI конференций: от авторов проектов UndoBench и EvoUndo, инженеров Microsoft, Anthropic, Meta и компании Harvey. Все они про одну проблему с разных сторон. Писать код и вызывать инструменты модели научились, но когда начинаются сбои, очереди и продакшен, устойчивость всё равно приходится собирать вокруг них руками.

Сам агент откатить свои изменения часто не может, в UndoBench восстановилось меньше половины прогонов, успешных в норме. Чтобы действия стали обратимыми, вокруг модели строят четыре слоя защиты: снимок состояния до мутации, явные статусы с идемпотентностью, жёсткие правила в harness (программной обвязке вокруг модели) и ступенчатую автономию.

Почему зелёные тесты и git revert не гарантируют откат

Кажется, что если модель решила задачу, то и отменить её сумеет. Авторы UndoBench проверили это на 2880 парных испытаниях, сравнивая обычный запуск и запуск с искусственным сбоем. В норме агенты завершали 84% задач, а при поломке восстанавливались лишь в 47% успешных в норме прогонов. Знаменатели у цифр разные, о чём авторы честно предупреждают, но разрыв всё равно показательный.

Git отслеживает только файлы репозитория. На деле coding агенты правят конфиги среды, включают middleware, обновляют реестры инструментов, маршрутизацию и дёргают внешние сервисы вроде деплоя или баз данных. Откат коммита такие эффекты не трогает.

Хуже всего дело при самомодификации harness. В следующем проекте тех же авторов, EvoUndo, на 600 задачах самоэволюции агенты улучшили показатели в 478 случаях, но в 197 из них (около 42%) сломалось восстановление. Агент становился умнее на задачах и терял обратимость.

Просить модель починить откат в промпте оказалось бесполезно: четыре стратегии ремонта с верификатором на исходном языке отката вернули ноль из 197 правок. Мешали две вещи. Сначала не хватало привязки к состоянию (state grounding): чтобы вернуть таймаут с 60 обратно на 30, нужно знать старое значение, и когда в отдельном опыте агенту выдали эти данные, восстановление выросло с нуля до 38 из 48 случаев. Во-вторых, не хватало операций в самом языке отката (recovery expressivity). Расширение словаря в изолированном прогоне подняло восстановление с нуля до 142 из 143 случаев, а на всём наборе вернуло 180 из 197 правок (около 92%). Допустимых улучшений стало 461 из 600 вместо 281.

В EvoUndo проверку встроили до допуска правки. Перед мутацией сохраняют state witness, снимок исходного состояния вроде таймаута 30. Потом в тестовой среде агент вносит правку и сразу гонит план отката, а независимый верификатор сверяет итог со снимком. Изменение принимают, только если выросло качество и значения вернулись назад.

Стратегию привязывают к фазе сбоя. До мутации ничего не менялось, повтор безопасен. Во время мутации система могла измениться частично, сначала проверяют состояние. После коммита во внешний сервис повтор создаёт дубликат, тут нужна компенсация. Если откат невозможен или отклонён верификатором, агент останавливается и зовёт человека.

Повтор, таймаут и субагент, который рапортует об успехе

На внешнем API всё ломается быстрее. В UndoBench агент просит трекер завести тикет, сервер создаёт тикет 781, но подтверждение теряется. Срабатывает таймаут, агент без проверки повторяет запрос и получает два тикета. При потере ответа наивные повторы давали дубликаты в 54% испытаний.

A timeout tells us that the response didn’t arrive, not that the operation failed.

Таймаут означает лишь то, что ответ не дошёл, и по нему нельзя судить, провалилась ли операция.

Корни проблемы разобрал principal инженер Microsoft, который в свободное время делает open source мост MCP Pacemaker и сразу оговаривается, что выражает личное мнение. Когда оркестратор раздаёт подзадачи субагентам поверх общих файлов, баз и CI, у вас распределённая система с интерфейсом из строки в строку.

Обычный код при сбое бросает исключение. Субагент при частичном сбое выдаёт гладкий текст с той же уверенностью, что и при полной проверке. Спикер привёл три пути к одному выводу: первый агент проверил телеметрию, второй сличил заголовок со старыми случаями, третий ничего не проверял и угадал. Выводы звучали одинаково.

The orchestrator can read the conclusion, it cannot read how much work was behind it.

Оркестратор видит итоговый вывод, но не видит, сколько работы стояло за ним.

Рядом живёт “грязное чтение” через общий контекст. Один субагент пишет выдумку вроде “частота ошибок упала на 80%” без замеров, второй тащит её в ревью, третий в отчёт. Оркестратор видит три согласованных документа и путает это с кворумом.

В мосте MCP Pacemaker инженер поймал ещё два бага. При холодном старте сервер качал пакеты и упирался в тридцатисекундный таймаут, хотя был просто медленным. А при падении сервера во время вызова срабатывал таймаут и затирал реальный exit code процесса. Таймаут стали записывать, только пока сервер жив. В целом же таймаут считают подозрением со статусом unknown, а при рестарте сервера зависшие вызовы помечают как “потенциально выполненные”, чтобы вызывающий перепроверил итог.

Свои правила автор собрал в схему SAFE, отмечая, что на универсальный стандарт она не претендует:

  1. Происхождение и свежесть фактов (Source-grounded). Утверждение несёт источник, версию и метки времени. Данные на 09:05 при пятиминутном окне годятся в 09:07, но в 09:15 отвергаются.

  2. Не более одного побочного эффекта (At-most-once). Внешняя запись получает идентификатор и одноразовое разрешение, которое проверяют кодом на шлюзе, а не в переписке. При паузе субагента восстанавливают контекст без повтора внешних действий.

  3. Ограничение параллельных стартов (Flow-controlled). Одновременный запуск сессий с общим кэшем пакетов в MCP Pacemaker падал на блокировке npm. Помогли ворота в 15 секунд на холодный старт пакетного менеджера и лимит ожидания новой сессии 10 секунд до явного отказа.

  4. Явные исходы и перепроверка в коде (Explicit outcomes). Субагент возвращает статус: что сделал, чего не сделал, доказательства и побочные эффекты, и partial здесь нормальный ответ. В A2A уже есть состояния completed, failed, cancelled и rejected, в MCP есть поле isError. Вывод агента перепроверяют кодом: если он рапортует о падении ошибок с 10 на 1000 запросов до 6 на 600, скрипт пересчитывает долю, получает те же 1% и отклоняет отчёт.

К чему ведёт отсутствие квот, показал Joey на опыте облачной платформы Harvey. В августе баг породил алерт на каждое рабочее пространство, а автоматизация поднимала агента на каждое сообщение в Slack. Вместо обычных 50 задач в день за четыре часа запустилось около 900 агентов на одну ошибку, пока кластер не кончился. В октябре один инженер с терминала поставил около 950 задач за три часа и снова забил очередь.

Повторные алерты стали цеплять к открытому расследованию, а запуски пустили через честную очередь с приоритетом для людей за клавиатурой. На тесте в 300 задач старт, по словам Joey, ускорился с почти двух секунд до 70 миллисекунд. Для автоматизаций, которыми пользовались около 110 человек, ввели предохранители: пять падений подряд выключают правило, причём правилу можно задать бюджет или срок действия.

И всё же инженер Microsoft напоминает: схема SAFE ничего не откатывает. Для отмены внешних операций всё равно нужны компенсирующие шаги по паттерну Saga из статьи 1987 года.

Запреты в коде, sandbox и ловушка exit code 1

Одиночный coding agent в долгой сессии упирается в то же доверие. Lydia из команды Claude Code в Anthropic рассказала, что по блогу компании число изменений выросло с 2500 в день в мае до более 30 000 в сентябре, и инженеры перешли к управлению десятками фоновых сессий.

С августа по умолчанию в Claude Code стоит auto mode: классификатор проверяет команды за рамками чтения и правки файлов проекта. По исследованию Anthropic, люди ловили только около 14% заведомо опасных команд, а auto mode блокировал 89%. Намного лучше, но примерно каждая десятая опасная команда всё равно проходит.

Поэтому, по словам Lydia, гарантии даёт только harness, а не промпт. Граница простая: можно ли вернуть систему после одной ошибки. Плохой код откатит Git, тут решает модель. Удаление незакоммиченных правок или чтение .env, после которого ключи оседают в транскрипте, не отменишь. Для этого в репозиторий кладут deny rules, срабатывающие раньше классификатора auto mode.

Но правило разрешения проверяет лишь имя команды и не ограничивает, куда полезет процесс внутри.

permissions only decide if a tool call runs, but they cannot limit what it can reach once it’s running.

Разрешения лишь решают, запустится ли вызов инструмента, но не могут ограничить то, к чему он обратится после запуска.

Обычный npm test пропустит и человек, и auto mode, а внутри зависимость или скрипт модели может прочитать .env или SSH ключи. Поэтому правила на файлы, запись и хосты передают в sandbox уровня ОС, накрывающий дочерние процессы.

Правда, файлы самого Claude, MCP серверы и хуки работают вне локального sandbox. Для долгих задач Lydia советует одноразовые облачные сессии с чистым клоном, сетью до реестров и GitHub и сетевыми секретами мимо контекста модели. Deny rules, вроде запрета force push, всё равно хранят в репозитории.

На длинной дистанции страдает и предсказуемость. На одном промпте о миграции авторизации разные запуски оставляли старый API, переводили только новые логины или разлогинивали всех. Проверки вешают на хуки: lint на правку файла, тесты модуля на подзадачу и полный прогон перед финалом. Подвох в том, что тестовые утилиты при падении обычно отдают exit code 1, но при exit code 1 Claude Code помечает задачу выполненной. Чтобы вернуть агента к правке, хук обязан отдавать exit code 2. Сверху это страхует CI с автоисправлением и отдельный агент для ревью, проверяющий каждый PR в свежем контексте с перепроверкой багов другими агентами.

Лестница автономии: когда можно отпускать руки

Даже с откатом, статусами и sandbox нужно решить, что пускать в продакшен без человека. Опыт команды инцидентов в Meta представили Chinmay, Swapnika и Vlad. По их оценке, около трёх четвертей нового кода там пишется с ИИ, и нагрузка ушла в ночные дежурства. Отдельные боты под алерты, тикеты и деплои не держали общий контекст.

В Meta поставили одного AI напарника на ротацию со своей учёткой, общей памятью смен и лестницей автономии, как у нового инженера.

But giving one agent all that context and reach raises the stakes. Which is why autonomy has to be earned.

Когда у одного агента собираются весь контекст и права доступа, цена ошибки растёт. Поэтому автономию приходится зарабатывать.

На первой ступени агент только расследует инцидент. На второй пишет патч с планом тестов и чинит CI, но в продакшен ничего не идёт без одобрения, и большинство черновиков отсеивается на ревью. На третьей ступени агент сам закрывает низкокритичную рутину вроде шумных алертов, дубликатов и простых фиксов через CI.

В примере утренней сводки за ночь пришло 23 элемента: 18 агент закрыл сам, 2 вёл, 3 отдал человеку со следующим шагом в один клик. Внутри треда уже лежали доказательства, например, что рост ошибок начался в 08:41 через две минуты после правки таймаута платёжного клиента, как в двух прошлых инцидентах, и там же агент готовил откат.

Повышение по лестнице зависит от двух условий: цены ошибки, лёгкости её поимки тестами или ревью и подтверждённой истории успеха на этом типе операций. Шумный алерт закрывается сам, высококритичные правки остаются за человеком. Команда уже собирает статистику реально одобренных митигаций, чтобы со временем пускать агента в задачи средней критичности.

Разные акценты у докладчиков и границы их цифр

Если положить пять выступлений рядом, на мой взгляд, видны два различия в акцентах.

Первый касается среды запуска. Anthropic ведёт от настройки локального sandbox к облачным сессиям. Meta и Harvey сразу строят серверный контур, причём в Harvey прямо говорят, что не конкурируют с Claude Code или Cursor, а запускают их внутри общей платформы. Но без честной очереди и квот падает и серверный harness.

Второй касается места проверки и потолка автономии. В Anthropic тоже считают, что промпт не даёт гарантий, и опираются на harness с хуками на exit code 2 и свежим агентом для ревью, допуская автослияние документации после зелёного CI. В EvoUndo и SAFE фокус смещён за цикл модели: четыре стратегии ремонта с верификатором на старом языке отката не вернули ни одной из 197 правок, сработали только точные данные о прошлом состоянии и расширенный язык отката, а в SAFE подтверждения проверяют кодом на шлюзе. В Meta на третьей ступени рутинные фиксы уходят в прод через CI, но высококритичные изменения остаются у людей.

Свои данные авторы ограничивают сами. Meta не называет процент экономии времени дежурных до строгого замера. Harvey внедряла очередь, квоты и кэш репозиториев одновременно и не отделяет вклад каждого шага. В UndoBench оговаривают разные знаменатели у 84% и 47%, и добавлю от себя, что в EvoUndo тестировали правки самого harness вроде таймаутов и middleware, без сложных бизнес-транзакций. А SAFE инженер из Microsoft вывел из практики на MCP Pacemaker и называет неуниверсальной, примеры с грязным чтением и процентами ошибок у него учебные.

Что можно забрать в свой стек уже завтра

Локальный агент в терминале или серверный кластер, из пяти докладов складываются пять правил для обвязки:

  • Снимайте состояние до любой мутации вне Git и выбирайте реакцию по фазе сбоя, закладывая компенсацию после коммита.

  • Требуйте от субагентов и инструментов явный статус (completed, partial, stale, unknown), не затирайте падения таймаутом и проверяйте внешнее состояние до повтора с одноразовым ключом на шлюзе.

  • Убирайте необратимые запреты вроде чтения .env, ключей и force push в deny rules и sandbox ОС до классификатора модели, а хуки проверки завершайте с exit code 2.

  • Ставьте дедупликацию повторных событий, лимит параллельных запусков и автоотключение автоматизаций после серии падений.

  • Выдавайте автономию по типу действия через цену ошибки, качество CI и историю успехов.