Истории о том, как ИИ‑агент «натворил дел» на сервере, похожи одна на другую. Модель не злая, она уверенная. Сделать её безошибочной нельзя, а решить заранее, во что обойдётся её ошибка, можно.
В обсуждениях «ИИ снёс мне прод» сюжет почти всегда один. Агент почистил каталог, который оказался каталогом с данными. «Починил» конфиг, просто заменив его. Прогнал миграцию на боевой базе, потому что нашёл именно эту строку подключения.
Злого умысла там нет — есть уверенность. И вопрос «насколько умна модель» здесь второстепенный. Главный вопрос другой: что худшее она может сделать с теми правами, которые вы ей дали? Это и есть радиус поражения, и задаётся он задолго до первого запроса.
У меня был свой такой случай. Local Commander я разрабатываю вместе с несколькими ИИ‑агентами: каждый работает в своей копии репозитория (git worktree), а папка node_modules у всех копий общая, через ссылку. В начале октября агент убирал за собой отработанные копии. Ссылка не отцепилась, агент этого не заметил, и git worktree remove на пару минут опустошил node_modules основного проекта. Обошлось одной командой npm ci из lock‑файла — потому что откат был дешёвым заранее. После этого в правилах для агентов появилось: удалять только обычным git worktree remove без force, ссылки отцеплять отдельно и проверять состояние прямо перед удалением.
Через три дня — второй случай. Другой агент при слиянии веток молча затёр исправления безопасности из соседнего пулреквеста. Заметили по диффу и вернули трёхсторонним слиянием. Ещё один довод за пятый пункт ниже: изменения должны проходить через то, что можно прочитать.