ИИ‑фабрика: переход к автономной разработке

[YuliyaAnts]

Отличная статья. Сама сталкиваюсь с тем, что поэтапный запуск команд вроде /opsx:explore и ручное ревью каждого артефакта со временем тоже превращаются в рутину) Но возникает вопрос: как в вашей фабрике решается проблема накопления ошибок между стадиями? Если один гном немного ошибся в спеке или архитектуре, а второй на ее основе написал кривой код, то /audit-implementation проверит код на соответствие уже кривой спеке и, скорее всего, ничего не заметит. Есть ли какой-то откат к предыдущей стадии или механизм самокоррекции до того, как дело дойдет до финального PR?

[oinsio]

В фабрику встроен механизм петли контроля качества, который запускается в конце каждой стадии. Есть несколько встроенных инструментов для таких проверок: запуск локальной команды/скрипта, запуск удалённой проверки (например, SonarQube), LLM-судья. Вы сами настраиваете какие инструменты будут делать проверки и что именно будут проверять. Лучше первыми ставить простые дешёвые (по времени и деньгам) проверки. Если они пройдут, то уже переходить к дорогим (нет смысла делать ревью кода с помощью ИИ, если сборка проекта не проходит). Каждая проверка либо даёт «зелёный свет» двигаться дальше к следующей стадии, либо сообщает гному о заваленной проверке. Гном тогда доделывает свою работу на этой стадии, и снова запускаются проверки. Так происходит, пока все проверки стадии не пройдут успешно, либо не исчерпается лимит проверок/исправлений (по-умолчанию их количество равно двум). Если лимит достигнут, то работа останавливается и проблема эскалируется человеку.

Для проверок на стадиях написания спецификаций и архитектуры хорошо подойдёт LLM-судья. Таким образом Вы сможете отдать подготовленные спеки на ревью другим моделям (одной или нескольким). И они дадут обратную связь гному и фабрике нужно ли что-то исправить или можно переходить к следующей стадии.

Тут нет полной гарантии, что ошибка не возникнет вообще. И если она уже проскочила на следующую стадию, то будет зафиксирована там. Но и тут она ещё может быть исправлена. Гном на стадии реализации может заметить, что спека противоречит уже существующему коду. Тогда он сможет спросить у LLM-арбитра как ему действовать дальше. Если арбитр не разберётся, то будет эскалация человеку.

Есть настройка стадий - остановиться после окончания стадии и сообщить об этом человеку, либо двигаться дальше в автоматическом режиме. Эту настройку можно использовать во время отладки конвейера фабрики или на этапах, где нет полного доверия гномам, чтобы человек мог посмотреть промежуточные результаты и решить двигаться дальше сейчас или после внесения правок.

Но если всё же ошибка пролезла через все заграждения, то можно либо внести правки самому, либо зафиксировать код с ошибкой и завести новую задачу на исправление только что созданного бага.

[YuliyaAnts]

Спасибо за подробный ответ. Хорошо, что LLM-судьей можно назначить другую модель, а не ту, которая писала спеку. Сама часто так делаю, ревью другой моделью получается заметно качественнее. Пойду гонять тестовый проект, если появятся вопросы, напишу попозже)