От промпта к мутациям: как я перестал писать тесты руками и собрал команду из 7 AI-агентов

[ComputerPers]

А что если тест ложно-отрицательный (когда агент находит то чего нет)?
Как с этим боретесь ?

[M0SEY]

Честно, не сталкиваюсь с этим на практике. По сути мутационное тестирование как раз это и закрывает. Сначала проверяем что тест проходит. Потом делаем мутацию, он должен упасть. Потом возвращаем обратно, он снова проходит. Если тест падает когда не должен, значит он привязан к чему-то лишнему, и это всплывёт ещё на этапе валидации.

[tentakle]

Здрасьте, добрый вечер. Курсор работает с таким же агентами, скиллами, правилами и прочим.

[M0SEY]

Да, Cursor работает с агентами и правилами. Я не претендую что это единственный способ. Просто рассказываю свой путь и как я к этому пришёл.

[insomnia77]

Спасибо за статью. Но есть ощущение, что система получилась довольно тяжёлой: большое количество агентов + мутационное тестирование с таргетом в 100% catch rate выглядит как серьёзный overhead, особенно если смотреть на это с точки зрения стоимости и времени на один компонент.

Я тоже занимаюсь построением e2e пайплайна на агентной модели (у меня роли вроде Jira Story Validator, Test Plan Writer, API Test Developer, Bug Reporter), и у меня основной bottleneck сейчас — это именно тест-дизайн. Агенты стабильно пропускают часть кейсов, даже при наличии контекста и итераций.

Поэтому стало особенно интересно:

• какие метрики вы используете, чтобы понять, что система действительно «хорошо работает»?

• как определяете, что есть gap в пайплайне (например, нужен ещё один агент или пересборка ролей)?

• или пока это больше исследовательская история / pet-проект без жёстких KPI?

[M0SEY]

Если упростить до одного критерия: я смотрю на итоговые тесты и спрашиваю себя, а я бы написал лучше? Если система пишет лучше меня, значит работает. Если вижу косяки, идём дальше и разбираемся. Если раскладывать подробнее: пайплайн проходит без зависаний, тесты соответствуют RTL-философии, не привязываются к деталям реализации, 100% catch rate мутаций, код переиспользует сторы, обёртки, константы из проекта, без хардкода. По гэпам примерно так же. Вижу повторяющуюся проблему в результатах, разбираюсь на каком этапе она появляется, решаю что крутить. Жёсткой KPI-истории пока нет, сейчас в процессе активной миграции. Потом поделюсь цифрами.