Кто нашёл больше багов — агент или человек? Мои замеры 11 недель работы с AI-тестировщиком

[TheHost]

Есть дока, требования, есть тесткейсы и соответ баги. Человек уже не способен прогнать ручной тест по плану или написать автомейшин? В чем тут сравнение? Произвольный сайт без документации и требований?

[Kova13v]

Сайт не произвольный, обычные рабочие задачи с ТЗ и макетами. Тест-кейсы тоже есть, агент их сам пишет по ТЗ и по ним же прогоняет.

Способен ли человек - такой вопрос не стоял, я и руками прогоняю, и автотесты пишу, в статье мои собственные часы и есть. Мерил я другое: сколько часов и находок вышло у каждого за одни и те же 11 недель. Человек при этом остался нужен - все 6 пропусков агента нашел я.

[egorenkov15]

Из 77 багов были криты/блокеры или хотя бы мажоры?

Или все найденные баги попадают в глубокий бэклог, где о них потом забывают навсегда.

Спрашиваю в контексте того, что клод действительно много чего подсвечивает, но большая часть даже не оформляется в задачи.

[Kova13v]

Блокеров не было, с высоким приоритетом один - фильтр не находил ни одного подходящего объекта. Остальное мажоры и миноры: вёрстка, расхождения с макетом, пара функциональных.

В бэклог не уезжают: находки приходят во время тестирования задачи, до релиза, и чинятся там же. Разреза по severity в цифрах статьи нет, системно не записывал.