Разрабатываем тестовый стенд с автономным ИИ-агентом QA, способным заменить тестировщика в команде разработки бэкенда

[Ankair]

Во первых, всегда очень интересно видеть человека, который считает, что он один профессионал в белом пальто, а все вокруг него не такие оптимальные. Это много говорит о его профессионализме.

Во вторых, лично я активно общаюсь с ИИ на совершенно разные темы и знаю, что минимум в 10% случаев он крупно ошибается (и это я о топовых моделях, ГПТ 5, О3, Гемини. А иногда и вообще машинный бред попадается, вчера буквально Гемини 200+ строк выдал). Что в целом на данный момент не позволяет использовать его именно как замену людям. При этом справочником любой серьезный ИИ является великолепным, и серьезно ускоряет работу.

[unicorn_style]

Общение с чатом в окне и посредством к примеру жестких промптов с использованием MPC и заранее подготовленного контекста в нужном виде - очень разные вещи, можно сказать «небо и земля»

[bold_qa]

автономный ии-агент QA, который может решать до 85% задач тестировщика

Два вопросика:

1. А какой процент задач QA инженера способен решать ваш ии-агент?

2. Занялись ли вы уже созданием ии-агента backend-разработчика, чтобы найти замену в задачах, где вы точно разбираетесь и смогли бы оценить работу агента (а не там, где у вас отсутствует экспертиза)?

[froznfox4]

Подскажи пожалуйста:

1. Статистику по % тестов которые не проходят из-за неудачно сгенерированных данных.

2. Статистику по количеству текущий тестов на проекте.

3. Сколько генерируется тестов на одну доработку.

4. Статистику по интеграционным тестам.

5. Удалось сделать так, что бы он каскадно изменял зависимые тесты? Например при доработке API?