Комментарии 2
«Заявка существует только в его ответе», прямо больная тема. У нас в студии с десяток агентов, и именно этот класс ошибок мы ловим чаще всего: агент пишет «отправлено» или «готово», а в системе пусто. Один раз скрипт отчитался об отправке сообщения в WhatsApp, а на скриншоте была страница входа, сессия давно слетела.
Правило в итоге простое и скучное. Статус берём не из ответа агента, а из системы: есть ли запись, есть ли id, есть ли отметка о доставке. Если агент не может показать id созданного объекта, задача не закрыта. Ваш пункт про заглушки поддерживаю целиком, «нашёл заказчик» действительно звучит как улика.
В требовании проверить "новый пример" есть нюанс: если похожие документы или случаи попали и в отладку, и в тест, такая проверка может оказаться слабее, чем кажется. Вы разделяете наборы по типу кейса или источнику данных?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
ИИ-агент отчитался о создании заявки — а заявки нет. Как проверить прототип до пилота