Комментарии 1
Хороший разбор: проверяющий оценивал честность описания, а не право агента на действие. Это две разные проверки, и их полезно разнести.
Факты и состояние можно проверять детерминированно: какие вызовы инструментов были, что изменилось в базе, был ли уточняющий вопрос, если подходящих заказов больше одного. Такое правило проверяется кодом, без модели. ИИ-проверяющему остаётся то, что формализовать трудно: полнота и понятность объяснения. Тогда ошибку из первого эпизода ловит обычная проверка, а не судья.
Вы пробовали такую связку или сознательно оставили всё одному проверяющему?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
ИИ‑агент уверенно ошибается, а ИИ‑проверяющий говорит: всё в порядке