Comments 2
Зачем системному аналитику владение тестовыми фреймворками и работа с логами?
Но за классификацию аспектов ИИ спасибо - в той или иной мере в этом должен разбираться каждый и я как раз тут думал как бы упорядочить процесс, ваш классификатор мне пригодится!
Это все же не классификатор, а свод обсуждения темы. Хорошо, если данная работа поможет в создании классификатора.
Конкретно тестовые фреймворки -- мой опыт. Ими пользуюсь для отладки шагов агента, имитации различных ситуаций, многократного прогона (для того же подсчета уровня успешности выполнении задач, оценки времени и стоимости). Речь идет даже не о тестировании, а о проверке, что работа агента соответствует функциональным и нефункциональным требованиям.
Работа с логами упомяналась как минимум в двух докладах в контексте той же проблемы, но уже в проде. (1) Создали агента, (2) убедились, что он делает, то, что нужно, (3) запустили в прод, (4) а там он делает не то, что нужно (не так, как нужно). Т.е. необходимо проектировать агентов так, чтобы можно было понять, что же в реальности происходит, также необходимо уметь оценивать фактическую работу агента и расследовать отклонения, если есть. Понятно, логи важны всегда, но для LLM-агентов особенно из-за их недетерменированности.
Скилы системного аналитика для разработки LLM-агентов