Агент против агента: опыт участия в агентских соревнованиях BitGN PAC1 и AgentBeats

Меня зовут Егор Спирин, я руковожу лабораторией прикладных агентов (ЛаПА) в магистратуре AI Talent Hub при ИТМО. Мне всегда были интересны соревнования в IT — сначала ICPC, где важны алгоритмы и скорость, потом Kaggle, где всё сводится к одной метрике на фиксированном датасете. В обоих случаях понятно, что именно оценивается и как улучшить результат. Агентные соревнования устроены иначе: здесь оценивается не ответ, а поведение системы в процессе. Это ставит новый вопрос — как вообще провести такое соревнование?
В этой статье расскажу о сути агентских соревнований, чем они отличаются от классических, и об опыте участия в BitGN PAC1 и AgentBeats.

















