Cобрать агента для XAI и никогда больше не быть онлайн

[MrBrooks]

Вы путаете обвязку (харнесс) с агентностью.

Агенты - это узконаправленный вшитый промпт для запуска работы над узкой задачей.

Харнесс - система, которая позволяет ллм общаться с внешним миром (точнее, запускать в ней инструменты с конкретными приказами).

[sad__sabrina]

Спасибо за уточнение!

[eigrad]

После терминологической каши в статьях чуваков из Сбера, статьи Сабрины - просто луч света в темном царстве.

[sad__sabrina]

Спасибо огромное! Безумно приятно и ценно услышать, что удается понятно доносить теорию! Стараюсь.

[eigrad]

А насколько это XAI применимо к разработке самих агентов? Можно ли например из прогонов каких-то evals самой агентной системы вытащить что-то аналогичное SHAP values по каким-то эмбеддингам или структурным признакам промптов / структуры multi-agent pipeline?

[sad__sabrina]

Применимо и можно) В зависимости от среды вокруг агента нам понадобятся разные методы/дизайны процесса интерпретации, но общий ответ — можно. Сейчас даже относительно развивается ветка фреймворков, точно сходу два в голове: AgentSHAP — Shapley values по инструментам/агентам и AgentBoard — он мне казался веселее и интерактивнее. С эмбеддингами тоже можно придумать что-то, но тут зависит от контекста вокруг.

[mikhashev]

критик из той же LLM не спасёт, необходимо строить систему из независимых проверок, пре-регистрации критериев и внешнего аудита.