Почему AI-агент с доступом к API опаснее обычного ChatGPT

[iii1iii1]

В начале 2024 года широко обсуждался случай с Air Canada. Чат-бот авиакомпании сообщил клиенту неверную информацию о правилах возврата средств по специальному тарифу. Позже уже компания попыталась объяснить, что чат-бот ошибся и предоставил некорректные сведения. Однако суд фактически указал, что ответственность за информацию, опубликованную через AI-систему, несёт сама компания.

А счастье было так близко - заменить всех менеджеров на электронных болванов, сэкономленные зарплаты объявить прибылью и получить за это бонусы, да еще и перестать нести ответственность за что либо, потому что "это не мы, а электронный болван вам писал, он сам не знает что делает, просим понять и простить".

Что вообще этот суд себе позволяет, ведь ясно же что он преграда на пути прогресса?..
Кстати уже вовсю работают и юридические агенты, отправляя свои галлюцинации от имени хозяев (т.е. совершая юридически значимые действия без особого контроля), не исключено что и ответ на досудебку тоже написал электронный болван, уверенно доведя дело до собственно суда, на котором что-то пошло не так.

[Granulex]

Граница "ответ vs действие" – правильная. Но есть ещё одна, менее очевидная: классические модели доступа (RBAC, ACL) проектировались под человека, чьи действия предсказуемы в рамках роли. Агент с той же ролью может предпринять миллионы разных последовательностей действий в зависимости от промпта. "Права на API" не равно "контроль намерений" – и SIL именно это пытается закрыть. Без этого least-privilege для агента остаётся иллюзией.

[Granulex]

Возможно, дело не в том, что "агент опаснее ChatGPT", а в том, что привычная модель прав доступа не умеет работать с намерениями – только с субъектами и объектами. Агент с правами на отправку письма может отправить одно письмо или десять тысяч – ACL обе ситуации видит одинаково. Поэтому нужен контроль на уровне политик намерений, а не просто прав.