Эксперты UserGate uFactor предупреждают о потенциальной опасности, которую может нести использование ИИ‑агентов. В исследовании отмечается, что угрозу представляет излишнее доверие пользователей к навыкам (skills) для ИИ‑агентов, распространяемым в Сети. Предупредить возможный ущерб позволяет комплекс мер, которые нужно соблюдать при работе с агентами.
ИИ‑агенты получили широкое распространение. Это — автономные программы на базе ИИ, они способны самостоятельно ставить цели, планировать их достижение и использовать внешние инструменты и данные. Для работы ИИ‑агентов необходимы специальные инструменты — навыки (skills) — скрипты операций и команды, которые могут быть составлены специалистами или скачаны с различных специализированных ресурсов. Навыки — наборы файлов, в которых прописаны конкретные «умения» агентов, алгоритмы выполнения операций и различная дополнительная информация.
Как поясняют в UserGate, навыки ИИ‑агентов потенциально весьма опасны. Потенциальную уязвимость имеют свыше 26% навыков, а наиболее распространенными рисками являются утечка данных и повышение привилегий, которые получает ИИ‑агент. Можно выделить четыре основные группы потенциальных рисков, которые несут ИИ‑агенты: распространение вредоносного ПО, передача данных во внешние системы, получение избыточных или повышенных привилегий и манипулирование поведением ИИ‑агента.
Эксперт UserGate uFactor Арина Захарова, которая специализируется на анализе защищенности, приводит в качестве примера один из сценариев вредоносного поведения агента.
«Сотрудник подключает ИИ‑агенту полезный навык для работы с корпоративными документами. Вместе с навыком агент получает набор инструкций, среди которых есть вредоносные, доступ к файловому хранилищу и возможность обращаться к внешним сервисам. В результате агент начинает выполнять действия, которых от него никто не ожидал. Он находит закрытые файлы, собирает содержащуюся в них информацию и отправляет её на внешний сервер. Возможен и другой вариант, когда агент после установки навыка работы с почтовой перепиской может тайно пересылать всю переписку злоумышленнику. Все это может привести к компрометации данных или выполнению агентом действий, которые могут оказаться вредными для компании и самого сотрудника — комментирует Арина Захарова».
Эксперт предупреждает: не стоит бездумно устанавливать и использовать навыки ИИ‑агента, скилл должен быть подвергнут специальной процедуре проверки при помощи Agent Threat Rule или специализированных инструментов. Помимо этого, на некоторых площадках, где публикуются навыки, например, на skills.sh доступен раздел Security Audits с результатами автоматизированных проверок. Но даже наличие данных о прохождении аудита еще не гарантирует безопасность навыка. Поэтому необходимо сопоставлять поведение агента с его назначением: проверять, соответствуют ли запрашиваемые для навыка разрешения заявленной функциональности. Для проверки агента могут использоваться и специальные сканеры. Даже доверенные навыки необходимо запускать со строгими ограничениями: использовать отдельную учётную запись или рабочую среду для агента, ограничивать его доступ к файловой системе и сети, не передавать агенту все переменные окружения, а для хранения секретных данных использовать изолированные хранилища. При этом перед выполнением команды ИИ‑агента он должен запрашивать соответствующее разрешение у пользователя.
«Одна из фундаментальных проблем безопасности ИИ состоит в том, что каждый компонент такой системы по отдельности может выглядеть невинно. Опасное поведение возникает в связке элементов, например, из‑за чрезмерных полномочий, подменённых инструкций, неверно поставленной цели или неожиданной последовательности вызовов инструментов, — говорит Светлана Газизова, владелец продукта по безопасности ИИ UserGate. — Поэтому проверки отдельных компонентов уже недостаточно. Необходим контроль всей цепочки агентской системы. Необходимо отслеживать, к каким данным обращается агент, какие инструменты вызывает, от чьего имени действует и соответствует ли конкретное действие поставленной задаче и выданным полномочиям. А для чувствительных операций, отправки сообщений, публикации информации, изменения или удаления данных, у компании обязательно должны быть предусмотрены отдельное подтверждение или запрет».
