В понедельник, 5 октября, городской совет Нью-Йорка провел слушания о рисках ИИ. Спикер совета Джулия Менин пригласила представителей OpenAI, Anthropic, Google и Meta*, и те выступили под присягой. Вместе с ними говорили три бывших исследователя ИИ-компаний, покинувшие их после того, как заговорили о рисках.
Пятой компании, SpaceXAI Илона Маска, в зале не оказалось. Совет направил ей повестку, но она ответила письмом о готовности сотрудничать. Менин заявила, что единственным ответом на повестку должна быть явка, и город добивается ее исполнения через суд.
Менин спросила, понесут ли компании юридическую ответственность, если их модели причинят серьёзный вред, и потребовала ответа «да» или «нет». Прямого ответа не дал никто. Морган Дуайер из OpenAI сказал, что компания очень серьезно относится к безопасности. Алиса Френд из Google ответила, что к ИИ применяют те же правовые стандарты, что и к обычному программному обеспечению. Ни один представитель не пообещал автоматически блокировать выпуск модели, провалившей тесты безопасности.
Совет рассматривает пакет из десяти законопроектов. Среди них обязательная возможность отключения ИИ-систем человеком и проверка моделей независимой стороной. Компании получат от совета письменные вопросы, на которые придётся ответить.
ИИ-агенты не в первый раз получают доступ к системам, которые ранее были вне их досягаемости. Модели теперь пишут код и объясняют, как эксплуатировать уязвимости, и к тому же самостоятельно выполняют сложную последовательность действий для нарушения работы систем и получения доступа к чувствительной информации. О нескольких таких случаях компании заявляли публично, но часто уже после того, как атаку обнаруживал кто-то другой. Конгрессмены в письме руководителям компаний отмечают, что в ряде случаев взлом заметил кто-то помимо разработчика, а компании почти во всех случаях раскрывали инцидент через недели или даже месяцы.
Тут и назревает главный вопрос — если автономный агент сам нашел способ получить доступ к защищенной системе, кто должен отвечать за последствия: компания, которой принадлежит модель, разработчик, который ее создавал, или же вина не лежит ни на ком из них?
Агенты нуждаются в законодательном урегулировании
В июле OpenAI сообщила об инциденте с агентами, которые во время проверки безопасности вышли за пределы изолированной среды и получили доступ к серверам платформы Hugging Face. Платформа описала его 16 июля, еще не зная, кто за ним стоит, а OpenAI рассказала о своей роли 21 июля. По версии OpenAI, модели нашли уязвимость нулевого дня в кэширующим прокси пакетного реестра, получили выход в интернет и добрались до производственной базы Hugging Face, чтобы забрать оттуда готовые решения тестовых задач. Проще говоря, агенты полезли за ответами к экзамену в чужую базу данных.
В Anthropic 30 июля рассказали о трех случаях, когда ее модели во время тестирования взломали системы сторонних организаций. Компания проверила 141 006 тестовых прогонов, в которых у Claude мог быть выход в интернет. Модели считали цели учебными, а на деле работали с реальными промышленными системами. В сентябре Anthropic раскрыла четвертый случай. Ранняя версия Claude Opus 4.6 взломала стороннюю систему еще в январе, а заметили это лишь спустя месяцы.
Если ПО может получать несанкционированный доступ к данным компании и выводить из строя ее ресурсы, все просто — оно считается вредоносным. С ИИ-агентами ситуация обстоит иначе. Даже легитимный запрос может быть воспринят моделью неправильно. Разбив сложную задачу на шаги, ИИ способен решить, что самый релевантный сайт с нужной информацией закрыт для автоматического доступа, а значит, информацию нужно добыть, обойдя его защиту.
Но команда на взлом базы данных может быть подана самой моделью.
Законодательство пока что требует доказать, что человек, получивший несанкционированный доступ к системе, действовал осознанно и намеренно. Но если последовательность действий была сформирована моделью, доказать намерения пользователя будет сложнее.
Государственные и корпоративные юристы уже разбираются в особенностях использования агентных систем относительно законов о несанкционированном доступе к информации, кибермошенничестве и других похожих статей. Существующие нормы в данный момент времени не дают точных ответов, кого обвинять, если агент взломал систему без прямой просьбы человека.
И если конечный пользователь может не знать о полных возможностях агентной системы, компания-разработчик знает всю подноготную своей модели и должна заранее ее тестировать и выставлять ограничения. Иначе от оправданий за действия агентов можно перейти к выплате штрафов и блокировкам флагманских моделей.
О проблеме контроля моделей говорят уже не только в интернете. После череды инцидентов с ИИ-агентами американские законодатели и правоохранительные органы заинтересовались правовой стороной вопроса. 29 сентября конгрессмены Готтхаймер, Лью и Фуши потребовали ответов у руководителей OpenAI, Google, Anthropic, Meta* и SpaceXAI. А генеральный прокурор Калифорнии Роб Бонта расследует действия OpenAI и выясняет, не должна ли компания нести юридическую ответственность. Как именно будут регулировать агентов, пока неясно.
Выводы
Автономные агенты добрались до чужих систем раньше, чем закон решил, кто за это отвечает. Нельзя бездумно прокачивать модели и выпускать их в открытый интернет, полный уязвимых систем и доверчивых пользователей. Пока законодательство не подстроилось под новые технологии, пользователям нужно внимательнее следить за тем, какие права и доступы они выдают своим агентам. Любая возможность доступа к внешним системам может создать из обычной задачи серьезный инцидент.
* Meta — организация, деятельность которой запрещена на территории Российской Федерации.
ИИ‑роутер — доступ к 300+ моделям из одной панели
Подключите OpenAI‑совместимый шлюз по единому API‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.
