Comments 2
Неплохо собрали кейсы, но самое интересное здесь даже не сами уязвимости, а то, как быстро индустрия повторяет старые ошибки под новым названием.
Пока компании не начнут:
• вести реестр AI-доступов (как IAM)
• ограничивать scope токенов по принципу least privilege
• и рассматривать любой внешний контент как потенциально вредоносный input
— такие инциденты будут не исключением, а нормой.
Всё это хорошо показывает отсутствие какого-либо инженерного (а, отчасти, и научного) подхода к проблеме.
Действительно, если Вы и вправду хотите что-то сделать, то Вы не будете где-то под покровом ночи обучать свои сверх секретные модели, а рано утром (пока можно захватить свои тапки) выкатывать их на обозрение публики в полное этой самой публике пользование. Для бизнеса главное — успеть: «кто первый встал — того и тапки».
Инженерный подход совершенно другой. Сначала ставятся задачи. Предлагаются решения. Затем создаётся инфраструктура. Хотите работать с ИИ? Пожалуйста! Только, пожалуйста, доработайте существующие сетевые протоколы, чтобы жёстко разделить то, что делают пользователи, и то, что делают модели. Предложите инфраструктуру для накопления обучающих данных. Докажите, что данные определённой структуры и содержания корректно использовать в качестве обучающих для определённых задач. Наконец, установите протоколы безопасности. Не можете ничего предложить? Тогда нельзя ничего запускать/внедрять/распространять. Но тогда и бизнеса не будет. Наверное.
ИИ взломали. Кто бы мог подумать?