Comments 8
По-моему мать природа уже доказала что идеальная защита невозможна. На протяжении миллионов лет идеть борьба иммнных систем и вирусов и по сути своей это и есть состязательгая атака (на физическом носителе)
Несмотря на годы предупреждений о подобных атаках, они так и не выбрались из стадии математического курьёза и академических статей.
Генассамблея ООН не соглашается с вашим тезисом и неделю назад принимает резолюцию по искусственному интеллекту под названием: "Использование возможностей безопасных, защищенных и надежных систем искусственного интеллекта для устойчивого развития".
Спасибо, мне от политруков и так тошно.
В Artificial Intelligence Index Report 2024 нашлась хорошая ссылка на базу данных с тысячами примеров, когда системы искусственного интеллекта ошибались / приносили вред / использовались не по назначению: https://incidentdatabase.ai/
На первый взгляд, напрашивается введение параметра "устойчивости" признака при состязательном обучении. Т.е. тот признак, который при очередной итерации состязательного обучения меняется больше, считается менее устойчивым, и получает меньший вес.
Не совсем понял. Когда мы говорим про состязательное обучение, по сути, мы - как разработчики модели - встаём на сторону атакующего. И сами реализуем состязательную атаку против своей модели, чтобы найти состязательные примеры, корректно их разметить, добавить в обучающую выборку, повысить устойчивость модели.
Задача поиска состязательного примера для модели классификации ставится так: взять исходный несостязательный пример (в нашем случае из класса "атака") и "немного" изменить в нём значения признаков так, чтобы модель для этого примера изменила метку класса в ответе (чтобы ответ вместо "атака" стал "не атака"). И если при этом сохраняется действие атаки у найденного состязательного примера, то такой пример действительно обманывает модель, и он будет являться эффективным состязательным примером.
При постановке задачи поиска задаётся условие: расстояние (в каком-то смысле) между найденным состязательным примером и исходным примером должно быть минимальным или "малым". Грубо говоря, мы сами при генерации состязательных примеров можем указать эпсилон, которым отрегулируем эту "малость". И, фактически, не допускать ситуации, когда значения признаков будут "сильно" изменяться.
А ещё есть отдельное направление: "Generating Constraint-based Adversarial Examples". Пример статьи.
Мы так и не смогли защитить свою модель машинного обучения от состязательных атак. Пока