Comments 49
wow. Очень прикольно. Слов нет. Новый рынок - вирусы для нейросетей и "больные" модели, продолжающие исполнять свою функцию. Новая задача для антивирусов, искать больные нейросети и модели. Практически эволюция руками человека.
Следующий этап - внедрение вредоноса в тренировочные данные, чтобы они незаметно портили изначально здоровую сетку.
издают нечленораздельные звукиРассказывают какой-нибудь анекдот, например.
Это курам на смех!
Было в монти пайтон в номере про смертельный анекдот!
Практически как мем-агенты из SCP Foundation.
Такие ментальные зловреды ( мемы в их первоначальном понимании) существуют столько, сколько существует цивилизация. Один скажет слово, а толпа бежит крушить и убивать.
Похоже на то, что плоская земля, qanon, чипирование и 5G, антипрививочники и те у кого микроволновка влияет на ДНК находящихся в комнате - это все примеры таких вот вирусов. Имя им "вера" и вирусы эти существуют столько, сколько существует человек разумный.
Было у Кинга в "Мобильник" и у Лукьяненко в "Пост"
зараженные издают нечленораздельные звуки услышав которые здоровый человек заражается вирусом
Прямо «Мобильник» Стивена Кинга.
PS: да, буду обновлять страничку, перед тем как оставить пост(
Хабраредакторы в очередной раз показали свою профнепригодность, сделав из новости сенсацию и написав
Некоторые модели были протестированы против 58 распространенных антивирусных систем, и вредоносное ПО все равно не было обнаруженоЭто равноценно шифрованию вредоносного ПО стойким алгоритмом шифрования с неизвестным ключом и отправкой его на проверку антивирусами без самого ключа или программы для расшифровки и выполнения.
На самом деле статью стоило назвать "Ученые внедрили сторонние данные внутрь нейросети без нарушения ее работы". Стало бы гораздо понятнее, но журналистам, к сожалению, хочется дешевой сенсации, вот и нагнетают.
А то, на что намекает название - это нейросеть с "двойным дном", которая работает как обычная, но по ключевому сигналу начинала бы работать совершенно иначе.
Можно было еще назвать "модель AlexNet содержит 30% мусора" т.к. при замене 30% нейронов, модель не перестала давать хорошую точность.
Ну это в целом не новость, для облегчения сеток часто занимаются их обрезкой и т.д. Вот то что часть нейронов можно незаметно заменить левыми данными - это, имхо, интересно. Правда в плане заражения не совсем понятно - как я понял из этой новости, чтобы этот вирус из сетки распаковать нужна ещё одна вредоносная программа, тогда в чем профит? Антивирусам сложнее задетектить подобный вредонос-распаковщик?
Я так понимаю что нейронная сеть должна иметь расширенный функционал и большой доступ к управлению железом, толку от того что будет записан вредоносный алгоритм в нейронку которая пишет музыку нет, повлиять на что-то принципиально он не сможет, разве что будет вставлять матерные слова в конечное музыкальное произведение (ну или политические лозунги - что в принципе вполне себе реальное применение).
Я вот тоже думал, что журналисты нагнетают, но название оригинальной публикации "EvilModel: Hiding Malware Inside of Neural Network Models". Так что желтушные заголовки уже непосредственно в научных публикациях :)
Это по сути новый метод стеганографии. И нейросети - далеко не первый бинарный блоб, в который смогли закатать стеганографией левые данные.
Угу. Только причём тут вирусы и прочие вредоносы, я вообще не понял. Ведь чтобы их достать и запустить, нужен другой вредонос.
Не обязательно. Авторы обратили внимание на то, что в сетке можно много спрятать незаметного. Суть вредоноса (вредоносных нейронов, составляющих вредоносную подсеть в сети) может быть в изменении работы сетки при определенных условиях, не предусмотренных пользователем. Например (ногами не бейте, я не экономист) коррапченная сетка торгует для трейдера на бирже, выбирая по входным данным наиболее перспективные цели для инвестиций, и вроде-бы на радость трейдера торгует вполне граммотно, принося ему прибыль. Но стоит числу доступных ей средств (налички, акций, крипты) достичь определенного предела или ей получить какой-либо особый малозаметный сигнал из вне вместе с прочими данными, она совершает совершенно незапланированное действие, например полностью вкладывается в мутный фонд, который после этого выводит все средства и исчезает. У сетки нет доступа к железу, она не может получить ни одного пароля с сервера, но ей это и не надо. А если таких сеток десятки и сотни?
Ну а это уже сценарий фантастического рассказа. Ну, то есть, это теоретически возможно, и было бы прикольно найти и заэксплуатировать такую уязвимость.
Но предпосылок для этого никаких нет: исследование именно про то, про что говорит оригинальный комментарий — как 37мб мусора (или любых данных) спрятать в 178мб модели.
Чтобы нейронная сетка, которая труднопредсказуемо вообще в целом работает, вдруг начала "выполнять" условный оператор от входных данных и следом детерминированный зловредный код — это на порядок другого уровня задачка.
Ну а это уже сценарий фантастического рассказа
Ну кажется что не такая уж и фантастика. Кто мешает трейдерскую сеть натренировать покупать конкретные бумаги, когда в них "пролетает" специальная последовательность сделок. Пока этой последовательности нет, она работает как "обычно", а видя этот сигнал, в силу вступает другая стратегия. В обычном коде это можно было бы попробовать заметить, а вот в нейронке будет уже сложно.
Поэтому я и говорю, что это теоретически возможно. А на практике проблемки. Так же, как это сложно заметить в нейронке, это сложно и реализовать в нейронке. Получится, что для стабильной реакции на "зловредную" последовательность нужно на порядок более мощную нейронку, чем для обычной работы того же алгоритма. Ну и да, обучайте ответственную сетку самостоятельно под своим контролем, тогда уж точно никто зловреда не загонит.
Я не спорю, в будущем увидим, наверное, вариации подобных атак. Просто научная публикация и новость с этим никак не связаны и никак к этому не ведут.
Другой пример - автопилоты автомобилей. Они все время собирают данные с сенсоров и камер, которые кроме собственно автопилота, идут на центральный сервер, где непрерывно обучают модель. Эта новая модель периодически загружается на машины. Знаки в кустах с казалось бы случайными пикселями могут внедрить зловред, который с десяток машин уйдет на сервер, и этот зловред может например увести машину куда надо или сливать данные поведением или маршрутом машины.
Конечно это фантастика, для разработки такого зловреда надо идеально понимать саму сетку, но и атомная бомба была фантастикой.
>Вредонос при внедрении в нейроны начинает работать с помощью вредоносной программы-приемника
То есть нейросеть содержит только блоб и не исполняет никакого вредоносного кода сама.
Как в веса и архитектуру нейросети можно внедрить исполняемый машиной код? Как этот код запустится?
Нужна внешняя программа, которая зачем-то залезет в бинарные данные нейросети и eval-нет их кусок. А авторы исследования (что самое странное, даже не журналисты) просто хайпуют на том, что в этом куске может быть rm -rf /.
Да, сигнатурные антивирусы не задетектят вредоносный код, спрятанный в мусоре нейросетки. Но, имхо, сигнатурные антивирусы должны мочить программы, которые eval-ят картинки, видео, нейросетки и прочие странные бинарные данные. Потому что задетектить всю стеганографию принципиально невозможная задача — вредонос может использовать произвольно сложный способ чтения полезной нагрузки из бинарника.
Не понял, честно говоря, какой вредонос исследователи смогли запрятать, что он делает? Корректирует параметры работы в нужную атакующему сторону? Портит данные? Или что?
Как метод "лечения" зараженной модели — инвертировать наименьший значащий бит у 0.01% случайно выбранных весов.
"Мусорная" ДНК — тот же случай?
встроенных в ее структуру, без возможности их обнаружения с помощью стеганографии.
Имеется в виду
встроенных в ее структуру с помощью стеганографии, без возможности их обнаружения
или я не так понял?
> вредоносы можно успешно встраивать непосредственно в искусственные нейроны, составляющие модели машинного обучения, таким образом, чтобы их нельзя было обнаружить.
Поздравляю, парни, Вы изобрели вирус иммуннодефицита человека.
Исследователи из Китая скрыли вредонос внутри нейросети без нарушения ее работы