Комментарии 24
Прекрасно. Просто прекрасно. Кое-что я из этого читал еще пару лет назад, когда в картинках заменялся один пиксель на белый и она переставала распознаваться. Но тогда CNN еще не были так модны, впрочем, они бы как раз его усилили на этапе pooling.
+2
Очень интересен вектор применения этих атак
0
Загружать в Фейсбук свои фоточки, чтобы он на них не находил людей или, если угодно, порно на ютуб.
+3
Для троллинга просто необъятные просторы.
А если еще постараться то можно будет загрузить много фотографий где Вы с Цукербергом )
А еще… это классно.
А вдруг людей так тоже можно обмануть?
А если еще постараться то можно будет загрузить много фотографий где Вы с Цукербергом )
А еще… это классно.
А вдруг людей так тоже можно обмануть?
+2
А вдруг людей так тоже можно обмануть?
Можно, но по-другому. Во-первых, есть слепое пятно. Во-вторых — оптические иллюзии.
0
Частично уже было: habrahabr.ru/post/335026
Хотя это претензия больше к первоисточнику
Хотя это претензия больше к первоисточнику
0
Интересно, а если такие картинки добавить к обучению, сеть совсем с ума сойдёт ?)
+1
Вспоминается пелевинский Аль Эфесби…
0
Экспериментировал с предобученной VGG-16. Тоже получилось обманывать, правда не так круто как в статье. На первой картинке оригинал (надо было брать без однородного фона), на второй кот (95%), на последней 99.99% кот, но функция потерь не учитывала разницу между генерируемой и исходной картинкой, а подгоняла только выход.
![](https://habrastorage.org/r/w1560/webt/hs/vu/73/hsvu73mrrqf-z7q-w6vvl2kzutq.png)
![](https://habrastorage.org/webt/hs/vu/73/hsvu73mrrqf-z7q-w6vvl2kzutq.png)
+4
Картинку заплатки распечатать на футболку?
+3
Интересно, какого качества и какого фрагмента заплатки хватит для обмана. Ведь может же она не попасть в кадр целиком или попасть под сглаживание.
0
Интересно было бы применить эту атаку к АльфаГо. Ставим камень куда-нибудь в совершенно абсурдное место доски, после чего программа начинает считать свою позицию безнадёжно проигранной, и отдавать группу за группой :)
+2
как то не верится в возможность существования «универсальной заплатки», которая будет работать одинаково, независимо от типа нейросети, независимо от кол-ва слоев и настроек сети, независимо от обучающей выборки.
Я верю что можно подобрать «заплатку» под фиксированные весовые коэффициенты статичной сети, но если обучающую выборку продолжать тренировать на все новых и новых данных, то очевидно что никакая универсальная заплатка работать не будет.
Я верю что можно подобрать «заплатку» под фиксированные весовые коэффициенты статичной сети, но если обучающую выборку продолжать тренировать на все новых и новых данных, то очевидно что никакая универсальная заплатка работать не будет.
+4
Ну до некоторой степени существование возможно.
В нейросетях есть направление «security» в смысле взлома нейросети и соответственно защиты от взлома.
В некоторых работах показано, что можно генерировать adversarial примеры для сети, которой у тебя нет — обучить свою похожую, генерировать примеры для неё и они с высокой степень подойдут для целевой сети. Если нет исходного датасета — можно разметить какой-нибудь датасет с помощью целевой нейросети и обучаться на этом. В общем, есть подходы.
Перенос таких примеров можно грубо рассматривать как то, что какая-нибудь визуальная иллюзия\картинка обманывает мозг большинства людей, несмотря на то, что все люди в некоторой степени разные, видели в жизни разные примеры.
Также есть статья, которая показывает, что при добавлении adversarial примеров в обучающую выборку генерация новых не сильно затрудняется.
В нейросетях есть направление «security» в смысле взлома нейросети и соответственно защиты от взлома.
В некоторых работах показано, что можно генерировать adversarial примеры для сети, которой у тебя нет — обучить свою похожую, генерировать примеры для неё и они с высокой степень подойдут для целевой сети. Если нет исходного датасета — можно разметить какой-нибудь датасет с помощью целевой нейросети и обучаться на этом. В общем, есть подходы.
Перенос таких примеров можно грубо рассматривать как то, что какая-нибудь визуальная иллюзия\картинка обманывает мозг большинства людей, несмотря на то, что все люди в некоторой степени разные, видели в жизни разные примеры.
Также есть статья, которая показывает, что при добавлении adversarial примеров в обучающую выборку генерация новых не сильно затрудняется.
0
Как работает эта заплатка? Добавил её на фото зимородка. Гугл опознал картинку с заплаткой даже лучше чем оригинальную. Или заплатка должна закрывать изображение полностью? :)
Исходная картинка![](https://habrastorage.org/r/w780q1/webt/dp/5b/_z/dp5b_zognt_pckeee8fgkas6f2g.jpeg)
![](https://habrastorage.org/webt/dp/5b/_z/dp5b_zognt_pckeee8fgkas6f2g.jpeg)
С заплаткой![](https://habrastorage.org/r/w780q1/webt/jo/ol/xb/joolxbfgvdfp0vmuab7tueq9v_c.jpeg)
![](https://habrastorage.org/webt/jo/ol/xb/joolxbfgvdfp0vmuab7tueq9v_c.jpeg)
Google до![](https://habrastorage.org/r/w780q1/webt/aq/71/d6/aq71d6knp9trd801rl0iudh5jk8.jpeg)
![](https://habrastorage.org/webt/aq/71/d6/aq71d6knp9trd801rl0iudh5jk8.jpeg)
Google после![](https://habrastorage.org/r/w780q1/webt/ev/rb/cy/evrbcyczlue5k1t2bd2g2l2qe-q.jpeg)
![](https://habrastorage.org/webt/ev/rb/cy/evrbcyczlue5k1t2bd2g2l2qe-q.jpeg)
+1
Ну примерно так и должна работать, только должна работать.
Вот тут почитать можно.
Вот тут почитать можно.
0
Скорее всего гугл не использует нейросети при поиске по картинкам (либо не только нейросети). Там какие-нибудь перцептивные хеши скорее всего применяются для индексации и оценки схожести (+ введённые самими пользователями поисковые запросы).
А нейросеть, судя по статье, должна была увидеть тостер на картинке с заплаткой.
А нейросеть, судя по статье, должна была увидеть тостер на картинке с заплаткой.
0
Собственно ничего не изменилось принципиально. И кстати вы еще и размер картинки сменили.
0
Я уже много раз видел такие якобы «атаки». Только вот есть одно жирное «но». Для генерации таких картинок надо иметь на руках готовую обученную сетку и заниматься перебором пикселей, чтобы следить за изменением метрики. Или пройтись по весам сети, чтобы выстроить картинку в обратном порядке от метрики к первому слою.
Таким образом если мы имеем сервис, за капотом сетку, ее архитектура неизвестна, веса тоже, то обмануть ее можно только генерируя огромное количество картинок, что скорее всего не дадут сделать. Когда уже реальные примеры из жизни будут?
Таким образом если мы имеем сервис, за капотом сетку, ее архитектура неизвестна, веса тоже, то обмануть ее можно только генерируя огромное количество картинок, что скорее всего не дадут сделать. Когда уже реальные примеры из жизни будут?
0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Четыре способа обмануть нейросеть глубокого обучения