Pull to refresh

Comments 24

Прекрасно. Просто прекрасно. Кое-что я из этого читал еще пару лет назад, когда в картинках заменялся один пиксель на белый и она переставала распознаваться. Но тогда CNN еще не были так модны, впрочем, они бы как раз его усилили на этапе pooling.
Белый пиксель бы усилился на этапе пулинга, если есть фильтр, который на него реагирует. Если фильтра нет — множество для пулинга не особо изменится.
Поэтому, собственно, не любой битый пиксель срабатывает, вроде как.
Очень интересен вектор применения этих атак
Загружать в Фейсбук свои фоточки, чтобы он на них не находил людей или, если угодно, порно на ютуб.
Для троллинга просто необъятные просторы.

А если еще постараться то можно будет загрузить много фотографий где Вы с Цукербергом )

А еще… это классно.

А вдруг людей так тоже можно обмануть?
А вдруг людей так тоже можно обмануть?

Можно, но по-другому. Во-первых, есть слепое пятно. Во-вторых — оптические иллюзии.

Интересно, а если такие картинки добавить к обучению, сеть совсем с ума сойдёт ?)
Вспоминается пелевинский Аль Эфесби…
Экспериментировал с предобученной VGG-16. Тоже получилось обманывать, правда не так круто как в статье. На первой картинке оригинал (надо было брать без однородного фона), на второй кот (95%), на последней 99.99% кот, но функция потерь не учитывала разницу между генерируемой и исходной картинкой, а подгоняла только выход.
Картинку заплатки распечатать на футболку?
Интересно, какого качества и какого фрагмента заплатки хватит для обмана. Ведь может же она не попасть в кадр целиком или попасть под сглаживание.
Интересно было бы применить эту атаку к АльфаГо. Ставим камень куда-нибудь в совершенно абсурдное место доски, после чего программа начинает считать свою позицию безнадёжно проигранной, и отдавать группу за группой :)
Не получится. Там же не только нейросеть, но и метод Монте-Карло. Вот как раз метод Монте-Карло — очень эффективно игнорирует всякий «мусор».

Просто нейросеть выиграть не то, что у чемпиона, но и у обычного профи не сможет…
как то не верится в возможность существования «универсальной заплатки», которая будет работать одинаково, независимо от типа нейросети, независимо от кол-ва слоев и настроек сети, независимо от обучающей выборки.
Я верю что можно подобрать «заплатку» под фиксированные весовые коэффициенты статичной сети, но если обучающую выборку продолжать тренировать на все новых и новых данных, то очевидно что никакая универсальная заплатка работать не будет.
Ну до некоторой степени существование возможно.
В нейросетях есть направление «security» в смысле взлома нейросети и соответственно защиты от взлома.

В некоторых работах показано, что можно генерировать adversarial примеры для сети, которой у тебя нет — обучить свою похожую, генерировать примеры для неё и они с высокой степень подойдут для целевой сети. Если нет исходного датасета — можно разметить какой-нибудь датасет с помощью целевой нейросети и обучаться на этом. В общем, есть подходы.
Перенос таких примеров можно грубо рассматривать как то, что какая-нибудь визуальная иллюзия\картинка обманывает мозг большинства людей, несмотря на то, что все люди в некоторой степени разные, видели в жизни разные примеры.

Также есть статья, которая показывает, что при добавлении adversarial примеров в обучающую выборку генерация новых не сильно затрудняется.
Как работает эта заплатка? Добавил её на фото зимородка. Гугл опознал картинку с заплаткой даже лучше чем оригинальную. Или заплатка должна закрывать изображение полностью? :)
Исходная картинка


С заплаткой


Google до


Google после

Ну примерно так и должна работать, только должна работать.
Вот тут почитать можно.
Скорее всего гугл не использует нейросети при поиске по картинкам (либо не только нейросети). Там какие-нибудь перцептивные хеши скорее всего применяются для индексации и оценки схожести (+ введённые самими пользователями поисковые запросы).

А нейросеть, судя по статье, должна была увидеть тостер на картинке с заплаткой.
Если следовать бритве оккама, правильней было предположить что заплатка не работает, т.е. статья — фейк.
Собственно ничего не изменилось принципиально. И кстати вы еще и размер картинки сменили.
Я уже много раз видел такие якобы «атаки». Только вот есть одно жирное «но». Для генерации таких картинок надо иметь на руках готовую обученную сетку и заниматься перебором пикселей, чтобы следить за изменением метрики. Или пройтись по весам сети, чтобы выстроить картинку в обратном порядке от метрики к первому слою.

Таким образом если мы имеем сервис, за капотом сетку, ее архитектура неизвестна, веса тоже, то обмануть ее можно только генерируя огромное количество картинок, что скорее всего не дадут сделать. Когда уже реальные примеры из жизни будут?
Sign up to leave a comment.