Комментарии 17
Научите гугл обходить атаки на машинное зрение.
Ого, что случилось? У гугла закончились деньги?
Похоже гугл зашел в тупик.
Черный квадрат — классическая атака.
совершенно неуязвимая к любым атакам нейросеть
А разве это теоретически хотя бы возможно?
Я так понял, что никто не просит нейросеть лучше, чем человеческая, но как минимум агностически относится к шуму и, скорее всего, учится выделять не один-два-три признака, а максимум.
Проблема «безопасности» распознавания, мне кажется, сводится к тому, что нейросети, фактически, выполняют однозначное сложное математическое преобразование из входящего сигнала X в выходной Y (однозначное означает, что каждому X соответствует один и тот же Y) при котором влияние определённых небольших частей входного сигнала намного больше влияния всего остального сигнала. Изменение этой небольшой части сигнала, соответственно, и приводит к «ошибке распознавания». Очевидно, что даже увеличивая число таких частей до, скажем, 5-10% от общего объёма входного сигнала, никак на качество не повлияет — достаточно будет найти каким-либо образом эти части и воздействовать через них. Можно ли построить такую нейросеть (или натренировать), чтобы 80% выходного сигнала определялось более чем 20% входного? Мне кажется пока нейросети до такого не доросли. Ну, будет вместо атаки одного пикселя атака 10 пикселей, это ведь дела не меняет.
В общем, ждём результатов соревнования.
В общем, ждём результатов соревнования.
Здесь атака не одного пикселя. И не 10. В примере вообще шум накладывается. Да и как показывает практика нейросеть имеет довольно обширную базу определения, причем есть методы улучшения. Идея атак состоит в том, что сеть очень чувствительна к небольшим изменениям и в принципе, не вижу для гугла реальных проблем по деверсификации, но видимо они там есть.
Хорошая попытка, SkyNet, но нет.
Такие топики почему-то мотивируют перестать заниматься ерундой.
Как говорится хотел бы заниматься нейроными сетями, но мозгов хватает, только на социальные.
Как говорится хотел бы заниматься нейроными сетями, но мозгов хватает, только на социальные.
Дело в том, что нейросети “глубокого обучения” работают вообще на так как локальные нейросети мозга и эмулируют, в лучшем случае, дорефлекторный уровень распознавания, зато намного лучше и точнее, чем природные распознаватели. Но понимание того, что на картинке – это совсем другое. Это требует использования модели понимания – уровень осознанной произвольности. Там тоже есть иллюзии, но уже не из-за путаницы в элементарных признаках, а из-за недостаточности более общего контекста понимания, что не позволяет определить смысл воспринимаемого. Подробнее: scorcher.ru/12787
А какие ограничения на adversarial examles? А то я в пэинте могу так нарисовать попугая, что ни один алгоритм в жизни не догадается что это попугай, но человеку будет очевидно: попугай.
Ну я так вижу есть несколько путей решения:
1. Аугментация изображений теми же методами какими создаются атакующие изображения
2. Использование GAN — только таких которые работают и обчаются очень быстро, иначе бы не было ограничений на производительность
3. Использование новых методов регуляризации. Распознавание образов сейчас уже очень точное, и может быть стоит пожертвовать частью точности, ради снижения атаки.
1. Аугментация изображений теми же методами какими создаются атакующие изображения
2. Использование GAN — только таких которые работают и обчаются очень быстро, иначе бы не было ограничений на производительность
3. Использование новых методов регуляризации. Распознавание образов сейчас уже очень точное, и может быть стоит пожертвовать частью точности, ради снижения атаки.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Google объявляет конкурс атак на алгоритмы машинного зрения