Как обмануть нейронную сеть

[Wesha]

она не только учится «предсказаниям», но и понимает смысл всего предыдущего текста

(устало:) И часто вы он антропоморфизируете? Не понимает он смысл, не понимает — он именно что учится предсказаниям.

И именно это и показывает «атака с добавлением пикселов к изображению»: человек на основе видимого создаёт в голове модель того, что он видит («я вижу красный восьмиугольник с белой каймой, на нём белые иероглифы S T O P, и ещё всякий визуальный мусор» — а модель видит чисто мешанину пикселов.