Черепаха-винтовка: как обмануть ИИ

Ваша нейросеть уверенно распознаёт панду. Но стоит добавить несколько невидимых пикселей — и она с точностью 99% называет панду гиббоном. Tesla Autopilot не видит знак "Стоп" из-за пары стикеров. Чат-бот Microsoft превратился в расиста за 16 часов. ChatGPT выполняет запросы, которые должен отклонять.
Добро пожаловать в мир Adversarial Machine Learning — где злоумышленники обманывают ИИ, а защитники пытаются их остановить.
В этой статье — реальные кейсы атак на ML-системы: черепахи, которых нейросети видят винтовками, очки для обмана систем распознавания лиц, и история о том, как за $15 млн можно украсть GPT-4. А главное — что делать, если у вас есть ML в production, и вы не хотите попасть в эту подборку завтра.
Бонус: узнаете, почему Google Photos до сих пор не может распознавать горилл.


