Команда из McAfee, занимающейся кибербезопасностью, организовала атаку на систему распознавания лиц, аналогичную тем, которые в настоящее время используются в аэропортах для проверки паспортов. Используя машинное обучение, исследователи создали изображение, которое выглядело как человек с оригинального снимка. Однако алгоритм не смог идентифицировать личность, приняв данное изображение за снимок другого человека.
Чтобы ввести систему в заблуждение, исследователи использовали алгоритм преобразования изображений, известный как CycleGAN, который переводит фотографии из одного стиля в другой. Например, он может превратить фотографию гавани в рисунок стиля Моне или заменить летнее фото гор на зимнее.
Команда McAfee использовала 1500 фотографий. Их загрузили в CycleGAN, чтобы преобразовать друг в друга. В то же время алгоритм задействовали, чтобы проверить новые изображения на распознаваемость. После создания сотен снимков CycleGAN выдал поддельное изображение, которое выглядело как человек А, но алгоритм решил, что это был человек Б.
Исследователи отметили, что они не имели доступа к реальной системе, которую используют аэропорты для идентификации пассажиров, и вместо этого использовали новейший алгоритм с открытым исходным кодом. Однако они полагают, что, если злоумышленники получат доступ к целевой системе, то эта атака сработает даже в аэропорту.
Ранее команда Чикагского университета выпустила Fawkes — инструмент, предназначенный для «маскировки» лиц, который слегка меняет снимок в социальных сетях, чтобы обмануть системы искусственного интеллекта. Исследователи из компании Kneron также показали, как маски могут обмануть системы распознавания лиц, используемые во всем мире. Исследование Национального института стандартов и технологий США (NIST) показало, что маски для лица, которые люди используют в период COVID-19, также создают препятствия для работы алгоритмов. Частота ошибок некоторых из 89 наиболее широко используемых систем выросла на 5-50%. В обычной ситуации этот показатель не превышал 0,3%.
Исследователи McAfee заявляют, что их цель в конечном итоге — продемонстрировать уязвимости, присущие этим системам ИИ: «Искусственный интеллект и распознавание лиц — невероятно мощные инструменты, помогающие в процессе идентификации и авторизации людей. Но когда вы просто берете их и слепо заменяете существующую человеческую систему, без какой-либо дополнительной проверки, то новая схема может иметь даже больше уязвимостей, чем раньше».
См. также:
