Сотрудники Университета имени Бен-Гуриона в Израиле и японского IT-гиганта NEC выяснили, что тщательно нанесенный макияж на лоб, щеки и нос может помочь обмануть системы распознавания лиц.
Ранее исследователи использовали наклейки и бумажные очки, чтобы обмануть системы. Злоумышленники же предпочитают маски и даже манекены. Однако подобные странные аксессуары могут привлечь внимание человека-наблюдателя, например, охранника на посту.
В лабораторном эксперименте систему искусственного интеллекта запустили для сканирования лиц в поисках подозрительных людей. При этом на лица людей-целей нанесли естественный макияж.
Интересно то, что система распознавания лиц была для исследователей черным ящиком: они не имели доступа или представления о внутренней работе алгоритма, чтобы сымитировать реальную атаку.
Исследователи использовали суррогатную систему вместо программного обеспечения ИИ. Сначала они загружали в нее фотографии человека-цели и других случайных людей для создания тепловой карты. На этой карте выделяются участки лица, которые наиболее важны для системы при его идентификации.
Затем авторы эксперимента нанесли на эти области макияж, чтобы изменить их внешний вид. Так, они попробовали сделать нос визуально тоньше, а скулы — более выраженными.
В эксперименте принимали участие десять мужчин и десять женщин в возрасте от 20 до 28 лет. Камеры распознавания лиц на основе модели LResNet100E-IR, ArcFace@ms1m-Refin-v2 смогли правильно идентифицировать людей-цели только в 1,22 % случаев. В качестве суррогатной использовалась модель Facenet.
Нужно, однако, учесть, что модель распознавания лиц, которую исследователи использовали в своем тесте, с самого начала не была очень точной. Она смогла правильно идентифицировать участников без макияжа только в 47,57 % случаев, а с применением случайного макияжа — в 33,73 %.
Тем не менее, исследователи утверждают, что падение производительности системы при наложении макияжа «ниже разумного порога реалистичной операционной среды».
Ранее израильские исследователи уже смогли сгенерировать девять лиц, которые работают как «мастер-ключи» для обмана систем распознавания. Эти лица удалось выдать почти за половину реальных личностей в наборе данных, обманув три ведущие системы распознавания лиц.
В 2020 году исследователи подняли вопрос эффективности систем распознавания лиц, когда люди начали массово носить маски. В январе 2021 года NEC сообщила о запуске системы, которая идентифицирует людей в медицинских масках.
