Pull to refresh

Исследования: deepfake-лица все сложнее отличить от реальных

Reading time 2 min
Views 2.3K

Исследователи Софи Джей Найтингейл и Хани Фарид опубликовали в Proceedings of the National Academy of Sciences of the United States свою работу, которая демонстрирует, что дипфейковые лица становится все сложнее отличить от настоящих.

Участники исследования смогли классифицировать настоящие и искусственные лица со средней точностью всего 48,2%, что близко к 50% вероятности. 

Для своей работы исследователи использовали 400 синтетических лиц, сгенерированных StyleGAN2. Это были 200 женских и 200 мужских дипфейков в различных возрастных диапазонах, различающиеся расой (100 чернокожих, 100 европеоидов, 100 восточноазиатских и 100 южноазиатских лиц). Ученые использовали только изображения с однородным фоном и без явных артефактов рендеринга.

Нейронная сеть извлекала низкоразмерное представление каждого лица из своей базы для сравнения с базой данных реальных лиц и получения максимально похожего дипфейка.

В первом эксперименте 315 участников одно за другим классифицировали 128 из 800 лиц как настоящие или синтезированные. Участники смогли угадать со средней точностью всего 48,2% дипфейков.

При классификации реальных лиц наблюдалась значительная корреляция между полом и расой и результатами. Средняя точность была выше для изображений мужчин из Восточной Азии, чем для женщин из Восточной Азии. Точность также была выше для белых лиц мужского пола, чем для белых лиц женского пола. Исследование не выявило такой значительной корреляции между расой, полом и результатами отбора дипфейковых лиц.

Во втором эксперименте 219 новых участников классифицировали 128 лиц, но сделали это при помощи обучения и последовательной обратной связи. Средняя точность немного улучшилась, достигнув 59% (59,3% для первого набора из 64 лиц и 58,8% для второго набора из 64 лиц). 

Третий эксперимент был разработан, чтобы выяснить, существует ли разница в восприятии дипфейков и реальных лиц. В общей сложности 223 участника по шкале от одного до семи оценили реальность 128 лиц, взятых из того же набора (один балл для очень ненадежных лиц и семь для заслуживающих доверия). Для реальных снимков средний коэффициент составил всего 4,48 по сравнению с 4,82 для синтетических изображений. Женские лица получили более высокий коэффициент (4,94) по сравнению с мужскими (4,36). При этом чернокожие лица также вызывали больше доверия, чем лица из Южной Азии. 

В 2021 году Microsoft и Facebook объявили о начале конкурса на разработку средств распознавания дипфейков; он продлится по март 2022 года.

Facebook AI и исследователи из Университета штата Мичиган представили метод выявления дипфейков, основанный на реверс-инжиниринге фейкового изображения и системе для его создания. Разработчики планируют сделать исходный код открытым, чтобы облегчить дальнейшие исследования. 

А группа ученых из Калифорнийского университета в Сан-Диего продемонстрировала, что даже самые продвинутые системы обнаружения дипфейков можно обмануть. Для этого достаточно внедрить входные данные или состязательные примеры в каждый видеокадр дипфейка.

Tags:
Hubs:
+2
Comments 0
Comments Leave a comment

Other news