В сентябре 2019 года компания Facebook запустила конкурс Deepfake Detection Challenge (DFDC), посвящённый разработке алгоритмов обнаружения дипфейков. Призовой фонд составил $1 млн. Итоги соревнования Facebook опубликовала на прошлой неделе. Первое место занял Селим Сефербеков, инженер по машинному зрению из Минска, работающий в белорусской компании Mapbox.
Дипфейки, то есть фальшивые фото- и видеоматериалы, созданные с использованием искусственных нейросетей, — потенциальная угроза для достоверности распространяемой информации в социальных медиа. Нейросети уже хорошо умеют вставлять лица знаменитостей в художественные или порнографические фильмы, где они не снимались. Как ранее отмечали представители Facebook, опасность дипфейков кроется в возможности их использования для дезинформационных кампаний или в политике, например, при проведении выборов. Социальная сеть рассчитывает разработать алгоритм, который позволит обнаруживать и помечать дипфейки в автоматическом режиме. Попытка создания такого алгоритма и была целью конкурса DFDC.
В DFDC приняли участие 2265 команд. Конкурс проходил на платформе Kaggle. Первое место занял Селим Сефербеков, программист из Минска, который получил за свою победу $500 тыс. На втором месте оказалась команда из Китая \WM/ ($300 тыс.), на третьем — российская компания NtechLab ($100 тыс.). Четвёртое и пятое места заняли соответственно Eighteen years old из Гонконга ($60 тыс.) и британско-американская команда The Medics ($40 тыс).
Как пишет Synced, изначально в конкурсе победила команда под названием All Faces Are Real, однако позже она была лишена первого места за нарушение правил использования внешних данных. Издание указывает, что правила конкурса DFDC позволяли командам использовать внешние данные для разработки и тестирования алгоритмов при условии, что команда «обеспечит доступ к внешним данным для всех участников конкурса бесплатно».
All Faces Are Real взяла датасет лиц людей Flickr-Faces-HQ и также собрала собственный по видеороликам с YouTube. Датасет Flickr-Faces-HQ составлен на основе фотографий под CC-BY или более свободными лицензиями, например, общественное достояние. Все эти лицензии допускают коммерческое использование. Как заверяли Facebook участники команды, использованные видеоролики c YouTube были опубликованы под CC-BY.
Однако Facebook потребовала от команды предоставить дополнительные разрешения на использование изображений.
«В частности, нас попросили предоставить дополнительные разрешения от лиц, фигурирующих в нашем внешнем наборе данных. К сожалению, поскольку изображения были взяты были из общедоступных наборов данных, у нас не было конкретного письменного разрешения от каждого человека, присутствующего в видео, и у нас не было никакой возможности идентифицировать этих людей», — отметили члены команды, которая после решения Facebook оказалась на седьмом месте.
Многим специалистам по машинному обучению смещение All Faces Are Real с первого места показалось несправедливым. В частности, гроссмейстер Kaggle Габор Фодор заявил, что эта «полудисквалификация подозрительна».
«Я очень разочарован этим решением, оно подрывает доверие участников», — указал он в ветке обсуждения конкурса на Kaggle.
«Это действительно ужасно. Facebook подтолкнула Kaggle к «полудисквалификации» законных победителей конкурса», — заявил сотрудник NVIDIA Боян Тунгуз в Твиттере.
Многие участники отметили неоднозначность правил, касающихся использования внешних данных. Вопрос об использовании датасетов с YouTube задавал также победитель конкурса Селим Сефербеков, причём его вопрос оставался без ответа в течение месяца, указывает Synced.
На организацию конкурса Facebook потратила около $10 млн. Компания наняла более 3,5 тыс. актеров для создания тысяч видеороликов. Затем компания передала эти датасеты исследователям. Первый датасет был общедоступным, второй, состоящий из более 10 тыс. видео, закрытым. Видео из закрытого датасета создавались с использованием дополнительных технических приёмов — скорректированной частотой кадров, наложением изображений и различных фильтров. Алгоритмы участников добились точности обнаружения дипфейков в 82% для общедоступных датасетов, однако точность распознавания дипфейков из закрытых наборов данных оказалась существенно ниже. В частности, алгоритм победителя Селима Сефербекова показал точность около 65%.
Тем не менее, как пишет TechCrunch, в Facebook назвали итоги конкурса многообещающими. Как указывает издание, самым сложным было определить, можно ли использовать искусственный интеллект для обнаружения дипфейков, и конкурс показал, что это возможно.
Алгоритмы-победители будут опубликованы в свободном доступе. Кроме того, Facebook по завершении конкурса опубликовала датасет из более 100 тыс. дипфейков, которым свободно могут пользоваться исследователи в сфере машинного обучения. Компания не планирует внедрять на собственную платформу ни один из победивших алгоритмов, так как точность определения даже в 65% пока недостаточно хороша. Вместо этого Facebook продолжит использовать уже работающий собственный детектор. Конкурс DFDC, как пояснил технический директор компании Майкл Шропфер, призван был «простимулировать отрасль».
Как считает Селим Сефербеков, для усовершенствования алгоритмов необходимо сосредоточиться на переходах между видеокадрами.
«Даже у очень качественных дипфейков между кадрами есть помехи. Люди хорошо замечают эти несоответствия, особенно когда речь идёт о лицах. Но автоматическое обнаружение этих дефектов потребует больших и разнообразных обучающих данных и гораздо большей вычислительной мощности», — приводит его комментарий MIT Technology Review.
Facebook, в свою очередь, предполагает, что обнаружение дипфейков можно улучшить с помощью методов, выходящих за рамки анализа самого изображения или видео, таких как оценка его контекста или происхождения контента.
См. также:
