Исследователи из Бингемтонского университета совместно с сотрудником компании Intel разработали методику, которая позволяет определять дипфейки с заменой лиц. Метод работает на основе невидимых для глаза изменений цвета кожи, обусловленных кровообращением.
Свой метод Умур Айбарс Чифтчи, Лиджун Инь и Илке Демир описали в статье под названием «FakeCatcher: обнаружение искусственно созданных видео при помощи биологических сигналов». Они объясняют, что на настоящей видеосъёмке лица человека есть слабые изменения цвета, вызванные особенностями кровообращения. Такие изменения можно обнаружить на 32 точках с помощью фотоплетизмограммы (ППГ).
ППГ позволяет регистрировать изменения кровяного потока с использованием источника инфракрасного или светового излучения и фоторезистора или фототранзистора. ППГ нередко используется для наблюдения за состоянием новорождённых без прикрепления каких-либо датчиков к их коже.
Дипфейки не лишены таких изменений цвета кожи, вызванных кровообращением, но они не воссоздают их с высокой точностью. Исследователи из Бингемтонского университета и Intel обнаружили, что эти биологические сигналы на искусственно созданных видео несогласованны и нестабильны.
Несоответствия в изменениях цвета лица, обнаруженные в дипфейках, предоставили исследователям основу для создания собственной системы глубокого обучения, которая получила название FakeCatcher. Данная система способна обнаруживать дипфейки с точностью более 90%. В экспериментах с собственными наборами видеоданных метод исследователей обнаруживал дипфейки с точностью 97,3%. Система также обнаруживала дипфейки из датасета FaceForensics ++ с точностью 93,4%.
Ранее исследователи из Alibaba Group, Университета Кюсю, Технологического университета Наньян и Тяньцзиньского университета представили DeepRhythm, модель обнаружения дипфейков, которая также распознаёт изменения цвета лица, вызванные кровообращением. Обе группы исследователей заявляют, что в будущей работе хотят изучить способы объединения своих систем с существующими методами распознавания видео-дипфейков. Это позволило бы им найти более точные и надежные способы определения искусственных видео.
В июне инженеры Disney Research представили нейросеть, которая заменяет лица на фотографиях и в видео. Замена осуществляется в полностью автоматизированном режиме. Дипфейк реалистично заменяет мимику и речь в соответствии с оригиналом. Замена лиц может стать высококачественным инструментом для студий визуальных эффектов, работающих над голливудскими блокбастерами. Возможно, систему будут использовать для реалистичной подделки видеозаписей в целях развлечения.
