Привет, Хабр! На связи Светлана Газизова, APO по ИИ в UserGate. Сегодня разберем один из наиболее актуальных способов распознать дипфейк — по движению волос. Обсудим надежность этого способа, а также поговорим о том, как генеративные модели в целом обращаются с биомеханикой.

Биомеханика — это раздел науки о том, как тело и его отдельные части отвечают на механическую нагрузку: как гасит удар сухожилие, как сгибается сустав, с какой инерцией и жесткостью ведет себя мышца под весом. Теми же уравнениями описывается и обычная прядь волос — у нее есть масса, жесткость на изгиб, собственное демпфирование колебаний. Инженер, который проектирует протез, и художник по спецэффектам, который настраивает, как будет колыхаться волос анимированного персонажа, в некотором смысле решают одну и ту же задачу. Просто с разной ценой ошибки.

В физике категорию объектов, к которой относятся волосы, называют мягким телом — в противоположность жесткому, у которого форма при движении не меняется, вся геометрия смещается синхронно, как один блок. Мягкое тело так не умеет. Разные его части реагируют на нагрузку неравномерно, с задержкой, с собственной инерцией, и волосы на видео — почти хрестоматийный пример такого движения. Тысячи независимых нитей, у каждой своя масса, жесткость, угол роста из фолликула. Прядь у виска запаздывает на долю секунды относительно пряди на затылке. Отдельные волоски вибрируют от воздушного потока, который создается движением головы.

Биомеханика также конкретизирует волос как материал: он вязкоупругий, то есть одновременно упруго возвращается в форму и вязко гасит колебание. Оба эти свойства чуть отличаются от пряди к пряди: так происходит из-за толщины, влажности, степени завивки. Коэффициент демпфирования, которым описывают это явление, не одинаков даже в пределах одной прически. Отсюда — легкий хаос движения, которое глаз считывает как «живое», даже не понимая, на чем именно основано это ощущение.

Генеративная модель эту биомеханику не просчитывает. Она не решает уравнения движения мягкого тела для каждой пряди отдельно — она статистически угадывает следующий кадр, опираясь на то, что видела в обучающих видео. Возникает системная проблема: качественная симуляция мягких тел — это одна из самых ресурсоемких задач даже там, где физику считают специально, в играх и кино. В дешевых игровых движках волосы персонажа часто анимируют не как мягкое тело, а как жесткую геометрию на шарнире у корня, потому что полноценная биомеханика для каждой пряди съедает бюджет производительности.

Дипфейк-генератор приходит к похожему результату не из экономии, а потому что статистическое усреднение множества слегка рассинхронизированных траекторий приводит к одной синхронной. Множество независимых деформаций мягкого тела при усреднении вырождаются в движение жесткого. Специалисты по детекции подделок описывают это так: «волосы двигаются единым куском, будто приклеенным шлемом» — биомеханика пропала, осталась кинематика жесткого объекта. То же нарушение динамики мягкого тела чаще всего выдает себя не только в волосах, но и в серьгах, которые мерцают между кадрами, и в складках одежды, которые двигаются не по законам деформируемой ткани, а как будто они нарисованы поверх неподвижного слоя.

Оговорка здесь обязательна: считать нарушенную биомеханику мягких тел неоспоримым доказательством использования генеративной модели еще рано. Пока что это скорее наблюдение практиков, активнее всего его формулирует в своих материалах компания Adaptive Security, специализирующаяся на детекции дипфейков. Рецензируемых биомеханических исследований, которые бы измеряли точность именно этого признака на больших датасетах, нам найти не удалось.

Стоит также помнить о том, что механизмы создания дипфейков неумолимо быстро развиваются. Несколько лет назад надежным признаком дипфейка считался характерный след в частотном спектре изображения — артефакт апсемплинга в GAN-архитектурах. Как только индустрия перешла на диффузионные модели, этот след почти исчез. Есть основания полагать, что индикаторы мягкого тела ждет похожая судьба: как только генеративное видео обзаведется встроенной биомеханической симуляцией волос и ткани поверх диффузионного ядра, признак может ослабнуть за один-два цикла обновления моделей.

Но пока у физики мягких тел как индикатора есть практическое преимущество перед сравнением звука с движением губ или анализом пульса по цвету кожи. Чтобы подделать биомеханику убедительно, недостаточно нарисовать правдоподобный кадр, нужно либо честно просчитать деформацию каждой независимой единицы мягкого тела, либо тончайше подделать эту физику, что станет отдельной инженерной задачей дороже генерации самого лица. Тысяча независимых частиц с трением, инерцией и собственным демпфированием — это не то, что легко имитировать статистическим усреднением.

Источники

О волосах, серьгах и складках одежды как признаках дипфейка:

Об устаревающем индикаторе (спектральных артефактах GAN) и его диффузионной замене: