PIFR — метод генерации 3D-маски, независимо от угла поворота лица

    ПИВЛ

    Представлем вашему вниманию перевод статьи «PIFR: Pose Invariant 3D Face Reconstruction».

    Во многих реальных приложениях, включая обнаружение и распознавание лиц, генерацию 3D-смайликов и стикеров, геометрию лица необходимо восстанавить из плоских изображений. Однако эта задача остается трудной, особенно когда большая часть информации о лице непознаваема.

    Цзян и Ву из Университета Цзяннань (Китай) и Киттлер из Университета Суррея (Великобритания) предлагают новый алгоритм 3D-реконструкции лица — PIFR, который значительно увеличивает точность воссоздания даже в сложных позах.

    Но давайте сперва кратко рассмотрим предыдущие работы по 3D-маскам и реконструкции лица.

    State-of-the-art исследования


    Авторы упоминают четыре общедоступные метода морфирования 3D-маски:



    В статье используется модель БМЛ, которая является наиболее популярной.

    Есть несколько подходов к воссозданию 3D модели из плоского изображения, в том числе:



    Предлагаемый метод — PIFR


    В статье Цзян, Ву и Китлера предлагается новый алгоритм постановки инвариантного 3D-воссоздания лица — ПИВЛ (Pose-Invariant 3D Face Reconstruction — PIFR), основанный на методе 3DMM.

    Во-первых, авторы предлагают генерировать фронтальное изображение, нормализуя одно входное изображение лица. Этот шаг позволяет восстановить дополнительную идентификационную информацию лица.

    Следующим шагом является использование взвешенной суммы 3D-признаков двух изображений: фронтального и исходного. Это позволяет не только сохранить позу исходного изображения, но и расширить идентификационную информацию.

    Схема предлагаемого подхода:

    Обзор метода постановки инвариантного 3D-воссоздания лица (ПИВЛ)

    Эксперименты показывают, что алгоритм ПИВЛ значительно улучшил производительность 3D воссоздания лица по сравнению с предыдущими методами, особенно в сложных позах.

    Рассмотрим предложенную модель подробнее.

    Описание метода


    Метод ПИВЛ в значительной степени опирается на процесс подгонки 3DMM, который можно выразить как минимизацию ошибки вычисления координат 3D-проекций ключевых точек. Однако лицо, созданное 3D-моделью, имеет около 50 000 вершин, и поэтому итерационные вычисления приводят к медленной и неэффективной сходимости. 

    Чтобы преодолеть эту проблему, исследователи предлагают использовать ключевые точки (например, центр глаза, угол рта и кончик носа) в качестве основной истины в процессе подгонки маски. В частности, используется взвешенный ориентир 3DMM подгонки.

    image
    Верхний ряд: исходное избражение и ориентир. Нижний ряд: 3D-модель лица и ее выравнивание на 2D-изображении

    Следующая задача — воссоздать 3D-маску лица на крупном плане. Чтобы решить эту проблему, исследователи используют метод высокоточной нормализации позы и выражения (ВНПВ), но для нормализации только позы, а не выражения лица. К тому же, редактирование Пуассона применяется для восстановления области лица, закрытой из-за угла обзора.

    Сравнение производительности с другими методами


    Результативность метода ПИВЛ была оценена для воссоздания лица:

    1. в малых и средних позах;
    2. крупные планы;
    3. сложные позы (углы отклонения ±90).


    Для этого исследователи использовали три общедоступных датасета:

    • Набор данных AFW, созданный с помощью Flickr изображений, содержит 205 изображений с 468 отмеченными лицами, сложными фонами и позами лица.
    • Набор данных LFPW, содержащий 224 изображения лиц в тестовом наборе и 811 изображений лиц в наборе обучения; каждое изображение помечено 68 характерными точками; 900 изображений из обоих наборов были выбраны для тестирования в этом исследовании.
    • Набор данных AFLW-это крупномасштабная база данных лиц, которая содержит около 250 миллионов изображений, помеченных вручную, и каждое изображение помечено 21 точкой особенности. В этом исследовании для качественного анализа использовались только изображения в сложных положениях лица из этого набора данных.


    Количественный анализ

     
    Используя Среднюю Евклидову Метрику (СЕМ), в исследовании сравнивается производительность метода PIFR с E-3DMM и FW-3DMM в наборах данных AFW и lfpw. Кривые распределения накопленных ошибок (РНО) выглядят следующим образом:

    image
    Сравнение кривых распределения накопленных ошибок (РНО) в наборе данных AFW и LFPW

    Как видно из этих графиков и таблиц ниже, метод ПИВЛ показывает превосходную эффективность по сравнению с двумя другими методами. Особенно хороша это эффективность воссоздания для крупных планов.

    image

    Качественный анализ


    Метод также был оценен качественно на основе фотографий лица в разном положении из набора данных AFLW. Результаты показаны на рисунке ниже.

    image
    Сравнение 3D-воссоздания лица: (a) исходное изображение; (b) FW-3DMM; (с) E-3DMM; (d) предлагаемый подход

    Даже если половина ориентиров не видны из-за нетривиальной позы, что приводит к большим ошибкам и провалам других методов, метод PIFR всё еще хорошо работает.

    Ниже приведены дополнительные примеры эффективности метода ПИВЛ на основе изображений из набора данных AFW.

    image
    Верхний ряд: ввод 2D-изображения. Средний ряд: 3D-маска. Нижний ряд: выравнивание маски

    Итог


    Новый алгоритм реконструкции лица ПИВЛ дает хорошие результаты воссоздания даже в сложных позах. Принимая как исходные, так и фронтальные изображения для взвешенного слияния, метод позволяет восстановить достаточно информации о лицах для воссоздания 3D-маски.

    В дальнейшем исследователи планируют восстановить еще больше информации о лице, чтобы повысить точность воссоздания маски.

    Оригинал

    Перевел — Фарид Гасратов
    Поделиться публикацией
    Комментарии 1
      0
      Очень неплохо. Правда больше похоже не на генерацию маски, а на «долепливание/перелепливание» шаблонной. Как-то все на одно лицо. + не думаю, что было бы очень сложно тон и цвет лица для итоговой маски подбирать.
      А так ребята красавцы, есть куда двигаться

      PS На последнем примере дед в Райана Рэйнольдса превратился))

      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

      Самое читаемое