К реальной реставрации смазанного сканированием лица

Аннотация

Восстановление смазанного (тусклого) лица обычно опирается на лицевые приоры – предшествующие ориентиры геометрии лица или ссылки, для восстановления достоверных его деталей. Однако входные данные низкого качества не могут обеспечить точную геометрическую точность, а ссылки высокого качества часто недоступны, что ограничивает применимость в реальных сценариях. В этой работе мы предлагаем метод GFP-GAN, который использует богатые и разнообразные приоры, предоставляемые предварительно подготовленными GAN приорами для восстановления тусклого лица. Этот генерирующий предшествующие приоры лица (GFP) уровень включается в процесс восстановления лица с помощью послойного преобразования пространственных объектов, позволяя нашему методу достичь хорошего баланса реалистичности и точности. Благодаря мощному генерированию изображения лица (лицевого дизайна) и тонких его деталей, наш метод GFP-GAN может совместно восстанавливать детали лица и улучшать цвета всего за один прямой проход, в то время как методы инверсии GAN требуют специальной оптимизации изображения при выводе. Обширные эксперименты показывают, что наш метод обеспечивает превосходную производительность по сравнению с предыдущим уровнем развития техники, как для синтетических, так и для реальных наборов данных.

1. Введение

Восстановление смазанных лиц направлено на восстановление высокого качества изображения лиц по сравнению с низкокачественными аналогами, страдающими низким разрешением [13, 48, 9], внесенным шумом [71], размытием [39, 58], артефактами сжатия [12] и т.д. Применительно к реальным сценариям это становится более сложным из-за более сложной деградации, разнообразных поз и выражений. В предыдущих работах [9, 69, 6] использованы приоры, относящиеся к восстанавливаемому лицу, такие, как ориентиры лица [9], карты анализа [6, 9], «тепловые карты» компонентов лица [69] и показано, что эти геометрические приоры лица имеют решающее значение для точного восстановления формы лица и его деталей. Однако эти приоры обычно оцениваются по входным изображениям и неизбежно ухудшаются при очень низком качестве входных данных из реального мира. Кроме того, несмотря на семантические связи, приведенные выше приоры содержат ограниченную информацию о текстуре для восстановления деталей лица (например, зрачка глаза).

Другая категория подходов исследует эталонные приоры, т.е. высококачественные для управления восстановлением лица детали [46, 45, 11] или словари компонентов [44], позволяющие получить реалистичные результаты и уменьшить зависимость от ухудшения входных данных. Однако недоступность ссылок с высоким разрешением ограничивает его практическую применимость, в то время как ограниченная емкость словарей ограничивает его разнообразие и богатство возможностей использования деталей лица.

В этом исследовании мы используем генеративный априорный анализ лица (GFP) для восстановления тусклого лица в реальном мире, т.е. приор, неявно инкапсулированный в предварительно обученную модель Генеративной Состязательной Сети (GAN) [18], такие как Style GUN [35, 36]. Эти лицевые GAN способны точно восстанавливать лица с высокой степенью вариабельности и, таким образом, обеспечивать богатые и разнообразные характеристики, такие как геометрия, текстура и цвет лица, что позволяет совместно восстанавливать детали лица и улучшать цвета (рис.1).

Тем не менее, сложно включить такие генеративные приоры в процесс восстановления. Предыдущие попытки обычно использовали инверсию GAN [19, 54, 52]. Сначала они "инвертируют" ухудшенное изображение обратно в скрытый код предварительно обученного GAN, а затем проводят дорогостоящую оптимизацию изображения для восстановления изображений. Несмотря на визуально реалистичные выходные данные, они обычно создают изображения с низкой точностью, поскольку скрытых кодов с низким размером недостаточно для точного восстановления.

Для решения этих проблем мы предлагаем метод GFP-GAN с тонкими конструкциями достижения хорошего баланса реалистичности и точности за один проход вперед. В частности, FPGA состоит из модуля удаления деградации и предварительно обученного GAN лица. Они соединены прямым отображением скрытого кода и несколькими слоями преобразования пространственных объектов с разделением каналов (CS-SFT) грубым и тонким способом. Предлагаемые слои CS-SFT выполняют пространственную модуляцию для разделения объектов и оставляют левые объекты при прямом прохождении для лучшего сохранения информации, что позволяет нашему методу эффективно включать генеративный приор при перепрохождении (новой итерации) с высокой точностью. Кроме того, мы учитываем потерю компонентов лица с локальными дискриминаторами для дальнейшего улучшения деталей восприятия лица, используя при этом потерю идентичности для дальнейшего повышения точности воспроизведения.

Мы суммируем вклады следующим образом. (1) Мы используем богатые и разнообразные генерации лицевых приор для восстановления смазанного лица. Эти приоры содержат достаточную информацию о текстуре лица и цвете, что позволяет нам совместно выполнять восстановление лица и улучшение цвета. (2) Мы предлагаем структуру GFP-GAN с тонкими конструкциями архитектур и потерями четкости, чтобы включить генерацию лицевого приора. Наш GFP-GAN со слоями CS-SFT обеспечивает хороший баланс точности и полноты текстуры за один проход вперед. (3) Обширные эксперименты показывают, что наш метод обеспечивает превосходную производительность по сравнению с предыдущим уровнем техники восстановления, как для синтезируемых, так и для реальных наборов данных.

2. Похожие работы

Восстановление изображений обычно включает в себя сверхразрешение [13, 48, 60, 49, 74, 68, 22, 50], шумоподавление [71, 42, 26], удаление размытия [65, 39, 58] и удаление сжатия [12, 21]. Для достижения визуально приятных результатов генеративная состязательная сеть [18] обычно используется в качестве контроля потерь, чтобы приблизить решения к естественному многообразию [41, 57, 64, 7, 14], в то время как наша работа пытается использовать предварительно подготовленные эталоны лиц в качестве генеративных лицевых приоров (GFP).

Восстановление лица. Основываясь на общей галлюцинации лица [5, 30, 66, 70], для дальнейшего улучшения производительности были включены два типичных априорных анализа лица: геометрический априорный анализ и эталонный априорный анализ. Априорная геометрия включает ориентиры лица [9, 37, 77], карты разбора лица [58, 6, 9] и тепловые карты компонентов лица [69]. Однако 1) эти априоры требуют оценок на основе входных данных низкого качества и неизбежно ухудшается в реальных сценариях. 2) Они в основном сосредоточены на ограничениях геометрии и могут не содержать адекватных деталей для восстановления. Вместо этого используемый нами GFP не требует явной оценки геометрии из ухудшенных изображений и содержит адекватные текстуры внутри своей переобученной сети.

Эталонные приоры [46, 45, 11] обычно полагаются на эталонные изображения одной и той же идентичности. Чтобы преодолеть эту проблему, DFDNet [44] предлагает создать словарь (библиотеку) лиц каждого компонента (например, глаз, рта) с функциями CNN для управления восстановлением. Однако DFDNet в основном фокусируется на компонентах словаря и, таким образом, ухудшается в областях, выходящих за рамки словаря (например, волосы, уши и контур лица), вместо этого наш GFP-GAN может обрабатывать лица в целом для восстановления. Кроме того, ограниченный размер словаря снижает разнообразие и богатство деталей лиц, в то время как GFP может предоставлять богатые и разнообразные возможности, включая геометрические текстуры и цвета.

Генеративные приоры предварительно обученных GAN [34, 35, 36, 3] ранее использовались инверсией GAN [1, 76, 54, 19], чья основная цель состоит в том, чтобы найти наиболее близкие скрытые коды, заданные входным изображением. PULSE [52] итеративно оптимизирует скрытый код StyleGAN [35] до тех пор, пока расстояние между выходами и входами не станет ниже порогового значения. mGANprior [19] пытается оптимизировать несколько кодов для улучшения качества реконструкции. Однако эти методы обычно дают изображения с низкой точностью, так как скрытых кодов малой размерности недостаточно для управления восстановлением. В отличие от этого, предлагаемые нами слои CS-CFT модуляции позволяют предварительно включать пространственные объекты с несколькими разрешениями для достижения высокой точности воспроизведения. Кроме того, дорогостоящая итеративная оптимизация не требуется в нашем методе GFP-GAN во время вывода.

Операция разделения каналов обычно исследуется для разработки компактных моделей и улучшения возможностей представления моделей. Мобильная сеть [28] предлагает глубокие свертки, а GhostNet [23] разделяет сверточный слой на две части и использует меньше фильтров для создания собственных карт объектов. Архитектура двойного пути в DPN [8] позволяет повторно использовать функции и исследовать новые функции для каждого пути, тем самым улучшая его возможности представления. Аналогичная идея также используется в супер-разрешении [75]. Наши слои CS-SFT разделяют схожие идеи, но с различными операциями и целями. Мы применяем преобразование пространственных объектов [63, 55] для одного разделения и оставляем левое разделение в качестве идентичности, чтобы достичь хорошего баланса реальности и точности.

Дискриминаторы Локальных Компонентов. Локальный дискриминатор предлагается сосредоточить на локальных распределениях патчей [32, 47, 62]. Применительно к лицам эти дискриминационные потери накладываются на отдельные семантические области лица [43, 20]. Введенная нами потеря компонентов лица также использует такие конструкции, но с дальнейшим контролем стиля, основанным на изученных различительных особенностях. 

3. Методология

3.1. Обзор GFP-GAN

В этом разделе мы опишем структуру GFP-GAN. Учитывая, что входное изображение лица x страдает от неизвестной деградации, цель восстановления замутненного лица состоит в том, чтобы оценить высококачественное изображение Y^, которое максимально похоже на изображение Y с точки зрения его реальности и точности.

Общая структура GFP-GAN показана на рис. 2. GFP-GAN состоит из модуля удаления деградации (U-Net) и предварительно обученного GAN лица (такого, как StyleGAN2 [36]), как и ранее. Они соединены скрытым отображением кода и несколькими слоями преобразования пространственных объектов с разделением каналов (CS-SFT). В частности, модуль удаления деградации предназначен для удаления неполной деградации и извлечения двух видов функций, т.е. 1) скрытые объекты F_latent для сопоставления входного изображения с ближайшим скрытым кодом в StyleGAN2 и 2) пространственные объекты с несколькими разрешениями F_spatial для модуляции объектов StyleGAN2.

После этого F_latent сопоставляется с промежуточными скрытыми кодами W несколькими линейными слоями. Учитывая близкий скрытый код к входному изображению, StyleGAN2 может генерировать промежуточные сверточные функции, обозначаемые F_GAN. Эти особенности обеспечивают богатые детали лица, запечатленные в весах предварительно обученного GAN. Функции с несколькими разрешениями F_spatial используются для пространственной модуляции функций GAN лица F_GAN с помощью предлагаемых слоев CS-SFT грубым и тонким способом, обеспечивая реалистичные результаты при сохранении высокой точности воспроизведения.

Во время обучения, за исключением глобальной потери распознавания, мы вводим потерю компонентов лица с помощью дискриминаторов, чтобы усилить перцептивно значимые компоненты лица, т.е. глаза и рот. Чтобы сохранить личность, мы также используем рекомендации по сохранению личности.

3.2. Модуль Удаления Деградации

Восстановление размытых лиц в реальном мире сталкивается со сложной и более серьезной деградацией, которая обычно представляет собой смесь воздействий низкого разрешения, размытия, шума и JPEG. Модуль фильтрации предназначен для явного удаления вышеупомянутой деградации и извлечения "чистых" функций, F_latent (скрытых) и F_spatial (пространственных), облегчающих нагрузку на последующие модули. Мы используем структуру U-Net [56] в качестве нашего модуля удаления деградации, поскольку это может: 1) увеличить поле восприятия для устранения большого размытия и 2) генерировать функции с несколькими вариантами разрешениями.

Формулировка выглядит следующим образом:

Сглаживание скрытых объектов F_latent используется для сопоставления входного изображения с ближайшим скрытым кодом в StyleGAN2 (раздел 3.3). Пространственные объекты F_spatial с несколькими разрешениями используются для модуляции функций StyleGAN2 (раздел 3.4).

Чтобы иметь промежуточный контроль по устранению деградации, мы используем потерю восстановления L1 в каждой шкале разрешения на ранней стадии обучения. В частности, мы также выводим изображения для каждой шкалы разрешения кодировщика UNet, а затем выполняем свертку выходных данных, чтобы результаты были близки к изображению истинного объекта.

3.3. Генеративный предварительный и скрытый код лица

Предварительно обученное лицо GAN фиксирует распределение по лицам в своих изученных весах сверток, а именно, генеративный приор [19, 54]. Мы используем такой предварительно подготовленный эталон лица и предоставляем разнообразные и богатые детали лица для вашей задачи. Типичный способ развертывания генеративных приоров состоит в том, чтобы сопоставить входное изображение с его ближайшими скрытыми кодами Z, а затем сгенерировать соответствующий вывод с помощью предварительно обученного GAN [1, 76, 54, 19]. Однако эти методы обычно требуют длительной итеративной оптимизации для сохранения точности. Вместо того, чтобы создавать конечное изображение напрямую, мы генерируем промежуточные сверточные функции F_GAN ближайшего лица, поскольку оно содержит больше деталей и может быть дополнительно модулировано входными функциями для лучшей точности (см. Раздел 3.4).

В частности, учитывая закодированный F_latent векторное двумерное представление входного изображения (созданный U-Сетью, уравнение 1), мы сначала сопоставляем его с промежуточными скрытыми кодами W для лучшего сохранения семантических свойств, т.е. промежуточного пространства, преобразованного из Z несколькими многослойными слоями персептрона (MLP) [76]. Скрытые коды W затем проходят через каждый слой свертки в предварительно обученной GAN и генерируют функции GEN для каждого масштаба разрешения. 

Обсуждение: Совместная реставрация и Улучшение цвета. Генеративные модели отражают разнообразные и богатые приоры, выходящие за рамки реалистичных деталей и ярких текстур. Например, они также содержат приоры цветов, которые могут быть использованы в нашей задаче для совместного восстановления лица и улучшения цвета. Изображения лиц из реального мира, например, старые фотографии, обычно имеют черно-белый цвет, винтажный желтый цвет или тусклый цвет. Живой цвет в генеративном лицевом приоре позволяет нам выполнять усиление цвета, включая окрашивание [72]. Мы считаем, что генеративные лицевые приоры также включают обычные геометрические приоры [9, 69], 3D-приоры [16] и т.д. для реставрации и манипуляций. 

3.4. Преобразование пространственных объектов с разделением каналов

Чтобы лучше сохранить точность воспроизведения, мы дополнительно используем входные пространственные объекты F_spatial (созданные U-Net, уравнение 1) для модуляции функций F_GAN из рисунка 2. Сохранение пространственной информации из входных данных имеет решающее значение для восстановления лица, так как обычно требуются локальные характеристики для сохранения точности и адаптивности восстановления в разных пространственных местоположениях лица. Поэтому мы используем преобразование пространственных объектов (SFT) [63], которое генерирует параметры аффинного преобразования для пространственной модуляции объектов. Оно показало свою эффективность при включении других условий в восстановление изображений [63, 44] и генерацию изображений [55].

В частности, в каждом масштабе разрешения мы генерируем пару параметров аффинного преобразования (α,β) из входных пространственных объектов несколькими сверточными слоями. После этого модуляция осуществляется путем масштабирования и сдвига функций GAN F_GAN, сформулированных:

 Для достижения лучшего баланса реалистичности и точности мы далее предлагаем слои преобразования пространственных объектов с разделением каналов (CSSFT), которые выполняют пространственную модуляцию части объектов GAN с помощью входных объектов F_spatial (способствующих точности) и оставляют левые объекты GAN (способствующие реалистичности) для прямого прохождения, как показано на рис. 2.: 

где F ^split0_GAN и F _^split1GAN это разделенные объекты из F_GAN в канальном измерении, а Concat[·, ·] обозначает операцию объединения.

В результате CS-SFT пользуется преимуществами прямого включения предварительной информации и эффективной модуляции с помощью входных изображений, тем самым достигая хорошего баланса между точностью текстуры и точностью воспроизведения. Кроме того, CS-SFT также может снизить сложность, поскольку для модуляции требуется меньше каналов, аналогично GhostNet [23]. Мы свертываем слои SFT с разделением каналов в каждом масштабе разрешения и, наконец, генерируем восстановленную грань Y^{^}. 

3.5. Цели модели

Учебная цель обучения нашего GFP-GAN состоит из анализа: 1) потери при реконструкции, которая ограничивает результаты yˆ, близкие к истине y, 2) потери в состязательности для восстановления реалистичных текстур, 3) предполагаемой потери компонентов лица для дальнейшего улучшения деталей лица и 4) потери идентичности.

Потеря при реконструкции. Мы учитываем широко используемые потери L1 и потери восприятия [33, 41] для идентификации нашей потери при реконструкции L_rec, определяемой следующим образом: 

где φ — предварительно обученная сеть VGG-19 [59], и мы используем карты признаков {conv1, · · · , conv5} перед активацией [64]. λ_l1 и λ_per обозначают веса потерь L1 и потери восприятия соответственно.

Состязательный Проигрыш. Мы используем технологию состязательных потерь L_adv, чтобы GFP-GAN была ориентирована отдавать предпочтение решениям в области естественного изображения и создание реалистичных текстур. Аналогично StyleGAN2 [36], приняты логистические потери [18]: 

где D обозначает дискриминатор, а λ_adv представляет вес состязательных потерь.

Потеря Лицевого Компонента. Чтобы еще больше улучшить восприятие значимых компонентов лица, мы вводим потерю компонентов лица с помощью локальных дискриминаторов для глаз и рта. Как показано на рис. 2, мы сначала обрезаем интересующие области с выравниванием ROI [24]. Для каждого региона мы обучаем отдельные небольшие локальные дискриминаторы, чтобы различать, действительно ли восстанавливаются патчи, приближая патчи к естественному распределению компонентов лица.

Согласно [62], мы дополнительно включаем потерю чувствительности (стиля) и выбор типа функций на основе изученных дискриминаторов. В отличие от предыдущей потери соответствия объектов с пространственными ограничениями [62], наша потеря чувствительности к типу объектов пытается сопоставить статистику матрицы Грама [15] реальных и восстановленных исправлений. Матрица Грама вычисляет корреляции признаков и обычно эффективно фиксирует информацию о текстуре [17]. Мы извлекаем функции из нескольких слоев изученных (тестовых) локальных дискриминаторов и учимся сопоставлять эту статистику промежуточных представлений с реальными и восстановленными патчами. Эмпирически мы обнаружили, что потеря чувствительности функций работает лучше, чем предыдущая потеря соответствия функциям, с точки зрения создания реалистичных деталей лица и уменьшения неприятных артефактов.

Потеря лицевого компонента определяется следующим образом. Первый термин - это потеря различения [18], а второй термин - потеря стилевых признаков: 

где ROI — область интереса из набора компонентов {левый глаз, правый глаз, рот}. D_ROI — это локальный дискриминатор для каждого региона. ψ обозначает функции с несколькими разрешениями из изученных дискриминаторов. λ_local и λ_fs представляют веса потерь локальных дискриминационных потерь и потерь стиля признаков соответственно.

Потеря Сохранения Идентичности. Мы оцениваем потерю идентичности, следуя [31] в нашей модели. Подобно потере восприятия [33], мы определяем потерю на основе встраивания в модель признаков входного лица. В частности, мы используем предварительно обученную модель распознавания лиц ArcFace [10], которая отражает наиболее характерные особенности при распознавании личности. Потеря, сохраняющая идентичность, приводит к тому, что восстановленный результат имеет небольшое отклонение от ожидаемого результата в компактном пространстве глубоких объектов (формально математически – всюду плотно): 

где η представляет экстрактор признаков лица, то есть ArcFace [10] в нашей реализации. λ_id обозначает вес потери при сохранении идентичности.

Общая цель модели заключается в сочетании вышеуказанных потерь: 

Гиперпараметры потерь устанавливаются следующим образом: λ_l1 = 0,1, λ_per = 1, λ_adv = 0,1, λ_local = 1, λ_fs = 200 и λ_id = 10.

4. Эксперименты

4.1. Наборы данных и внедрение

Обучающие наборы данных. Мы обучаем наш GFP-GAN на наборе данных FFHQ [35], который состоит из 70000 высококачественных изображений. Во время обучения мы изменяем размер всех изображений до 512².

Модель GFP-GAN обучается на синтетических данных, которые приближаются к реальным изображениям низкого качества и переносятся затем на изображения реального мира при выводе. Мы следуем практике, описанной в [46, 44] и используем следующую модель разложения для синтеза обучающих данных: 

Изображение высокого качества y сначала свертывается с ядром размытия по Гауссу k_σ, после чего следует операция понижения дискретизации с коэффициентом масштабирования r. После этого к изображению добавляется аддитивный белый гауссовский шум n_δ и, наконец, оно сжимается в формате JPEG с коэффициентом качества q. Как и в [44], для каждой обучающей пары мы случайным образом выбираем σ, r, δ и q из {0,2 : 10}, {1 : 8}, {0 : 15}, {60 : 100} соответственно. Мы также добавляем дрожание цвета во время обучения для улучшения цвета.

Тестирование наборов данных. Мы создаем один синтетический набор данных и три разных реальных набора данных с различными источниками. Все эти наборы данных не пересекаются с нашим учебным набором данных. Приводим его краткое описание:

• CelebA-Test - это синтетический набор данных с 3000 изображениями штаб-квартиры знаменитостей из его тестового раздела [51]. Способ генерации такой же, как и во время обучения.

• LFW-Test. LFW [29] содержит изображения низкого качества в дикой природе. Мы группируем все начальные изображения для каждой идентификации в разделе проверки, формируя 1711 тестовых изображений.

• CelebChild-Test содержит 180 детских лиц знаменитостей, собранных из Интернета. Они низкого качества, и многие из них представляют собой черно-белые старые фотографии.

• WebPhoto-Test. Мы просмотрели 188 фотографий низкого качества в реальной жизни из Интернета и извлекли 407 лиц для создания набора данных для тестирования веб-фотографий. Эти фотографии имеют разнообразную и сложную деградацию (искажения). Некоторые из них - старые фотографии с очень сильным ухудшением, как деталей, так и цвета.

Реализация. Мы используем предварительно обученный StyleGAN2 [36] с 512² выходами в качестве нашего генеративного лицевого приора. Множитель канала StyleGAN2 установлен на единицу для компактного размера модели. UNET для удаления деградации состоит из семи понижающих выборок и семи повышающих выборок, каждая с остаточным блоком [25]. Для каждого слоя CS-SFT мы используем два сверточных слоя для генерации аффинных параметров α и β соответственно.

Размер обучающей мини-партии (теста) установлен равным 12. Мы дополняем обучающие данные горизонтальным переворотом и колебаниями цвета. Мы рассматриваем три компонента: левый глаз (left_eye), правый глаз(right_eye), рот (mount) для учета потери компонента лица, поскольку они являются значимыми для восприятия. Каждый компонент обрезается с помощью выравнивания ROI [24] по ориентирам лица, предоставленным в наборе исходных обучающих выборок. Мы обучаем нашу модель с помощью Adam optimizer [38] в общей сложности 800 тыс. итерациями. Скорость обучения была установлена на 2×10^-3, а затем уменьшена в 2 раза на 700k-ой, 750k-ой итерациях. Мы реализуем наши модели с помощью платформы PyTorch и обучаем их с помощью четырех графических процессоров NVIDIA Tesla P40.

4.2. Сравнение с современными методами

Мы сравниваем GFP-GAN с несколькими современными методами восстановления лица: HiFaceGAN [67], DFDNET [44], PSFRGAN [6], Super-FAN [4] и Wan и др. [61]. Также рассматриваются для сравнения методы инверсии GAN для восстановления лица: PULSE [52] и mGANprior [19]. Мы также сравниваем GFP-GAN с методами восстановления изображений: CAN [74], ESRGAN [64] и DeblurGANv2 [40], точно настраивая их на нашем наборе для обучения лиц для релевантного сравнения. Мы принимаем их официальные коды, за исключением SuperFAN, для которого используем повторную реализацию.

Для оценки мы используем широко используемые показатели восприятия без ссылок: FID [27] и NIQE [53]. Мы также используем пиксельные метрики (PSNR и SSIM) и перцептивную метрику (метрику восприятия LPIPES [73]) для CelebA-Test c Ground-Truth (A-теста знаменитостей с достоверностью). Мы измеряем меру идентификации с помощью функции ArcFace [10], где меньшие значения указывают на более близкую идентификацию с GT.

Синтетический CelebA-Test. Сравнения проводятся при двух настройках: 1) восстановление замутненного лица, входы и выходы которого имеют одинаковое разрешение. 2) супер-разрешение 4×лица. Обратите внимание, что наш метод может использовать изображения с увеличенной дискретизацией в качестве входных данных для супер-разрешения лица.

Количественные результаты для каждой настройки приведены в таблице 1 и таблице 2. При обеих настройках GFP-GAN достигает самых низких уровней LPIPS, что указывает на то, что наши результаты по восприятию близки к истине.

GFP-GAN также может получить самую низкую FID и NIQE, показывающие, что выходы имеют близкое расстояние к реальному распределению лица и естественному распределению изображения, соответственно. Помимо перцептивной производительности (восприятия), наш метод также сохраняет лучшую идентичность по наименьшей степени встраивания функций (элементов) лица. Обратите внимание, что 1) малость FID и NIQE наш по сравнению с GT не свидетельствуют о том, что наши показатели лучше, чем в GT, а перцептивные метрики хорошо коррелируют с оценками экспертов (баллами по укрупненной шкале), но не всегда хорошо коррелируют на более мелкой шкале [2]; 2) пиксельные метрики PSNR и SSIM недостаточно коррелируют с субъективной оценкой человека, наблюдателя [2, 41] и наша модель несильна в этих двух метриках.

Качественные результаты представлены на рис. 3 и рис. 4.

1) Благодаря мощному генеративному распознаванию лица наша GFP-GAN восстанавливает точные детали глаз (зрачки и ресницы), зубов и т.д. 2) наш метод корректирует лица в целом при восстановлении, а также может создавать реалистичные волосы, в то время как предыдущие методы, основанные на словарях (библиотеках) компонентов (DFDNet) или извлечении карт (PSFRGAN), не позволяет получать точную текстуру волос (2-ой ряд, на фиг. 3). 3) GFP-GAN способен сохранять точность, например, естественного закрытого рта без принудительного дополнение зубов (2-й строке на фиг. 3). 4) на рис. 4, GFP-GAN также восстанавливает разумное направление взгляда.

Реальные LFW, CelebChild и WedPhoto-Test. Чтобы проверить способность к обобщению, мы оцениваем нашу модель на трех различных реальных наборах данных. Количественные результаты приведены в таблице. 3. Наш GFP-GAN обеспечивает превосходную производительность во всех трех реальных наборах данных, демонстрируя замечательную способность к обобщению. Хотя PULSE [52] также мог получить высокое качество восприятия (более низкие баллы FID), он не мог сохранить идентичность лица, как показано на рис. 5.

4.3. Абляционные исследования

Слои CS-SFT. Как показано в таблице. 4 (конфигурация a)) и рис. 6, когда мы удаляем слои пространственной модуляции, т.е. сохраняем только отображение скрытого кода без пространственной информации, восстановленные лица не могут сохранить идентичность лица даже с сохранением идентичности контура (высокий балл по губам и большой градус). Таким образом, пространственные объекты с несколькими разрешениями, используемые в слоях CS-SFT, жизненно важны для сохранения точности. Когда мы переключаем CS-SFT-слои на простые SFT-слои (конфигурация b) в таблице 4), мы наблюдаем, что 1) качество восприятия ухудшается по всем показателям и 2) оно сохраняет более сильную идентичность (меньший градус), поскольку функции входного изображения оказывают влияние на все модулированные функции, а выходные данные смещаются в сторону ухудшенных входных данных, что приводит к снижению качества восприятия. Напротив, SFT-слои обеспечивают хороший баланс реалистичности и точности, модулируя разделение функций.

Предварительно обученный GAN в качестве GFP. Предварительно обученный GAN предоставляет богатые и разнообразные возможности для восстановления. Снижение производительности наблюдается, если мы не используем генеративную функцию лица, как показано в таблице 4 [конфигурация c)] и рис. 6.

Потеря реставрации пирамиды. Потеря при восстановлении пирамиды используется в модуле удаления искажений (фильтрации) и усиливает способность к восстановлению при сложных искажениях в реальном мире. Без этого промежуточного контроля пространственные характеристики с несколькими разрешениями для последующих модуляций могут по-прежнему ухудшаться, что приведет к снижению производительности, как показано в таблице. 4 [конфигурация d)] и рис. 6.

Потеря Компонента Лица. Мы сравниваем результаты 1) удаления всех потерь компонентов (искажений) лица, 2) сохранения только дискриминаторов компонентов, 3) добавления дополнительных потерь при сопоставлении признаков, как в [62], и 4) принятия дополнительных потерь стиля признаков на основе статистики Грамм [15]. На рис. 7 показано, что дискриминаторы компонентов с потерей стиля объектов могут лучше улавливать распределение глаз и восстанавливать правдоподобные детали.

4.4. Обсуждение и ограничения

Предвзятость в обучении. Наш метод хорошо работает на большинстве темнокожих лиц и различных групп населения (рис. 8), так как наш метод использует как предварительно обученное усиление, так и функции входного изображения для модуляции. Кроме того, мы используем потери при восстановлении и потери при сохранении идентичности, чтобы ограничить выходные данные и сохранить точность входных данных. Однако, когда входные изображения имеют оттенки серого, цвет лица может сильно отличаться (последний пример на рис. 8), так как входные данные не содержат достаточной информации о цвете. Таким образом, необходим разнообразный и сбалансированный набор данных.

Ограничения. Как показано на рис. 9, когда ухудшение реальных изображений является серьезным, восстановленные детали лица с помощью FPGA искажаются влияющими факторами. Наш метод также дает неестественные результаты для очень больших поз. Это связано с тем, что синтетическая деградация и распределение обучающих данных отличаются от таковых в реальном мире. Один из возможных способов - изучить эти распределения на основе реальных данных, а не просто использовать синтетические данные, которые оставлены в качестве будущей работы.

Заключение

Мы предложили структуру GFP-GAN, которая использует богатые и разнообразные генеративные функции лица для решения сложной задачи восстановления замутненного лица. Это включено в процесс восстановления с помощью слоев преобразования пространственных объектов с разделением каналов, что позволяет нам достичь хорошего баланса реалистичности и точности. Обширные сравнения демонстрируют превосходные возможности GFP-GAN в восстановлении суставных поверхностей и улучшении цвета для изображений реального мира, превосходящие предшествующие уровни техники.