Группа исследователей из Вашингтонского университета, Университета Беркли и Google Research разработала новый метод раскрашивания черно-белых фотографий, который учитывает особенности старой фотоэмульсии, способной захватывать только ограниченную полосу цветового спектра. Новый подход с использованием ИИ позволяет создавать реалистичные фотографии, которые выглядят так, как будто были сняты современной камерой.
До 1907 года большинство черно-белых пленок были ортохроматическими. Они были чувствительны ко всему видимому свету, кроме той части цветового спектра, где присутствуют теплые тона, такие как красный. Когда свет попадает на кожу человека, часть его отражается, а часть проникает через поверхность кожи и освещает ее изнутри, благодаря чему такие естественные черты, как морщины, становятся менее заметны. Это эффект известен как подповерхностное рассеивание, и, хотя он и виден человеческому глазу, его не улавливает ортохроматическая пленка.
В результате люди на старых черно-белых фотографиях кажутся старше, а все изъяны их кожи отчетливо видны. Традиционные методы раскрашивания не воспроизводят эффект подповерхностного рассеивания. Как объясняют исследователи, традиционный подход заключается в нескольких этапах: попытаться восстановить изображение при помощи цифровых фильтров; устранить дефекты, такие как шум; отрегулировать контрастность, повысить разрешение и раскрасить.
«Проблема с этим подходом заключается в том, что свойства старой пленки не учитываются. Вместо этого мы предлагаем спроецировать старинную фотографию на пространство современных изображений, используя генеративную нейросеть, такую как StyleGAN2. Мы сравниваем оба подхода и считаем, что метод проецирования обычно дает лучшие результаты».
Инструмент под названием Time Travel Rephotography представляет собой «единую структуру, сочетающую восстановление изображения, раскрашивание и повышение разрешения за один шаг».
Команда учла чувствительность фотоэмульсии к свету и процесс деградации изображения, что позволило получить реалистичный результат.
Исследователи оценили разные алгоритмы раскрашивания и пришли к выводу, что ни один не смог достичь такого же вида кожи и общего качества изображения, как их подход.
