NVIDIA EditGAN — редактирование изображений на основе эскизов

Сегодня при помощи набросков, которые чуть сложнее детских рисунков, EditGAN позволяет изменить на фотографии конкретные черты лица (глаза, брови) или даже колёса автомобиля. Ранее эта задача была крайне сложной.

Делимся кратким обзором разработки Университета Торонто, MIT и NVidia, пока у нас начинается флагманский курс Data Science. Кроме того, а этом материале коснёмся вопросов этики в сфере ИИ.

Демонстрация

Посмотрите это видео:

---

Примеры результатов EditGAN. Изображение из работы Линг и др., 2021, EditGAN

Как правило, для управления конкретными характеристиками изображения требуются огромные массивы данных, а ещё эксперты, которые должны знать, какие характеристики нужно изменить в модели, чтобы получить нужное изображение.

Но EditGAN, чтобы сопоставить сегментации с изображениями, обучается всего на нескольких размеченных примерах, что позволяет редактировать изображения с помощью сегментации, или, другими словами, с помощью эскизов. Качество изображения сохраняется, позволяя достичь невиданного ранее уровня детализации. Это очень большой скачок вперёд, но ещё круче — работа метода под капотом. Давайте на неё посмотрим!


В решении используется StyleGAN2 — лучшая доступная сегодня модель. Я не буду погружаться в её детали. Предположу, что у вас есть базовые знания о StyleGAN2: она берёт изображение, кодирует его в сжатое подпространство и использует тип модели, называемый генератором, для преобразования этого кодированного подпространства в другое изображение. Это работает и при использовании закодированной информации напрямую; самое важное здесь — генератор.

Как работает генератор сети GAN

Итак, генератор берёт информацию из подпространства (латентного подпространства), где содержится много информации о нашем изображении и его особенностях. Но это пространство многомерно, визуализируется оно с трудом.

Кстати, мы писали об этом:
«Потрясающе красиво: как отобразить десятки признаков в данных»

Наша задача — определить, какая часть этого подпространства отвечает за реконструкцию конкретной особенности изображения. Именно здесь в игру вступает EditGAN, которая не только расскажет вам об областях ответственности подпространств, но и позволит редактировать их при помощи наброска, который легко нарисовать.

EditGAN закодирует ваше изображение или просто возьмёт определённый латентный код и сгенерирует карту сегментации, а также само изображение. Иными словами, что сегментация и изображения находятся в одном подпространстве, модель учится работать таким образом, и это позволяет затрагивать только нужные характеристики, а не делать что-то ещё. Нужно просто изменить изображение сегментации — остальное произойдёт само по себе.

Модель обучается только на новой сегментации, а генератор StyleGAN для исходного изображения остаётся фиксированным. Это позволяет модели связать сегментации с тем же подпространством, которое необходимо генератору для реконструкции изображения.

Затем, если обучение прошло правильно, можно просто отредактировать эту сегментацию, а она соответствующим образом изменит изображение!

EditGAN обзор (1) и процесс (2–4). Изображение из работы Линг и др., 2021, EditGAN

EditGAN в основном присваивает каждому пикселю опредёленный класс, например «голова», «ухо», «глаз» и т. д., и независимо управляет этими классами при помощи масок, покрывающих пиксели других классов в латентном пространстве.


Карта сегментации птицы. Изображение из работы Линг и др., 2021, EditGAN

Таким образом, каждый пиксель имеет свою метку, а EditGAN будет решать, какую метку редактировать, и восстанавливать изображение, изменяя только область редактирования. Вуаля! Соединяя сгенерированное изображение с картой сегментации, EditGAN позволяет редактировать эту карту по своему усмотрению и изменять изображение!

Конечно, после обучения на этих примерах он работает с изображениями, которых ранее не видел. Результаты, как и во всех GAN, ограничены типом изображений, на которых генератор обучался. Вы не сможете использовать сеть на изображениях кошек, если обучали её на автомобилях. Тем не менее это весьма впечатляет, и мне нравится, как исследователи пытаются предоставить способы интуитивной работы с GAN.



Продолжить изучение GAN вы сможете на наших курсах:

• Профессия Data Scientist (24 месяца)
• Курс «Machine Learning и Deep Learning» (6 месяцев)

Узнайте подробности здесь.