artyomnaz Dec 25 2020 at 07:15

Как мы обучили нейросеть генерировать тени на фотографии

22 min

11K

Python*Programming*Image processing*Machine learning*Artificial Intelligence

Tutorial

+27

Comments 17

DjPhoeniX Dec 25 2020 at 07:26

Результат впечатляет, но возник вопрос — если сеть работает в AR-контексте (то-есть 3D-рендер есть "по умолчанию") — почему бы не ограничить сеть выводом "light estimation" и настраивать параметры рендера так, чтобы тень отрисовывал движок? Этим методом "за компанию" решается сомнительная реалистичность в размытии тени.

artyomnaz Dec 25 2020 at 07:54

Согласен, с реалистичностью возникают сложности. В том числе из-за отсутствия хороших метрик для оценки качества изображений (кроме FID).

max_vasyuk Dec 25 2020 at 07:29

Мощная работа!!!
Интересно и очень подробно!

Kup9_NpS Dec 25 2020 at 07:29

Круто все расписал, надо потестить. Сюда бы еще прикрутить, чтобы вставляемый объект подгонялся под окружающую среду (inpainting типа).
Спасибо за код!

artyomnaz Dec 25 2020 at 07:51

Спасибо!
Прикольная идея, попробуем :)

nikita_romanov Dec 25 2020 at 07:33

Очень интересно.
+ за код.

beckeldaniel Dec 25 2020 at 07:37

Очень занимательное чтиво! Одна из тех статей, которую приятно глазам читать! Скорее жду новых увлекательных публикаций на подобную тематику, очень актуальное направление в настоящее время.

Kadmor Dec 25 2020 at 08:08

Спасибо, за такую работу) На саму картинку свет не накладывается, только на поверхность куда вставляется?

artyomnaz Dec 25 2020 at 08:10

Да, механизм внимания как раз для контроля этого. Маски позволяют указать сети, где тени генерировать, а где нет.

zhukov_vladik Dec 25 2020 at 11:49

Спасибо, доходчиво объяснили.
А на каком разрешении обучали модель?

artyomnaz Dec 25 2020 at 11:50

Брали картинки из ShadowAR-датасета, разрешением 256x256.

dapie Dec 25 2020 at 11:50

Спасибо за интересную статью, достойная работа!

Albisha150 Dec 25 2020 at 15:10

Спасибо огромное за код и пояснения! Очень полезно

iamsparzha Dec 25 2020 at 15:10

Интересная статья! Только не очень поняла, а что дает Refinement модуль?

artyomnaz Dec 25 2020 at 15:13

Refinement модуль уточняет тень, он состоит из BatchNorm2d, ReLU и Conv2d. Авторы пробовали обучать без него — тени получаются менее правильной формы.

LemanovaTatyana Dec 26 2020 at 19:47

Интересная работа!
А можно ли было обучать вместе, не разделяя отдельно на attention и shadow generation блоки?

artyomnaz Dec 26 2020 at 19:48

Да, конечно, но тогда ресурсов требуется больше, ведь, сеть, обучаемая за раз, станет больше.