Комментарии 2
Добрый вечер, спасибо за статью.
Что вы думаете о преоброзованиях в F пространстве, когда переносится одно вероятностное распределение в другое?
Какие геометрические законы и инварианты стоит там рассматривать?
В упомянутой в тексте статье, вижу лосс несколько напоминающий MSE, но для латента...
Добрый вечер, можете пояснить, что вы имеете в виду под преобразованиями в F пространстве, где одно распределение переносится в другое?
Что касается различных геометрических преобразований, в этой статье в 3 главе показали, как подобные преобразования в F-пространстве влияют на синтезируемую картинку. Если говорить вкратце, то в F-пространстве сохраняется относительная позиционность признаков — если на исходной картинке в правом верхнем углу находится красный бант, то признаки из F-пространства, отвечающие за этот бант будут также находится в правом верхнем углу F-тензора. Это также значит, что все базовые геометрические преобразования в F-пространстве также соответствующим образом переносятся на генерируемую картинку.
Для тренировки SFE мы действительно использовали MSE лосс — как для картинок (между синтезированной и ground truth), так и в качестве регуляризации для F-латентов (в качестве лосса использовали норму предсказанного F-латента). Второе нужно, чтобы больше информации об исходной картинке проходило именно через W пространство, и F-латенты были более податливы редактированиям.
Без компромиссов. Как добиться одновременно высокого качества в редактировании и инверсии изображений с помощью StyleGAN