Как стать автором
Обновить

Портретная гармонизация изображений

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров2.8K
Всего голосов 24: ↑24 и ↓0+24
Комментарии13

Комментарии 13

Есть подозрение что репозиторий выдирали из основной кодовой базы и не тестировали.

  1. Отсутствует requirements.txt на который есть отсылки в Readme

  2. Скрипт test.py без бубнов не запускается, т.к. в tools/inference.py есть невалидный импорт (from .stylematte import StyleMatte - при этом модуль stylematte отсутствует)

  3. При смене чекпоинта с best_ffhqh512.pth на iharmony512.pth валятся ошибки про несовпадение размеров:

Missing key(s) in state_dict: "normalizers.3.weights", "normalizers.3.fg_var", "normalizers.3.fg_bias", "normalizers.3.patched_fg_var", "normalizers.3.patched_fg_bias", "normalizers.3.bg_var", "normalizers.3.bg_bias", "normalizers.3.grid_weights". 

size mismatch for encoder.1.0.weight: copying a param with shape torch.Size([32, 16, 3, 3]) from checkpoint, the shape in current model is torch.Size([64, 16, 3, 3]).

size mismatch for encoder.1.0.bias: copying a param with shape torch.Size([32]) from checkpoint, the shape in current model is torch.Size([64]).

...

Написал бы об этом всем в issues, но вы их прикрыли.

Добрый день! Спасибо за замечания.

  • requirements.txt добавим в ближайшее время;

  • код поправим;

  • issues на github были открыты изначально.

Следите за обновлениями.

Подтверждаю, issues на гитхабе у вас закрыты.

Привет!
Спасибо за бдительность! Ссылку поправил; теперь она указывает на исходный (forked from на скрине), а не клонированный репозиторий.

Добрый вечер! Код поправлен.

*информацию о среде содержит env.yml вместо requirements

вопрос - этим может пользоваться конечный потребитель чтобы преобразовывать картинку или это про другое?

Так как модели выложены в открытый доступ — этим может пользоваться каждый.
В Readme файле репозитория прописаны инструкции (настройка окружения, модели, их местоположение, ...) для тестирования моделей на своих фотографиях.

я ридми читал, вижу раздел установки, раздел train и раздел test, ни в одном из разделов нет указания на то как пользоваться со своим изображением.

Если мы говорим про один и тот же репозиторий, то в разделе Test + соответствующем конфиге содержится информация для запуска на своих изображениях + масках.

По умолчанию в случае FFHQH модели, прогноз происходит для пары <comp, mask> в папке assets.

по итогу "это про другое".

А вы точно занимайтесь увеличением РЕАЛИСТИЧНОСТИ?

По мне, они все одинаково правдоподобны.

Или же вы под реалистичностью понимаете что -то другое?

Добрый вечер!
Для нас реалистичность — это повышение естественности и визуальной согласованности.
Её можно воспринимать как изменение* переднего плана в соответствии с фоном в терминах цветовой палитры, освещения, контрастности и пр.

*подразумеваю уменьшение визуального разобщения (когда разница объект/фон «цепляет» глаз)

Зарегистрируйтесь на Хабре, чтобы оставить комментарий