Комментарии 4
Спасибо за статью!
1) Вы как-нибудь отслеживали прогресс? (tensorboard, консолька)
2) Идея: получив комиксы от CycleGAN, вручную в фотошопе убрать артефакты, и скормить получившиеся пары оригинал/комикс уже в pix2pix.
1) Вы как-нибудь отслеживали прогресс? (tensorboard, консолька)
2) Идея: получив комиксы от CycleGAN, вручную в фотошопе убрать артефакты, и скормить получившиеся пары оригинал/комикс уже в pix2pix.
1) Отслеживание прогресса в этом дистрибутиве сделано через visdom, очень наглядным образом. В консоль выводятся показатели функций потери, но для GAN они не очень репрезентативны (только если что-то пошло ну уж совсем не так)
2) Спасибо за идею! Еще можно попробовать существующие экшены\фильтры для фотошопа
2) Спасибо за идею! Еще можно попробовать существующие экшены\фильтры для фотошопа
1) Ограничение на размер картинки можно обойти с помощью полносвёрточных нейросетей. Их можно обучать на 256х256, а потом применять хоть к 8K (на сколько оперативки хватит). Вот тут, например, так сделана трансформирующая нейросеть (но это не GAN).
2) Свежий stylegan2 от NVIDIA даёт впечатляющие результаты.
Сейчас делаю совмещение этих двух подходов. А именно — сначала научить дискриминатор с помощью GAN-а, а потом этим дискриминатором учить трансформирующую нейросеть. Сохранение содержания пока планирую считать через VGG.
2) Свежий stylegan2 от NVIDIA даёт впечатляющие результаты.
Сейчас делаю совмещение этих двух подходов. А именно — сначала научить дискриминатор с помощью GAN-а, а потом этим дискриминатором учить трансформирующую нейросеть. Сохранение содержания пока планирую считать через VGG.
Спасибо за интересный комментарий!
1) Тут ограничение на размер картинки упирается в оперативку как при обучении, так и при использовании. Просто при обучении у нас 4 модели, а на проде — 1. И генераторы полносверточные, кстати (ну, они везде такие обычно)
2) Есть подход NoGAN+GAN, когда обучают генератор отдельно, используя VGG в качестве функции потери, генерят фейковые изображения, дальше обучают критик на фейковых и подлинных изображениях (как обычный классификатор, без GAN). Затем берут эти модели обучают как обычную GAN, только не с нуля, что позволяет сократить время обучения и избежать заведомо плохих результатов на начальном этапе обучения.
У меня есть модель, обученная по принципу NoGAN + GAN. Бот на ее основе: t.me/@pimpmyresbot
(увеличивает разрешение картинки в два раза, до максимум в 1500х1500 пикселей)
1) Тут ограничение на размер картинки упирается в оперативку как при обучении, так и при использовании. Просто при обучении у нас 4 модели, а на проде — 1. И генераторы полносверточные, кстати (ну, они везде такие обычно)
2) Есть подход NoGAN+GAN, когда обучают генератор отдельно, используя VGG в качестве функции потери, генерят фейковые изображения, дальше обучают критик на фейковых и подлинных изображениях (как обычный классификатор, без GAN). Затем берут эти модели обучают как обычную GAN, только не с нуля, что позволяет сократить время обучения и избежать заведомо плохих результатов на начальном этапе обучения.
У меня есть модель, обученная по принципу NoGAN + GAN. Бот на ее основе: t.me/@pimpmyresbot
(увеличивает разрешение картинки в два раза, до максимум в 1500х1500 пикселей)
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как сделать бота, который превращает фото в комикс. Часть вторая. Обучение модели