Pull to refresh

Нейросеть рисует за меня?

Game development *Image processing *Machine learning *Artificial Intelligence
Tutorial

В свободное время я генерирую тысячи красивых (и не очень) картинок. Иногда я пробую сделать что-то, что будет иметь практическую ценность. Основным преимуществом рисующих нейросетей сейчас я вижу время. Можно сделать портрет почти готового качества за несколько минут; стилизовать любое изображение или набросать композицию. Как же это использовать?

На превью статьи иллюстрация, которую я сделал буквально за час. Это фан-арт на еще не вышедшую игру Hollow Knight: Silksong. Игра выполнена в двухмерной, стилизованной графике, довольно простой технически, но очень интересной и замысловатой с точки зрения идей. Задачу я себе поставил простую – создать постер, показывающий главную героиню игры на условном фоне в реалистично-живописной манере (насколько это возможно в случае с антропоморфными фэнтези-жуками).

В современном арте очень редко рисуют руками от и до. Большинство изображений, которые вы видите в видеоиграх или на площадках, где собираются цифровые художники (типа artstation), не нарисованы полностью от руки. Как правило, процесс выглядит следующим образом: художник создает 3д сцену (часто уже из готовых элементов, китбашей), или коллаж из фотографий, а потом сверху вручную доводит до состояния полноценной иллюстрации или концепт арта. Все что я сделал – заменил 3д сцену или коллаж из фото, коллажем из того, что сгенерировала нейронная сеть.

За основу я взял уже существующую иллюстрацию, которая засветилась на обложке журнала EDGE:

На первом этапе я прогнал изображение через нейронку, используя подготовленную мною заранее модель, натренированную на всяких органических и насекомоподобных рыцарях.

Некоторые варианты, всего 114 картинок
Некоторые варианты, всего 114 картинок

Из получившихся вариантов мне понравилась идея головы с фактурой, похожей на кость, и плащ, напоминающий кожистую перепонку. Определившись с наборами промптов (текстовых запросов), я “отделил” персонажа от  фона и стал генерировать уже более конкретные дизайны.

Некоторые варианты, всего 36 картинок
Некоторые варианты, всего 36 картинок

Затем я сгенерировал фон – мне было не принципиально его содержание, так как я собирался его довольно сильно размыть и “размазать”, интересовала только цветовая гамма. Остановился на зеленом варианте:

Некоторые варианты, всего 26 картинок
Некоторые варианты, всего 26 картинок

Получив фон, я все “склеил” в одну картинку, выбрав лучшие на мой взгляд куски дизайнов, и добавил лого.

Итоговый коллаж
Итоговый коллаж

Получившийся коллаж я прогнал еще раз через нейронную сеть, чтобы лучше вписать персонажа в окружение и получить некоторые дополнительные детали:

Некоторые варианты, всего 28 картинок
Некоторые варианты, всего 28 картинок

Отдельно сгенерировал несколько вариантов копья:

Всего 10 картинок
Всего 10 картинок

Всё получившееся я снова собрал в одно изображение и потратил оставшееся время на ручную доводку: добавил синего дыма, сильнее размыл задний план, уточнил некоторые детали, нарисовал шелковую нить, провел цветокоррекцию и немного декорировал лого.

Финальный результат
Финальный результат

Резюме

По итогу на работу суммарно ушло около часа-полутора. Я не делал все в один присест, а занимался картинкой между домашними делами и игрой в Dark Souls. Всего я сгенерировал 214 изображений. В работе я использовал: фотошоп и stable diffusion 1.5 с заранее обученной моделью (время на обучение модели я не учитывал). 

Что можно вынести из этого опыта? 

Я уже и раньше экспериментировал с подобными подходами, но все это не выходило за рамки набросков или генерации портретов для нарисованных “вручную” персонажей. Как видно, уже сейчас можно использовать рисующие нейронные сети в профессиональной деятельности (концепт арт, иллюстрация), как минимум как часть процесса. 

Этот инструмент способен очень сильно сэкономить время и даже помочь в поиске дизайна, композиции или цветовой гаммы. К сожалению, профессиональные художники все еще боятся нейронных сетей и видят в них скорее конкурента, чем помощника, в то время как это может быть полезным инструментом, методом экономить время и устранять рутину.


Другие мои статьи:

Давайте запретим нейронные сети

Илон Маск кисти Ван Гога, или специализированные модели Stable Diffusion

Нейросети убьют 2d художников


Tags:
Hubs:
Total votes 26: ↑24 and ↓2 +22
Views 10K
Comments 33
Comments Comments 33

Posts