Попробуем с помощью нейросетей создать концепт персонажа и окружения, перевести концепт в модель и создать текстуры!
Будем использовать только самые крутые инструменты на базе AI, причем большинство из них бесплатные, а остальные имеют аналоги. В результате выясним, что умеют и чего не умеют нейросети в середине 2023г. с точки зрения работы 3D-художника.
Итак, рассмотрим, насколько сильны нейросети на следующих этапах:
концепт персонажа
концепт окружения
создание моделей
текстурирование
Концепт персонажа
Все начинается с 2D-изображения, чтобы визуализировать идею, оценить ее и, при необходимости, доработать. Нерационально было бы тратить время на моделирование каждой идеи, пришедшей в голову, поэтому протестируем нейросеть на понимание концепции и стилистики.
Цель: создать образы разных персонажей и передать атмосферу в кадре.
Проработку исходного прототипа персонажа доверим Midjourney, она сегодня считается лучшей и чтобы в случае неудач не думать, что какая-то другая нейросеть справилась бы лучше.
Женские персонажи:
Амазонка в джунглях
Женщина-ниндзя в мегаполисе, стоящая на крыше небоскреба
Обитательница пустыни в привычной среде
Женщина ацтек, пусть тоже будет в джунглях
![Получилось неплохо! Получилось неплохо!](https://habrastorage.org/getpro/habr/upload_files/feb/545/d6a/feb545d6abb892b1b4ed6649dc8a16d9.jpg)
Мужские персонажи:
Викинг в меховой накидке
Восточный борец в стиле 3D-игры
Самурай в горах
Китайский воин на фоне храма
Дополнительно были заданы: стилистика изображения и цвета.
![Тоже хорошо ;) Тоже хорошо ;)](https://habrastorage.org/getpro/habr/upload_files/c99/a04/2b0/c99a042b0fad96b075d07df5379c6582.jpg)
? Промпт для этих изображений был использован такого типа: realistic high quality front view Asia looking armed warrior in a helmet, black and yellow colors, destroyed city as a background
→ Проанализируем результат: результат устраивает в части качества изображения и соответствия стилю, пожелания по цветам и фактурам также соблюдены и переданы отлично. Но в большинстве случаев персонаж показан лишь до середины бедра, т.е. не в полный рост.
Проверим, будет ли все хорошо с ногами. Опишем, что хотим кожаные сапоги выше колена с металлическими элементами. Вот что получилось:
![Женский персонаж в полный рост Женский персонаж в полный рост](https://habrastorage.org/getpro/habr/upload_files/90d/362/6d9/90d3626d91d469593c461092f74a1f44.jpg)
? Оказалось, что получить персонажа в полный рост не так то просто, но получилось составить работающий промпт: a full body shot, destroyed city as a background, Asia looking armed warrior in a helmet, black and yellow colors, black helmet and boots, photorealistic --ar 1:2
Все части промпта использовать обязательно (только изменить под ваш запрос) кроме:
photorealistic — этот запрос делает изображение более фотореалистичным
--ar 1:5— это делает "портретное" соотношение сторон
black and yellow colors — цвета картинки
А что если наш персонаж и не человек вовсе, а, скажем, добрый гном в красном костюме, который катается на качели? И тут начинается интересное: нейросеть не понимает, как такое возможно. Сначала выдает хмурых гномов, причем, модификация промпта лишь утвердила в мысли о том, что, видимо, по представлениям нейросети гном – это вообще не очень-то доброе существо. Добрый гном – это, в лучшем случае, просто грустный.
Гном был выбран не случайно – он пригодится нам для тестирования другого сервиса на следующем этапе работы.
![Качается и грустит Качается и грустит](https://habrastorage.org/getpro/habr/upload_files/931/55a/35f/93155a35fd6df29710f8da2ecfaf4b90.jpg)
Чтоб хоть как-то исправить ситуацию, пришлось добавить в промпт «смеющийся гном» и после многочисленных итераций появились изображения, которые уже можно считать приемлемыми:
![Неплохо! Неплохо!](https://habrastorage.org/getpro/habr/upload_files/1f5/c69/e20/1f5c69e20f12ae62d34f7de72ee5b9ea.jpg)
→ Вывод: уже сейчас нейросети можно использовать для отрисовки прототипа персонажа. Сколько потребуется итераций для получения нужного результата зависит от того насколько хорошо вы составляете промпты и насколько персонаж является нестандартным.
Концепт окружения
Окружение – тоже важная часть работы. Продумаем нашу сцену.
Поставим 4 задачи и посмотрим, какие результаты выдаст Midjourney:
1. Окружение в стиле и цветах Аватара
Также хотим, чтоб была вода, статуя и ступени. Результат соответствует ожиданиям, вот только все в разных картинках:
![](https://habrastorage.org/getpro/habr/upload_files/065/f1b/25f/065f1b25fcddd9865fdc9f5ec8170f2b.jpg)
2. Дорога к храму Ацтеков
К запросу добавлен в качестве освещения вечерний свет:
![](https://habrastorage.org/getpro/habr/upload_files/43e/a47/3fd/43ea473fdb390181144b8059ca6302f2.jpg)
3. Двор около египетского храма
Весьма интересные детали, также очень удачна в данном контексте дымка в воздухе:
![](https://habrastorage.org/getpro/habr/upload_files/d0a/eb5/324/d0aeb53248c965917245ba5fb1763324.jpg)
4. Тайский храм
Тайская архитектура имеет множество замысловатых деталей, но все получилось вполне неплохо:
![](https://habrastorage.org/getpro/habr/upload_files/34b/7ca/b39/34b7cab39987b984c8bfe4cd70d65506.jpg)
Но что если нужна не одна сцена, а целый мир?! Здесь помогут уже совсем другие инструменты. Совершенно бесплатный инструмент NVIDIA Canvas обновился: теперь можно создавать панорамы из рисунка с помощью базовых инструментов «Море», «Горы», «Пляж», «Облака» и пр. (панель справа с квадратными цветными кнопками):
![NVIDIA Canvas NVIDIA Canvas](https://habrastorage.org/getpro/habr/upload_files/d48/068/604/d48068604d63b4a935391fb2c2cc27c7.jpg)
Достоинства инструмента – можно рисовать по слоям, затем их редактировать, интерфейс предельно понятный, для доступа нужно лишь скачать бета-версию NVIDIA Canvas с официального сайта.
Полученное изображение уже можно установить как HDRI Backdrop в Unreal Engine и вот наш персонаж уже в весьма реалистичной среде!
Этот инструмент идеально подойдет для разработки концепта и когда в рамках проекта не подразумевается интерактивное взаимодействие персонажа с окружающей средой:
![Для концепта выглядит вполне ок Для концепта выглядит вполне ок](https://habrastorage.org/getpro/habr/upload_files/e69/5d1/8ca/e695d18cab1351ad14a11b6cb8610bee.jpg)
Но порой нам нужно создать что-то фантастическое или фантазийное. Идеально было бы описать наш воображаемый мир словами, чтоб он потом взял и материализовался прямо из описания.
Такой инструмент тоже есть, на этот раз от студии Blockade Labs. Это очень крутая штука, попробуйте обязательно. Сервис позволяет создавать панорамы миров в разных стилях. Он создает панораму подобно тому, как это делает NVIDIA Canvas, на основании описания, работает на базе Stable Diffusion, причем, можно выбрать стилистику из предложенных в выпадающем списке:
![Можно выбрать стиль мира Можно выбрать стиль мира](https://habrastorage.org/getpro/habr/upload_files/2e7/351/f72/2e7351f721bb8a60918514d4005bca86.jpg)
Что еще круто – в отличие от ранее запущенного сервиса Latent Labs, здесь стык границ панорамы не виден.
→ Вывод: на сегодняшний день эти сервисы пока не трансформируют исходную идею в трехмерное пространство, однако, это ранний уровень развития технологии, которая уже позволяет сделать часть работы и существенно ускорить процесс, не делая, например, в ряде случаев лишних моделей, расположенных на дальнем плане.
Создание моделей
В 2020г. PIFuHD анонсировала сервис, позволяющий с помощью нейросетей идентифицировать образ одетого человека и трансформировать его в 3D модель. Прошло 3 года – что же изменилось, насколько продвинулась технология, давайте посмотрим.
С тех пор появились новые сервисы. Качество их работы представлено на картинке ниже:
![](https://habrastorage.org/getpro/habr/upload_files/0ba/8fb/d30/0ba8fbd304d871439404f8e788c36e41.jpg)
На сегодняшний день лучшие результаты выдает ICON (четкий образ, детали складок одежды, лица). Также интересно, что эта технология позволяет достраивать изображение с обратной стороны, которое на исходной картинке не видно (см нижний ряд в красной рамке):
![](https://habrastorage.org/getpro/habr/upload_files/d38/a85/3b1/d38a853b14aceac8298a17d4bd4d7e36.jpg)
Применим этот сервис к нашему гному и попробуем получить 3D модель.
После загрузки изображения полученную модель можно скачать. Итак, исходное изображение гнома слева, а полученная скачанная модель – справа:
![Что случилось с гномом? Что случилось с гномом?](https://habrastorage.org/getpro/habr/upload_files/90c/2e7/161/90c2e7161b1673a27dd7c1fa458be3b4.jpg)
Как будто нейросеть нам подсунула что-то из имеющихся у нее поз, хоть как-то похожих на позу нашего персонажа. Хотя, гном не так уж сильно отличается от человека, разница, в основном, лишь в пропорциях.
Что ж, похоже, гнома пока придется лепить в ZBrush самостоятельно.
А что если наш персонаж это робот-насекомое. Сервис Latent Labs предлагает создать 3D-модель и скачать ее. Посмотрим на результат:
![Попытка номер два Попытка номер два](https://habrastorage.org/getpro/habr/upload_files/048/4b6/310/0484b6310bd4390f58624912f1cc4502.jpg)
Далеко до хорошего результата, но уже что-то: бесплатно, на генерацию ушло меньше 1 минуты. Перспективный сервис – нужно за ним наблюдать и держать руку на пульсе.
Если же персонаж это что-то физически существующее (например, трансформер который у вас есть), то здесь все лучше: с помощью нейросетей LumaLabs можно воссоздать объект в 3D.
![](https://habrastorage.org/getpro/habr/upload_files/ef7/9d0/9a6/ef79d09a657e5630c5131505a53846d6.png)
⚡ В сети также много шуму наделала платформа KAEDIM. Генерирует изображения даже из Вашего скетча. Правда, быстро эта платформа обросла слухами. И вот почему. Чтобы сгенерировать 1 изображение нужно 20$ и около часа времени. Оказалось, что к нейросетям этот сервис не имеет никакого отношения – по слухам, компания ищет сотрудников, которые умеют быстро моделировать. Получается такой Upwork с приоритетным принятием заказов, ибо желающих тестировать технологии много и они даже готовы платить.
→ Вывод: пока у нейросетей не получается создавать пригодные для использования 3D модели, хотя бы на уровне тех же smoothie-3D и MonsterMash (которые работают без них).
Текстурирование
Изображения, которые генерирует Midjourney, прекрасного качества и функция тайлинга работает достаточно хорошо, но эти результаты пока нельзя использовать для получения реалистичных текстур, так как Midjourney слишком творческий – по запросу «бетон» результаты следующие:
![Похоже на бетон? Похоже на бетон?](https://habrastorage.org/getpro/habr/upload_files/05d/2c9/fff/05d2c9fff3047a14c071eead7ac94467.jpg)
Если же нужны какие-то фантазийные текстуры, то здесь другое дело:
![Уже лучше Уже лучше](https://habrastorage.org/getpro/habr/upload_files/85e/ef4/ae7/85eef4ae77cf689fe1c01601ce083ff5.jpg)
В Dall-e мы получим бетон, который ожидаем, но там другая проблема – разрешение не может быть более 1024x1024 и тайлинг не так хорош.
Есть и общая проблема – контролировать перспективу достаточно сложно даже текстом промпта, не говоря уже о том, что для получения всех необходимых карт нужно использовать стороннее ПО.
Но сколько времени уходит обычно на то, чтобы сделать из текстуры бесшовную. Даже в Substance Sampler это часто занимает намного больше времени, чем хотелось бы, более того – уже бесшовную текстуру он умудряется порой наложить как материал все равно с артефактами.
В качестве решения обозначенных проблем, попробуем сервис WITHPOLY, который и генерирует картинки, и делает бесшовные структуры. И здесь мы сразу получаем все нужные карты для материала!
У сервиса есть своя библиотека, но зачем нам стандартные решения, когда мы хотим создать свое. Попробуем что-то нестандартное: первый - рис с овощами, второй – павлиньи перья. Результаты приведены ниже:
![](https://habrastorage.org/getpro/habr/upload_files/c4b/e2f/f47/c4be2ff4772161ecc13c5302fb5ea047.jpg)
Если нажать на 4 серых квадрата, выдаст еще 3 генерации по этому запросу, т.е. будет плитка из 4х вариантов. Также в правом верхнем углу можно включить опцию «Seamless Canvas», тогда все черное поле будет залито этой текстурой, чтобы посмотреть сразу. В бесплатном варианте доступно к генерации разрешение 1К и 2К.
→ Выводы: в текстурировании нейросети уже наступают на пятки классическим лидерам индустрии.
→ Подведем итоги
Нейросети уже можно использовать для создания концептов и текстурирования, но все еще нельзя генерировать пригодные для использования 3D модели.
Нейросети пока не заменят 3D-художников, но уже могут им помочь. Это значит, что 3D-художник, который работает с нейросетями, будет обладать преимуществом перед тем, кто с ними не работает.
Так же не стоит забывать, что нейросети активно развиваются и стоит как минимум за ними следить ;)
Следить можно на нашем тг-канале Нейрокульт ? — там рассказываем как применять нейросети на практике.