Комментарии 11
Интересно, а наоборот кто нибудь пробовал? Берем старую игрушку (можно даже DOSовскую, Doom, Heretic, Blood etc.) и пропускаем ее выдачу в реалтайме через мощную нейросеть для придания фотореалистичности. ИМХО должно получиться очень неплохо...
Я пробовал не в реалтайме и только на отдельных спрайтах, а не на целой картинке. img2img даёт вполне интересные результаты, разумеется, полные типичных артефактов, но всё же. Ещё был такой криповый эксперимент как раз с Doom.
В реалтайме прямо сейчас такое вряд ли получится, но это дело ближайшего будущего. Думаю, на эту тему будет создано много чего интересного.
Не так давно натыкался на вот такое. Это именно в реальном времени "постпроцессинг"
https://old.reddit.com/r/StableDiffusion/comments/1cc9d3x/the_future_of_gaming_stable_diffusion_running_in/
Есть retro diffusion, но он для богатых в другом смысле. А так моделька хорошая, есть webui (retrodiffusion tech вроде)
Несколько удивительно, что он прошёл совсем мимо моего поля зрения. С другой стороны, сейчас столько всего появляется, за всем не уследить.
По примерам похоже, что технология та же самая, локальная SD плюс пикселизатор. Результаты близкие, это всё ещё не нормальный пиксель-арт, где каждый пиксель поставлен неспроста. С классическими мелкими спрайтами около 16 на 16, видимо, тоже не справляется, по крайней мере примеров не находится.
Нейросети, на текущий момент, пока что толь инструмент для предварительной генерации изображений, от которых может оттолкнуться художник в рисовании арта. Может ли это изменится в будущем? Вполне, нейросети уже генерируют видео, а это первый шаг для создания серии изображений в одном стиле. Если удастся научится сохранять этот стиль генерации без дрейфа и с автоматической детекцией/фиксации гличей/артефактов то это будет существенным подспорьем для инди разработчиков игр с олдскульной графикой.
Из личного опыта: пользуюсь Fooocus V2, веб интерфейс удобный, язык запросов английский, результаты генерации генартов неплохие, но сильно зависят от "корректности" запроса (нейросеть иногда слишком буквально воспринимает такие описания как "осиная талия", "волосы цвета воронова крыла" порождая ос и вороньи крылья). 16гб RAM, rtx3060 8гб, время на одну итерацию 1,6 секунд, на полную генерацию с настройками по умолчанию уходит 40-55 секунд, Существенной выгодв от использования RTX40xx не почувствовал.
К удобным онлайн инструментам генерации добавлю https://artgeneration.me при первоначальной регистрации даётся трехдневный VIP/PRO статус, но и в бесплатном режиме достаточно функциональна.
показалось, что слабо затронута тема анимации
одинокий статичный спрайт это скорее редкость и исключение из правила
Согласен, и с этим в плане автоматизации нейросетями пока всё не очень. Есть редкие примеры сгенерированной анимации, но по качеству они просто ниже плинтуса, каждый кадр разный по деталям, сами движения странные. Всё надо прорабатывать руками. Но по опыту, если есть хотя бы один статичный спрайт для каждого движения, нарисовать ему анимацию (промежуточные кадры) уже проще.
Года два или три пользовался видеокартой GT1030 2Gb, и на ней даже запускал и работал со Stable Diffusion. Поставил на ночь генерацию, с утра у тебя 35 вариантов. Не очень удобно, конечно, но при большом желании можно даже так
Кстати, в тему генеративного пикселарта, на Хабре неделю назад была статья "Midjourney и промпты для пиксельных артов"
Речь идёт как минимум о хоть какой-нибудь видеокарте линейки NVidia RTX с 6-8 гигабайтами ОЗУ
Fooocus (SD XL) вполне нормально работает на моём ультрабуке, 3050Ti с 4 GB VRAM.
Нейропиксели для небогатых