Обновить

Комментарии 15

Иногда я думаю а не слишком ли много усилий я затрачиваю на всякие пет-проекты, 90% которых забудутся через год, не то что выйти с приватного репозитория в что-то опенсорсное.

Так вот, именно такие люди как автор наглядно доказывают что "недостаточно!"

Просто охренеть в плане глубины и вариативности. Попробовали, перебрали, еше раз попробовали. Еще и в разных стилях причем включая и 3Д тоже.

Я просто в восхищении. Именно благодаря таким людям лет через 20 у нас будет полностью бесконечный и живой а реальном времени моровинд, без необходимости в вливании тысяч человеко-часов на фиксированный контект

Спасибо за такую похвалу) Проект был реально интересным, поэтому меня в этом плане какое-то время не отпускало. Потом у нас и финансирование пристроилось, так что я больше удивляюсь дядечкам, которые были готовы вкинуть на это деньги, даже не представляя чего ожидать под самый конец

с финансированием повезло)

хотя тема действительно достойная исследования, но к сожалению в нашем мире даже имея рычаги влияния на руководство сложно выбить исследование важной темы (не на клиентах и не в процессе внедрения нового продукта), про то что бы вообще сторонние люди пришли и вкинули ресурсы вообще нонсенс!

Очень классно и амбициозно! Как говорил один персонаж, "мы будем следить за вашими успехами".

По персонажам и анимации смотрели в сторону https://www.pixellab.ai/ ?

Очень крутые ребята. Год назад мы их находили конечно, но набор функций был очень скудным в то время, анимации вроде не было произвольной, поэтому был не вариант. Но сейчас интересная штука

Звучит бомбически, Вы, возможно, просто слишком рано начали, если бы в 2026 году стартанули, то, может быть и взлетел бы проект))

А можно чуть подробнее про вот это:

Она рисовала сетку из тайлов по буквам, а также сразу же расставляла на них нужные объекты. На выходе мы получали подобную структуру, где первый символ это код тайла, а второй — объект на нём

Как вы нейронку заставили генерировать последовательность заданной длины и следовать правилам соседства тайтлов?

Мы для каждого запроса писали достаточно большой промпт. Если описать все эти правила и ограничения в промпт, то она будет их придерживаться в 95% случаев, остальные 5% покроет валидатор (о нём в следующей статье будет).

Промпт начинался с "Generate a beautiful and engaging map for an ASCII-based conversational RPG. Location: {locationId}. Grid size: {gridSize}"

И далее еще штук 20 правил) В этом и заключалась сложность генерации тайлсета, но последние модели с thinking == high справлялись нормально

Понял, спс, ждём следующую статью)

 Не говоря уже о том, что у обрезанного спрайта на контрасте с тёмными цветами виднелась белая обводка, которую сложно было убрать без стирания самого спрайта (особенно если есть тень, или у персонажа полу‑прозрачная одежда). 

Как раз это довольно легко чистится в Krita через "цвет в альфа-канал".

Самое большое разочарование в этом подходе было то, что получившееся кадры, если их проиграть как анимацию, не были похожи на что‑то динамическое! Мы предположили, что нейронка просто не понимает, что делает анимацию, и каждый кадр не приспособлен к тому, чтобы смотреться в динамике.

Из подходов, которые я навскидку могу вспомнить для этого, могут быть полезны

1) генерация видеоролика через WAN 2.2, получение кадров, пикселизация. Это доступно даже на локальной видеокарте, если она достаточно мощная.

2) получение 3D-меша персонажа с текстурами через Trippo/Trellis/Meshy/etc, ригование, анимация (для гуманоидов есть готовые анимации типа Mixamo), извлечение кадров, пикселизация.

Мы пробовали переводить цвет в альфа канал, но проблема в том, что если делать это на весь рисунок, то мы лишаемся одного из цветов. Можно это делать только по границам, но и тогда мне кажется выйдет слишком резко или мы лишимся важных деталей на этих границах.

Анимации через генератор видео это тема, но дорогая + проблема с обрезанием опять же.
Вариант с мешем уже интереснее. Думаю это действительно юзабельно и дёшево.
Так можно даже в 3д игру и оставить) Правда тогда надо будет думать как размещать объекты в мире

Я обычно чищу нейрогенерации, выделив монотонный фон и увеличив выделение на один-два пикселя. Это обычно не теряет информацию на границах, поскольку белый цвет у них подразумевает смешение с фоном.

Так можно даже в 3д игру и оставить

Пикселизация всё же поглощает артефакты нейрогенерации как один из применяемых для этого фильтров, так что к ней может оказаться меньше вопросов.

НЛО прилетело и опубликовало эту надпись здесь

Прикольно выглядит.

господи, какая же это все х..ня

НЛО прилетело и опубликовало эту надпись здесь
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации