Comments 15
Иногда я думаю а не слишком ли много усилий я затрачиваю на всякие пет-проекты, 90% которых забудутся через год, не то что выйти с приватного репозитория в что-то опенсорсное.
Так вот, именно такие люди как автор наглядно доказывают что "недостаточно!"
Просто охренеть в плане глубины и вариативности. Попробовали, перебрали, еше раз попробовали. Еще и в разных стилях причем включая и 3Д тоже.
Я просто в восхищении. Именно благодаря таким людям лет через 20 у нас будет полностью бесконечный и живой а реальном времени моровинд, без необходимости в вливании тысяч человеко-часов на фиксированный контект
Спасибо за такую похвалу) Проект был реально интересным, поэтому меня в этом плане какое-то время не отпускало. Потом у нас и финансирование пристроилось, так что я больше удивляюсь дядечкам, которые были готовы вкинуть на это деньги, даже не представляя чего ожидать под самый конец
с финансированием повезло)
хотя тема действительно достойная исследования, но к сожалению в нашем мире даже имея рычаги влияния на руководство сложно выбить исследование важной темы (не на клиентах и не в процессе внедрения нового продукта), про то что бы вообще сторонние люди пришли и вкинули ресурсы вообще нонсенс!
Очень классно и амбициозно! Как говорил один персонаж, "мы будем следить за вашими успехами".
По персонажам и анимации смотрели в сторону https://www.pixellab.ai/ ?
Звучит бомбически, Вы, возможно, просто слишком рано начали, если бы в 2026 году стартанули, то, может быть и взлетел бы проект))
А можно чуть подробнее про вот это:
Она рисовала сетку из тайлов по буквам, а также сразу же расставляла на них нужные объекты. На выходе мы получали подобную структуру, где первый символ это код тайла, а второй — объект на нём
Как вы нейронку заставили генерировать последовательность заданной длины и следовать правилам соседства тайтлов?
Мы для каждого запроса писали достаточно большой промпт. Если описать все эти правила и ограничения в промпт, то она будет их придерживаться в 95% случаев, остальные 5% покроет валидатор (о нём в следующей статье будет).
Промпт начинался с "Generate a beautiful and engaging map for an ASCII-based conversational RPG. Location: {locationId}. Grid size: {gridSize}"
И далее еще штук 20 правил) В этом и заключалась сложность генерации тайлсета, но последние модели с thinking == high справлялись нормально
Не говоря уже о том, что у обрезанного спрайта на контрасте с тёмными цветами виднелась белая обводка, которую сложно было убрать без стирания самого спрайта (особенно если есть тень, или у персонажа полу‑прозрачная одежда).
Как раз это довольно легко чистится в Krita через "цвет в альфа-канал".
Самое большое разочарование в этом подходе было то, что получившееся кадры, если их проиграть как анимацию, не были похожи на что‑то динамическое! Мы предположили, что нейронка просто не понимает, что делает анимацию, и каждый кадр не приспособлен к тому, чтобы смотреться в динамике.
Из подходов, которые я навскидку могу вспомнить для этого, могут быть полезны
1) генерация видеоролика через WAN 2.2, получение кадров, пикселизация. Это доступно даже на локальной видеокарте, если она достаточно мощная.
2) получение 3D-меша персонажа с текстурами через Trippo/Trellis/Meshy/etc, ригование, анимация (для гуманоидов есть готовые анимации типа Mixamo), извлечение кадров, пикселизация.
Мы пробовали переводить цвет в альфа канал, но проблема в том, что если делать это на весь рисунок, то мы лишаемся одного из цветов. Можно это делать только по границам, но и тогда мне кажется выйдет слишком резко или мы лишимся важных деталей на этих границах.
Анимации через генератор видео это тема, но дорогая + проблема с обрезанием опять же.
Вариант с мешем уже интереснее. Думаю это действительно юзабельно и дёшево.
Так можно даже в 3д игру и оставить) Правда тогда надо будет думать как размещать объекты в мире
Я обычно чищу нейрогенерации, выделив монотонный фон и увеличив выделение на один-два пикселя. Это обычно не теряет информацию на границах, поскольку белый цвет у них подразумевает смешение с фоном.
Так можно даже в 3д игру и оставить
Пикселизация всё же поглощает артефакты нейрогенерации как один из применяемых для этого фильтров, так что к ней может оказаться меньше вопросов.
Какой-то онанизм, если честно. Не ново. Не красиво. Не интересно. Без перспективы. Старайтесь лучше.
Прикольно выглядит.
господи, какая же это все х..ня
Женя. Женëк. Евгений. Когда же вы вырастете уже? Перестаньте забивать гвозди микроскопом.
Нейрогенератор игровых миров. Часть 2: «оно» ожило