Comments 27
Удачи отрендерить сцену с несколькими миллионами треугольников.
формирует изображение, которое по качеству сопоставимо с результатами профессионального рендеринга.
Вот здесь, конечно, пока что неправда. Да, отдельные элементы опробованы, но ничего стоящего не показали. И пока что это прыжок («замена рендера нейросетью») по ресурсам очень спорный. А ещё стабильность, управляемость и куча других вопросов. Пока что это на уровне лекарств от рака - на протяжении полувека каждый год нам сообщают о революции, а в массы, за пределы лабораторий, так ничего толком и не вышло. С созданием 3D моделей и анимаций у нейросеток тоже всё очень плохо даже на сегодняшний день. Реклама красивая, выхлоп так себе. Что ж... будем посмотреть
Галлюцинации у такой нейронки будут интересные:)
А главное, зачем? Даже на средней машине можно запустить тот же максвел и он будет молотить числа, пока терпения хватит. А если хочется в облако вынести, то есть фермы. Какую проблему решает нейрорендеринг?
Оптимизация вычисления каких-то определенных отдельных видов сцен, чем-то похоже на dlss.
Ну и может быть, вариативность.
Представьте себе будущие игры, перепрохождение которых каждый раз немного изменяет визуальный ряд. Ведь можно часть деталей рендеринга оставлять на выдумку ИИ
Идея интересная, но очень сложная и спорная. Возьмём условного Ведьмака. Перепроходить его только ради немного изменённого визуального ряда тем же сюжетом я не буду. Куда интереснее попробовать другую прокачку и по другому квесты закончить, а визуальный ряд можно и старый.
Отдавать что-то на выдумки ИИ? Мелочь можно и отдать, но эту будет не сильно заметно. А отдать что-то большое, так он своей выдумкой может и игру сломать, и визуальный ряд испортить.
Как и в любом деле нужна аккуратность и осторожность
Я думаю, тут может все начаться с инди-игр, с небольшой встроенной LLM, которая будет варьировать диалоги и общий сюжет. Концовки в принципе могут быть фиксированно-стандартные, но путь к ним даже небольшая llm может неплохо так разнообразить. Единственное - требования, но нынче даже на cpu можно работать (например при загрузке уровней или вообще при загрузке игры генерится новый сюжет). Из самых простых - визуальные новеллы. Издревле там все гвоздями прибито.
А про графоний - не верю. Чтобы нейронкой один кадр качественно сделать, даже на топовой видеокарте нужно порядка 10 секунд. И это еще быстро! Кластер держать даже геймеры миллионеры вряд ли захотят ради такого.
Было бы замечательно иметь production ready синтезатор голоса для диалогов с заданной тегами интонацией и произношением. Чтобы актеры озвучки обеспечивали сколько-то там часов семплов, а дальше можно было бы пилить тексты без ограничений по количеству или даже создавать на ходу, при этом без раздувания объема игры на диске.
С синтезом голоса и произношением сейчас еще беда у бесплатных синтезаторов, а платные они все в облаке и фиг кто поделится. Со временем должно лучше стать. Озвучка конечно дело нужное, но сюжет и его вариативность можно делать уже сейчас на локальных llm (не сильно крупных). Тут даже галлюцинации моделей могут в плюс играть.
Привлечения инвестиций и увеличения стоимости акций. Вполне очевидно ж.
Решает задачу продаж новых видео карт
Заголовок и подача: хороним растеризацию и рейтрейсинг.
Содержимое: тормозный косячный прибитый гвоздями к полу способ отрендерить статическую сцену 3D-хелловорлда 20-летней давности.
Нейросети хорошо применимы там, где алгоритм сложно или невозможно формализовать. Например, в задаче находить на картинке котов. Существующие реализации растеризации и рейтрейсинга это уже лучшая, дико оптимизированная на всех уровнях, от архитектуры приложения и распараллеливания и до байтоложества и особенностей аппаратной архитектуры версия того, что когда-либо способно сложиться под капотом в весах нейросети. Которые при этом еще и детерминированно выдают результат, не теряя ни единого пикселя даже при анимации.
Ценность в этом пока видится разве что исследовательская.
Уже стандартизируют "ИИ-шейдеры", в целом роль ИИ в таких вещах будет сильно ограничены, но на основе этого можно будет строить новый класс архитектур. Условно, ИИ извлекает где лучи для кадра будут приоритетнее и вероятностно считает откуда их лучше пустить, чтоб лишние ресурсы не тратить. А так хз-хз
По данным исследователей, RenderFormer не только воспроизводит физически корректные эффекты, но и делает это быстрее и эффективнее многих традиционных алгоритмов.
А можно было привести хотя бы какую-то конкретику? А то потом окажется, что сравнивали несравнимое: RenderFormer, запущенный на DGX B200, и обычный рендеринг на GTX 1060, например.
Не заметил ни одного примера с прозрачностью или полупрозрачностью. В свое время знатно помаялся с реализацией.
Интересно что вы не заметили ещё более интересную деталь - отсутствие текстур. Просто если мы говорим о непосредственно практическом применении, а не просто экспериментальном проекте, то много ли можно сделать исключительно с однотонными материалами?
Нет, если такие примеры есть но вопрос снят, но в статье я увидел только обычные модели с однотонными материалами.
Хоронить трассировку рано, RenderFormer по сути обучаемый аппроксиматор
Опять минусов наберу. Ну и пофиг.
Мы помним мелкософт чем? Винда. 95
процентов дофига так и скажут.
Дальше офис пилили и фсё
Кто-то пытается уместить огромную красивую сцену в 100кб.
А кто-то пытается на огромны вычислительных мощностях запустить рендер 100 полигонов.
Визуально это выглядит как рейтрейсеры из начала 90х или демосцены под ДОС,без текстурок тем паче.
Зачем они изначально не тренькали на unbiased и с SSS,каустикой и прочим я хз.
Вольюметриков примеров нет опять же.
Ну да,можно вот такое уже,но смысл,когда нужно что-то комплексное,со взаимодействием материалов,а не отдельный аспект.
Даже не знаю где такое можно применить.
Microsoft показала нейросеть, которая может похоронить классический 3D-рендеринг