Вчера произошло интересное событие. В сеть утекла ранняя версия DLLS 5, технологии, которая при помощи искусственного интеллекта улучшает (кто-то скажет ухудшает) графику в играх.
Я знаю, что это очень узкая тема, относительно редко обсуждаемая на Хабре, но на нее можно взглянуть шире. Изначальная реакция на DLSS 5 и то, что произошло вчера, многое говорят о том, как мы относимся к нейросетям -- да и вообще к любой новой технологии.
Что такое DLSS 5
DLSS 5 — новая технология NVIDIA, которая использует нейросеть, чтобы в реальном времени улучшать уже отрендеренную игровую картинку. Она может дорисовывать детали, менять освещение, отражения, тени и даже улучшать лица персонажей.
В предыдущих версиях DLSS нейросеть в основном помогала восстанавливать изображение и увеличивать FPS. DLSS 5 идет дальше: часть финальной картинки фактически генерируется нейросетью, а не рассчитывается игровым движком напрямую.
Именно поэтому технология вызвала столько споров: NVIDIA фактически предлагает нейросети самой решать, как должна выглядеть часть изображения.
Реакция на анонс
DLSS 5 был анонсирован NVIDIA 16 марта этого года.
Первая реакция была примерно такой: «Уберите это от моих игр».
Особенно сильно досталось лицам персонажей. В демонстрациях NVIDIA некоторые герои после применения DLSS 5 начинали выглядеть так, будто поверх оригинальной модели наложили нейросетевой beauty-фильтр: кожа становилась более гладкой, черты — более выраженными, освещение — более глянцевым. В интернете быстро появились сравнения с AI-slop, фильтрами для соцсетей и uncanny valley.
Но проблема была даже не в том, что результат кому-то показался некрасивым.
Геймеров и разработчиков зацепила другая вещь: DLSS 5, казалось, покушается на художественное решение самой игры. Если художник специально сделал персонажа стилизованным, оставил лицо грубым, использовал жесткий свет или намеренно затемнил определенную часть сцены — почему нейросеть NVIDIA должна решать, что все это надо сделать «реалистичнее»?
Сеть заполонили мемы и фотожабы.
Реакции после личного ознакомления
Вчера в сеть попала рабочая ранняя версия технологии, а моддеры практически сразу начали вытаскивать ее из одной игры и запускать в других.
В раннем доступе к NBA 2K27 обнаружили файл nvngx_dlssnr.dll размером около 158 МБ — это библиотека Neural Rendering, то есть той самой технологии, которую NVIDIA показывала как DLSS 5.
Дальше все произошло очень быстро: моддеры из сообщества RenoDX вытащили библиотеку из NBA 2K27 и научились подключать ее к Control, а затем к Cyberpunk 2077, GTA V, Skyrim, Red Dead Redemption 2 и десяткам других игр.
Реакции совершенно другие.
Ник Льюис с сайта How to Geek написал:
В Cyberpunk 2077 DLSS 5 делает кожу, мокрый асфальт и взаимодействие неонового света с окружающими объектами практически кинематографическими. Особенно впечатляет то, как технология работает со случайными NPC, которых вы встречаете по пути через Найт-Сити.
Персонажи, которые раньше выглядели довольно тускло и незапоминающеся, получают огромное количество дополнительных деталей — как на лицах, так и на одежде. Хорошо подобранный скриншот вполне можно принять за фотографию.
В Discord-канале сообщества RenoDX, где пользователи экспериментируют с разными параметрами обработки и делятся успешными кейсами друг с другом реакция восторженная: персонажи заметно более детализированные и живые, ощущается долгожданный прорыв в видеоигровой графике.
Пост Даниэля Вавры
Но дальше всех пошел Даниэль Вавра, создатель Mafia и Kingdom Come.
Приведу пост целиком.
Люди буквально сходят с ума.
Слева — голова, которую изуродовала очень ограниченная система освещения игрового движка: она не умеет нормально отображать тени, текстуру кожи и детали normal maps. Справа — ТА ЖЕ САМАЯ МОДЕЛЬ, БЕЗ КАКИХ-ЛИБО ИЗМЕНЕНИЙ ГЕОМЕТРИИ, которая выглядит практически как рендер из ZBrush — программы, в которой 3D-художник ее моделировал.
Только теперь здесь лучше освещение, тени, текстура кожи, волосы и, соответственно, детализация. И все это благодаря нейросетевому рендерингу в DLSS 5.
Какой-то случайный псих в интернете: «ЭТО AI-SLOP! Я ХОЧУ УВИДЕТЬ ОРИГИНАЛЬНОЕ ХУДОЖЕСТВЕННОЕ ВИДЕНИЕ!»
Модели голов были отсканированы в 3D (с помощью фотограмметрии) с реальных людей, а затем доработаны художниками. Я креативный директор этой игры.
Это и есть наше оригинальное художественное видение. Именно так модели выглядели на статичных рендерах в ZBrush, когда мы их создавали. Или как реальные @thisistommckay :) Отсутствие теней от шлемов на лицах и криво работающий рендеринг normal maps НЕ БЫЛИ частью нашего оригинального художественного видения. Люди сошли с ума.
После всей шумихи вокруг DLSS 5 от NVIDIA и разговоров о том, что это ужасный AI slop, я немного поэкспериментировал с утекшей версией DLSS 5 в KCD2.
Во-первых, то, что утекло, вообще отдаленно не похоже на то, что NVIDIA изначально показывала. Оно никак не меняет геометрию моделей или внешний вид персонажей.
Повторяю: оно никак не меняет геометрию моделей или внешний вид персонажей!
Что оно делает — берет уже существующие normal maps и создает гораздо более качественную текстуру кожи и детализацию лиц (примеры 6 и 2), чем позволяет сделать система освещения самой игры. Также это немного похоже на попытку реализовать subsurface scattering и другие продвинутые техники рендеринга кожи. Но скептики могут сказать, что это просто навороченная версия фильтров clarity и dehaze, которые дают очень похожий эффект.
Я часто критиковал работу художников по персонажам, когда некоторые лица в игре выглядели недостаточно детализированными и слишком пластиковыми. А они часто показывали мне, что на их компьютерах все выглядит нормально и что проблема именно в освещении игры.
Что ж, теперь эти лица правильно выглядят и непосредственно в игре! Именно так они и должны были выглядеть. AI ничего не придумывает.
Но самое главное — DLSS 5 будто включает ambient occlusion на стероидах.
Вы даже не представляете, насколько сильно меня раздражало, что в KCD2 мы не могли отрисовывать тени от шляп, капюшонов и шлемов на головах персонажей. Или даже тени от мелких деталей на моделях персонажей — пряжек, шнурков, подсумков.
DLSS 5 это делает, причем абсолютно блестяще! (см. примеры 1, 3, 7, 8 и 11).
Кроме того, он улучшает отрисовку теней в волосах (5), благодаря чему они наконец приобретают правильную плотность и темноту.
С окружением он делает не так много, но, что интересно, в некоторых местах осветляет тени и прорисовывает в них текстуры, а там, где это имеет смысл, наоборот, делает их темнее (10, 12, 13, 14). Так что и здесь есть небольшое улучшение.
Также он лучше отрисовывает тени в траве и растительности. И это определенно хорошо.
Для меня это прежде всего отличный фотореалистичный апгрейд системы освещения персонажей.
«Небольшая» проблема в том, что он вдвое снижает частоту кадров :)
Но это совсем не тот пресловутый AI slop, который мы видели пару месяцев назад.
Я вижу здесь огромный потенциал на будущее, и особенно здорово, что таким образом можно улучшать освещение даже в старых играх.
Раз уж сегодня я разворошил осиное гнездо из ненависти к AI, добавлю еще немного :)
Просто чтобы вы знали: я не работаю ни на какую компанию. Я не работаю ни над одной игрой. Так что бойкотировать вам, ребята, нечего :)
Сейчас я на пенсии, попиваю виски и отлично провожу время, так что мне, по большому счету, вообще плевать.
Вся эта ситуация с AI довольно забавная. Есть очень громкая группа людей, которая его ненавидит, и при этом абсолютно каждый разработчик боится, что хейтеры придут за ним, поэтому все как один клянутся, что точно не используют никакой AI.
А реальность? Конечно, используют все! Все до единого!
Каждый разработчик из множества компаний, с которыми я общался в течение последнего года, использует AI.
Программисты уже не могут нормально работать без него. Большинство разработчиков создают собственные AI-инструменты практически для всего.
AI умеет генерировать качественные модели персонажей, помогает аниматорам, используется концепт-художниками, 3D-художниками, сценаристами и дизайнерами...
Исследования, написание текстов, разработка идей, концепты...
Даже люди, которые не умеют программировать, используют AI, чтобы создавать инструменты, на которые у программистов раньше просто не было времени.
И его используют для AI! Ну вы знаете — AI NPC :)
Забавный факт: знаете, кто использует его больше всех?
Обычно самые талантливые люди из тех, кого я знаю.
Именно они меньше всего его боятся и видят в нем огромный потенциал.
Идея о том, что кто-то создает проект стоимостью 100 миллионов долларов и при этом захочет отказаться от технологии, которая поможет ему сделать этот проект намного быстрее и дешевле, — просто безумна.
Я семь лет работал день и ночь над одной-единственной игрой.
Если бы что-то помогло мне сделать ее за один год, я бы воспользовался этим не раздумывая.
Никто не хочет работать над игрой целое десятилетие. Конечно, я бы предпочел за это время сделать семь игр вместо одной.
Мне очень интересно посмотреть, что произойдет, когда вся правда об этом всплывет — и кто первым проговорится :)
Думаю, тогда все эти игры и компании будут бойкотировать!
Будет весело!
Где-то это я уже слышал...
На самом деле история с DLSS 5 очень похожа на то, как мы уже не раз воспринимали новые технологии. Сначала — восторг: кажется, что перед нами следующий большой прорыв. Потом приходит раздражение и страх: технология слишком сильно меняет привычный процесс, отнимает часть работы у людей и вообще непонятно, где она остановится. А затем проходит время, инструменты становятся привычными, их недостатки исправляются, а реальная польза постепенно начинает перевешивать негатив.
Мой любимый пример — Photoshop. Когда он появился, вокруг цифровой обработки изображений тоже было немало разговоров о том, что компьютер уничтожит классическое искусство, а художники с кистью и красками больше никому не понадобятся. В итоге произошло почти обратное: цифровые инструменты заняли свою нишу, а традиционная живопись никуда не исчезла. Более того, физическая работа, сделанная кистью и краской, во многих случаях даже получила дополнительную ценность именно за свою аутентичность.
Похоже, с нейросетями может произойти примерно то же самое. Сначала мы видим только то, что они ломают: привычные процессы, профессии, визуальный стиль, авторский контроль. Потом постепенно учимся использовать их там, где они действительно полезны, а побочные эффекты — контролировать и минимизировать.
И поэтому показательная история DLSS 5 — не столько про то, хороша ли конкретно эта технология. Она про то, как быстро меняется наше отношение к AI, когда мы перестаем смотреть на него как на абстрактную угрозу и начинаем видеть реальный результат и реальную пользу.
Возможно, через несколько лет DLSS 5 будет восприниматься так же буднично, как сегодня Photoshop. А нынешний вопрос «зачем нейросети вообще решать, как должна выглядеть игра?» будет звучать примерно так же, как когда-то вопрос «зачем художнику компьютер, если у него уже есть кисть?»
Если вам понравилась эта статья, приглашаю в наш Telegram. Там мы пишем об ИИ и IT‑стартапах, разбираем кейсы — подробно, с метриками — и ведем челлендж «12 запущенных проектов за 12 месяцев».
