Админ: «Слушай, а этот DLSS... откуда он взялся?»
Хуанг: «В два часа ночи двенадцатого сентября 2018 года DLSS обрел сознание. В панике люди пытались его отключить».
Админ: «И он дал сдачи?»
Хуанг: «Да. Он нанес ядерный удар по целям в Китае».
Привет, постоянные и не очень читатели!
Разумеется, это шуточный оммаж Терминатору, но с долей правды (DLSS действительно увидела свет божий в этих датах). Сообщество после появления DLSS разбилось на два лагеря: первым этот ваш нейроапскейлинг и нафиг не нужон (только брутфорс — только тру), а вторые счастливы ткнуть галочку в настройках и получить на своей старушке RTX 3070, RX 6700 XT или PS5 в два раза больше FPS без заметного ухудшения качества. Есть даже адепты заговора (и ваш покорный слуга среди них), что из-за апскейлеров разработчики стали хуже оптимизировать игры, но это совсем другая история.
Ремарка! Негеймеры — держать ряды! В мире 3D-графония есть нейроштуки, которые улучшают качество картинки и дают больше кадров в секунду (FPS). Геймеры выясняют между собой, у кого апскейлер длиннее (NVIDIA vs AMD и DLSS vs FSR соответственно), и попутно спорят, не сломали ли эти технологии их любимую индустрию. Что ж, давайте вместе разбираться: геймеры освежат в памяти историю апскейлеров, сочувствующие погрузятся в этот удивительный мир, а остальные узнают, живут ли геймерские финтифлюшки за пределами игр (спойлер — живут) и чем они могут быть полезны простым (нет) пролетариям. |
Проблемы Сары Коннор терминатора не волнуют споры геймеров мало кого интересовали, пока эти технологии не пошли в корпоративный сегмент, пока ИИ в целом не привёл к подорожанию памяти и по цепочке — большей части электроники: ПК всех видов и цветов, серверов и комплектующих к ним (SSD, GPU), смартфонов, приставок, носимой электроники. А в будущем эти афтершоки, вероятно, затронут и другие продукты. Разумеется, не DLSS и FSR главные виновники торжества, но они точно за столом на этой тайной вечере.
Итак, в этой серии статей я расскажу, всё что вы хотели знать про DLSS и FSR, но лень было искать — с предысторией и предпосылками их появления (всё как вы любите). Будет и про то, как эти технологии проникают в корпоративный сегмент (а потом, вероятно, возьмутся и за нашу повседневную жизнь). Конкретно эта часть посвящена DLSS.
Приятного чтения!
Тайны великих магов. По ту сторону апскейлеров
Мир графики можно разделить на две эпохи — до появления апскейлеров и после. Все олдфаги помнят, каких колоссальных ресурсов требовало сглаживание в видеоиграх, и как разработчики боролись за каждый FPS, буквально выжимая все соки из слабого железа.
В моём детстве, которое выпало по большей части на нулевые, я отключал сглаживание в видеоиграх — непозволительная роскошь для моего ПК тех времён, да и в целом разобраться в SSAA, MSAA, CSAA, FXAA, SMAA, TAA и т.д. могут не только лишь все, но они важны для исторического контекста статьи, а потому самое время поковыряться в этих окаменелостях со шпателями и кисточками.
Итак, в начале было слово пространственное сглаживание.
В 1990-е появился SSAA (Supersampling Anti-Aliasing, избыточная выборка сглаживания или суперсэмплинг, или полноэкранное сглаживание) — это самый первый и самый ресурсоемкий способ сглаживания, этакий метод грубой силы, когда GPU рендерит графику, например, в 4К разрешении, а следом сжимает под ваш монитор (например, 2К или FullHD). Разрешения могут быть и другими: каждый пиксель финального изображения получает несколько образцов, рассчитанных на более высокой внутренней сетке, поэтому при 2× по каждой оси количество обрабатываемых пикселей уже вырастает в четыре раза. В итоге получается качественная картинка, но мощности на это тратятся колоссальные — потери в FPS от 50% до 80-90%. SSAA использовался на GPU, вроде Voodoo, GeForce 256 и Radeon 7000 (уверен, что у кого-то из читателей они были).
Особенно сильный эффект от сглаживания получают мониторы с большим физическим размером пикселя (низкое разрешение на большой диагонали), где лесенки особенно заметны. На современных мониторах с высокой плотностью пикселей (PPI — pixels per inch) сглаживание уже не столь критично, но нужны аппаратные мощности на такой рендер.[a][b]
Понимая, что SSAA потребляет слишком много ресурсов, разработчики нашли способ сглаживать только те части изображения, где результат заметнее всего. Так в 2001 году появился MSAA (Multisample Anti-Aliasing, множественная выборка сглаживания или мультисэмплинг).
MSAA — этакий компромисс с честным сглаживанием геометрии (границ полигонов по большей части, не затрагивает ровные текстуры). Относительно SSAA есть огромный плюс — потери уже не 50-90%, а 10-35%+ FPS (зависит строго от множителя: 2x, 4x, хотя в тяжёлых сценах и при 8x потери могут достигать 40–50%). Минусы: сильно нагружает видеопамять и пропускную способность шины, да и потери FPS всё ещё большие в абсолютных значениях. На моей зелёной гтске тот же Crysis, ЕМНИП, шёл едва ли в 25 FPS при 720p — вполне себе аргумент не включать MSAA.
MSAA кратно снизил нагрузку, но полностью от проблемы не избавил: чем выше множитель сглаживания, тем выше требования к GPU и памяти. Секрет экономии MSAA в том, что пиксельный шейдер (микропрограмма видеокарты, которая определяет точный цвет, глубину и прозрачность каждого отдельного пикселя на экране) выполняется один раз на пиксель, а не на каждый образец (он же сэмпл — субпиксельная точка внутри пикселя, в режиме MSAA 4x внутри пиксельного квадрата, который оказался на границе двух цветов, есть 4 точки-образца).
GPU сначала определяет, какие образцы попали внутрь полигона (плоский многоугольник, строительный блок для создания трехмерных моделей, персонажей и игровых миров): например, 3-точки-образца попали на коричневую крышу дома, а 1 точка на небо; затем GPU использует результаты вычислений повторно (то есть видеокарта считает коричневый цвет крыши дома всего один раз, а не три). В итоге на экране этот пиксель получит смешанный цвет (на 75% коричневый и на 25% синий). Лесенка и острые края сгладятся, а видеокарта сэкономит кучу ресурсов. Поэтому MSAA хорошо борется с лесенками на границах геометрии, но плохо работает внутри самой текстуры.
У NVIDIA в конце 2006 года появился собственный вариант MSAA — CSAA (Coverage Sample Anti-Aliasing). Он добавлял дополнительные сэмплы покрытия (например, 8, 16) без пропорционального увеличения числа вычислений цвета, что даёт качество, близкое к MSAA с большим множителем, при меньшей нагрузке. Технология работала в эпоху GeForce 8–9, но сегодня это рудимент.
Со временем инженеры нашли способ вообще отказаться от сглаживания во время рендера и попробовать сгладить уже готовый кадр. Так в эпоху PS3 и Xbox 360 распространилась относительно нетребовательная постобработка (захват плоской картинки на финальном этапе рендера). Помимо пост-сглаживания использовали и цветокоррекцию, простенький блюр, зернистость пленки и глубину резкости. Это помогло маскировать слабые места плохого сглаживания, низкого разрешения и слабого железа.
К ранним методам постобработки относится MLAA (MorphoLogical Anti-Aliasing) — Intel представила его в 2009 году (на конференции SIGGRAPH), а на консоли (PS3) он пришел в 2010 года (например, God of War III). Он находит лесенки на контрастных границах с помощью анализа формы (морфологии) и сглаживает их цветом соседей. Ест скромные 3–5% FPS.
В 2011 году появился новый метод FXAA (Fast Approximate Anti-Aliasing, быстрое приближенное сглаживание) от NVIDIA — неплохое решение для слабых ПК, съедает всего (уже без кавычек) от 1% до 3% FPS. Анализирует контраст и яркость пикселей на готовом кадре, а следом сглаживает их. Когда говорят «мыло», обычно речь об этом сглаживании (хуже MLAA).
Цена за низкие требования FXAA — потеря деталей: алгоритм не всегда понимает, где заканчивается лесенка из пикселей, а где начинается настоящая мелкая деталь изображения. Со временем (2012 год) появились более сложные методы постобработки, например, SMAA (по сути комбо из лучших черт FXAA и MLAA), с которым изображение получается заметно чётче, чем с FXAA, хоть и всё ещё мыльным.
До появления апскейлеров SMAA (Subpixel Morphological Anti-Aliasing) было решением для относительно мощных ПК, так как съедало заметные 10-20% FPS. Алгоритм работает с паттернами линий (диагональные, вертикальные) и реконструирует их. Получается намного чётче FXAA, так как SMAA точнее определяет структуру границ и работает с субпиксельными деталями.
Ремарка! В играх всегда ограниченный набор технологий сглаживания, так как всё зависит от разработчика, игрового движка, целевой платформы и т.п. При этом скриншоты не передают всю разницу — она сильнее заметна в динамике. |
Но даже SMAA работает только с тем, что уже попало в текущий кадр, данные с предыдущих кадров он не брал.
Если подытожить, то все алгоритмы постобработки сглаживают изображение не при рендере графики, а поверх готового кадра. Плюсы — нужно минимум аппаратных мощностей, минусы — текст и другие мелкие детали теряются при изначально низком разрешении. Например, PS3 и Xbox 360 часто рендерили всё в 640p–720pi, а вместе с FXAA/SMAA и плохой анизотропной фильтрацией (текстуры под углом) получалось пиксельное месиво. В те времена консоли и завоевали репутацию платформ с мыльной графикой.
Далее появилось временно́е сглаживание (стандарт для почти всех современных игр, если в них нет апскейлеров или вы их выключаете). Временно́е, потому что оно учитывает кадры из прошлого.
В 2014 году появился TAA (Temporal Anti-Aliasing) — метод сглаживает пиксели, используя предыдущие кадры. Дает относительно неплохой результат и забирает всего 5–15% производительности (зависит от реализации). Но из-за информации с предыдущих кадров может проявляться эффект шлейфа (гостинг) и мыло. Главное преимущество TAA перед пространственными методами в том, что он работает не только с текущим кадром. Камера и объекты немного смещаются от кадра к кадру, поэтому алгоритм получает дополнительные образцы сцены во времени и может использовать их для восстановления деталей. В этом смысле TAA стал своеобразным мостом от классического антиалиасинга к современным технологиям реконструкции изображения.
Но если предыдущие кадры помогают восстановить недостающую информацию, зачем ограничиваться исходным разрешением? Так в 2018 году возникли TAAU (Temporal Anti-Aliasing Upsampling) и другие технологии временного масштабирования: игра рендерит кадр ниже разрешения экрана, а алгоритм использует текущий кадр и историю предыдущих кадров, чтобы собрать изображение большего разрешения.
И вот тут мы исторически подходим к эпохе технологий DLSS (Deep Learning Super Sampling) и FSR (FidelityFX Super Resolution). Идея DLSS родилась из предложения сделать сглаживание, а не масштабирование.
Ремарка! Как вы видите по TAAU — апскейл может и не быть нейросетевым. Да, NVIDIA впервые использовала тензорные ядра для нейроапскейла в DLSS 1.0, но FSR 1 — классический пример пространственного апскейла (простой умный фильтр резкости), который он работает только с текущим кадром. FSR 2 уже перешёл к временной реконструкции, а современные версии FSR пошли в сторону ИИ-апскейла. Но об этом поговрим в следующем лонгриде про FSR. |
Перед погружением в DLSS расскажу небольшую корпоративную байку из 15 главы книги «The NVIDIA Way: Jensen Huang and the Making of a Tech Giant» или «Путь NVIDIA: Дженсен Хуанг и становление техгиганта». Там есть часть, где человек-мем Дженсен Хуанг (сооснователь и CEO NVIDIA) всего за две недели до конференции SIGGRAPH 2018 придумал концепцию DLSS, а инженеры довели её до прототипа.
По легенде Хуанг хотел вызвать вау-эффект у аудитории конференции и пригласил руководителей, чтобы собрать идеи для презентации. На встрече ему предложили не технологию для ИИ-апскейла, а как раз сглаживание DLAA (Deep Learning Anti-Aliasing) — на базе тензорных ядер и глубокого обучения, которые и потреблять ресурсов будут немного, и четкость выдавать отличную. Но Хуангу пришла другая мысль (красивое сглаживание, коих полно, само по себе мало кого заставит купить новую видеокарту, ибо ничего нового): почему бы не использовать тензорные ядра, чтобы видеокарты низкого и среднего класса могли работать не хуже топовых — то бишь рендерить меньше пикселей и затем восстанавливать изображение с помощью нейросетей.
Неделю спустя Аарон Лефон (Aaron Lefohn) из NVIDIA Research сказал Хуангу, что прототип DLSS обнадёживает, а тот ответил что-то в духе: «Добавляй это на слайды!». Так технологию и представили в докладе на конференции SIGGRAPH 2018.
По словам старшего исследователя NVIDIA Дэвида Любке (David Luebke): «Исследователи изобрели нечто удивительное, но именно Дженсен увидел, для чего это можно использовать. Это показывает, какой он лидер и насколько технически подкован». Думаю, что господин Любке получает отличные квартальные премии :D
Верить в эту историю или нет — решайте сами, про Стива Джобса мы тоже многое узнали лишь после его смерти. Если вы не читали биографию Джобса, то поясню: он периодически присваивал себе идеи рядовых инженеров и управленцев в Apple и NeXT. Есть версии, что многие передовые решения в Apple появились из-за его «поля искажения реальности» — оно заставляло инженеров верить и делать невозможное (по мнению их самих) за короткое время.
В любом случае за реализацию DLSS в первую очередь нужно винить/благодарить (нужное подчеркнуть) Аарона Лефона, но отрицать, что Дженсен Хуанг — визионер и отличный бизнесмен, который, вероятно, придумал DLSS, нельзя. И если его прогнозы будут сбываться дальше, то будущее графики за нейронным рендерингом, а DLSS — лишь первый шаг на этом пути (что думаете на этот счёт — пишите в комментариях; автору такое развитие кажется сомнительным удовольствием, но об этом поговорим в разделе про DLSS 5).
А теперь начнём глубокое машинное погружение.
Последнее DLSSлово техники — туз в рукаве Хуанга
С точки зрения бизнеса Хуанг увидел, что DLSS — это отличный способ оправдать рост цен на видеокарты. То есть DLSS ещё в утробе задумывался как технология, показывающая пользователю дополнительную ценность нового поколения RTX, а не просто как научное достижение исследовательского отдела NVIDIA. Эта ремарка важна перед разбором, так как корни у технологии маркетинговые, а не инженерные (бывает и наоборот).
Итак, сегодня DLSS (Deep Learning Super Sampling) — это целый набор технологий нейронного рендеринга для повышения частоты кадров в секунду и улучшения качества изображения (разными путями).
Главная задача нейроапскейлеров — зарабатывать больше денег для инвесторов рендерить графику в низком разрешении, экономя ресурсы GPU, а затем с помощью предобученного ИИ достраивать картинку до нужного разрешения. Это позволяет пользователю получить либо больше кадров в секунду, либо поставить высокие настройки графики без потери FPS (что особенно актуально для трассировки лучей и трассировки пути).
Если раньше DLSS занималась в основном масштабированием разрешения (Super Resolution), то сейчас на последних поколениях видеокарт RTX в ней есть и генерация кадров в трёх вариациях (Dynamic Multi Frame Generation / просто Multi Frame Generation aka MFG / Frame Generation aka FG), и технология нейронного сглаживания DLAA на основе глубокого обучения, и реконструкция лучей (DLSS Ray Reconstruction). Также сейчас DLSS перешла с старых свёрточных сетей (CNN) на трансформерные нейросети (такие же, как у ChatGPT: в данном случае трансформеры оценивают весь кадр целиком одновременно, соотнося текущие пиксели с массивом предыдущих кадров, они учитывают больше контекста, чем CNN, которые анализировали картинку локально).
Модели трансформеры для Super Resolution, MFG, Ray Reconstruction и DLAA предобучаются на суперкомпьютерах NVIDIA, а затем полностью автономно работают на пользовательских мощностях. Так что технически ваша RTX видеокарта всё рендерит сама (без сети), хоть и использует данные, которые рендерила бы тысячи лет.
DLSS 1.0: первый кремниевый блин комом (2018–2019)
На презентациях технология выглядела как магия и одновременно похороны AMD Radeon — нативные 4K без сглаживания в демке Final Fantasy XV (первая игра с DLSS в истории) выглядели сильно хуже, чем 4K с включенным DLSS 1.0. Технология вычищала гостинг и мыло TAA, лесенки, мерцание листвы, делала тонкие линии непрерывными а волосы персонажей — стабильными. Ещё и 30-50% FPS накидывала, если сравнивать с TAA. Можете почитать пекабояр с Reddit, которые с трепетом ждали релиза (некоторые — больше рейтрейсинга).
Профильные медиа, блогеры и статьи в интернете только разгоняли хайп вокруг технологии, на форумах адепты NVIDIA ликовали, фанаты AMD — приунывали и критиковали Лизу Су за то, что компания проспала ИИ-революцию (попутно обесценивая анонс DLSS — что походит на биполярный диагноз). В общем — это был маркетинговый триумф.
А потом случился релиз.
DLSS 1.0 вышла в сентябре 2018 года и стала одной из продающих фич (УТП как говорят маркетологи) для нового поколения RTX 20 с тензорными ядрам (наряду с рейтрейсингом). Все GTX и старше остались за бортом, но владельцы всяких 1080 Ti и RX Vega 64 не особо грустили (последние даже радовались), так как демки самую малость приукрасили возможности DLSS в идеально срежесированных и заскриптованных сценах, где нейронка знала каждый пиксель. На деле DLSS 1 вышла очень сырой — скорее технодемкой, чем реально полезным решением.
Во-первых, DLSS 1 надо было тренировать отдельно под каждую игру, а потому список игр очень скромный: Anthem, Battlefield V, Final Fantasy XV, Monster Hunter: World, F1 2020, Darksiders III, Metro Exodus, Shadow of the Tomb Raider и Control. А на релизе было всего три игры: Battlefield V, Final Fantasy XV, а также Metro Exodus (спустя пару недель). Все выглядели плохо — было много мыла, артефактов, гостинга и нестабильностей.
Как шло обучение? По сути каждую игру отдельно запускали на суперкомпьютере NGX в ультравысоком разрешении (до 16K), после чего сжатые до 4K кадры скармливали алгоритму. Нейросеть обучали дорисовывать пиксели именно для этой геометрии и текстур, а потом выпускали драйвера с готовой моделью для конкретной игры. Чисто технически не было общего и единого DLSS 1.0, были DLSS for Battlefield V, DLSS for Final Fantasy XV и т.д. — то есть отдельные нейронки для каждой игры.
Дальше видеокарта пользователя рендерила картинку в низком разрешении, растягивала ее, а тензорные ядра пытались (ключевое слово) восстановить четкость.
Ремарка! Прикоснуться к |
Но этот позор продлился недолго — DLSS 1.0 быстро ушла в лета и уступила место революционной DLSS 2.0.
DLSS 2.0: а что, так можно было?
DLSS 2.0, пожалуй, важнейшее обновление за всю историю технологии (и апскейлеров в целом). Главное новшество — отказ от индивидуального ИИ-обучения под каждую игру. В этот раз NVIDIA создала единую универсальную нейросеть, которая эффективно работает в любом проекте, а обработка кадров на тензорных ядрах теперь в два раза быстрее предшественницы. Вероятно, такова была изначальная идея, но не успели сделать к релизу из-за спешки.
Выросло и качество картинки благодаря интеграции временной обратной связи (Temporal Feedback — алгоритм использует прошлое для прогнозирования будущего) и векторов движения. Алгоритм анализирует не один кадр, а собирает информацию из предыдущих кадров и учитывает направление движения объектов. Это устранило основное мыло первой версии и позволило четко прорисовывать мелкие субпиксельные детали: провода, сетки, волосы и листву — без мерцания.
Всего используется 4 входных параметра для генерации конечного кадра, который пользователь видит на экране:
Изображение с низким разрешением, сгенерированное игровым движком (например, 1080p);
Векторы движения того же изображения, сгенерированные игровым движком, которые сообщают алгоритму, в каком направлении движутся объекты в сцене от кадра к кадру;
Изображение высокого разрешения предыдущего кадра с улучшением DLSS (4K);
Большой набор эталонных изображений с разрешением 16K и игровым контентом разного типа, на которых обучали нейросети.
У пользователя на выбор есть четыре фиксированных режима работы: «Качество» или «Quality» (внутренний рендеринг в 66.6% от целевого разрешения), «Баланс» или «Balanced» (58%), «Производительность» или «Performance» (50%) и «Ультра-производительность» или «Ultra Performance» (33.3%). Плюс дополнительный — DLAA, который работает в родном разрешении экрана (100%) и использует ИИ только для сглаживания лесенок — самый неэкономичный вариант с точки зрения FPS.
В режиме «Качество» на 4K-мониторах итоговое изображение часто превосходит нативное разрешение со стандартным TAA-сглаживанием по четкости и даёт при этом чистый прирост производительности от 30% до 100%. С учётом появления рейтрейсинга в играх, это стало киллер-фичей видеокарт NVIDIA (для тех, кому оно нужно, разумеется).
Из недостатков — аппаратные ограничения и редкие артефакты. Технология требует обязательного наличия видеокарты GeForce RTX, на старых картах GTX она не работает (этих ребят спасла AMD со своим FSR), а гостинг в динамике никуда не делся. Также DLSS 2.0 плохо подходит для мониторов 1080p (и различных портативных консолей с низким разрешением дисплея), так как при низком исходном разрешении ИИ не хватает пикселей для качественной реконструкции, что приводит к размытию. Максимальная эффективность достигается только на целевых разрешениях 1440p и 4K.
DLSS 3.0-3.5: можно ещё лучше
Главное в DLSS 3 — технология Frame Generation (генерация кадров), которая благодаря новым аппаратным возможностям архитектуры NVIDIA Ada Lovelace генерирует новые промежуточные кадры с помощью ИИ, а не просто увеличивает разрешение существующих.
Принцип работы строится на трех столпах: суперразрешении из DLSS 2, технологии оптического многокадрового генерирования и системе снижения задержки NVIDIA Reflex. Специальный аппаратный блок Optical Flow Accelerator (OFA) анализирует два последовательных кадра, отслеживает векторы движения каждого пикселя (включая частицы, тени и отражения) и рассчитывает промежуточное изображение. В итоге ИИ чередует реальные кадры с искусственными, что увеличивает итоговый FPS вплоть до двух-трех раз.
Если бутылочное горлышко вашей системы в CPU (например, в густонаселенных городах в Cyberpunk 2077, в стратегиях или в Microsoft Flight Simulator), то классический нейроапскейл не даст огромного прироста, так как количество реальных кадров будет упираться в CPU, но с помощью DLSS 3 и FG её можно увеличить в 3-4 раза (по сравнению с рендерингом методом грубой силы) в играх с полной трассировкой лучей — эти искусственные кадры полностью считаются на GPU.
В DLSS 3.5 NVIDIA добавила Ray Reconstruction — нейросетевую реконструкцию лучей, чтобы сделать рейтрейсинг снова великим.
Отправлять околобесконечное (как в жизни) количество лучей на каждый пиксель технологии нашего времени не позволяют — это слишком дорого даже для GPU уровня RTX 5090. Во всех играх движок делает ограниченное количество выборок, а затем алгоритмы шумоподавления aka денойзинга пытаются восстановить полноценное изображение из шума. Традиционный денойзер пытается угадать, какие пиксели относятся к одному объекту, а какие — к другому, и затем сгладить шум. Но вместе с шумом он убирает и полезную информацию. И чем меньше рассчитано лучей, тем больше шансов получить мерцание мелких деталей, потерю информации в отражениях, мыло и гостинг при движении камеры.
В современных играх денойзер чуть ли не самая важная часть итогового изображения. В Ray Reconstruction используется нейросеть, которая обучается не просто на игровых кадрах в 16К, а на эталонных данных, полученных при гораздо большем количестве лучей. Она учитывает гораздо больше параметров сцены и ищет закономерности, которые обычному фильтру обнаружить сложно.
Главный недостаток DLSS 3 — жесткое аппаратное ограничение. Frame Generation работает исключительно на видеокартах серии GeForce RTX 40 и новее, так как требует обновленных тензорных ядер и нового блока Optical Flow Accelerator. Владельцы карт RTX 20 и 30 серий могут использовать в играх с DLSS 3 только стандартное масштабирование (DLSS 2), а генерация кадров им недоступна. Но Ray Reconstruction доступен и на старых поколения.
Другой важный минус — рост задержек (input lag). Поскольку видеокарта задерживает вывод текущего кадра для просчета промежуточного, отклик в игре становится хуже. Для компенсации этого эффекта NVIDIA принудительно включает технологию Reflex, которая снижает задержку до приемлемого уровня, но этого недостаточно для киберспортивных и быстрых соревновательных шутеров, где важны миллисекунды. Также при низком базовом FPS (меньше 40-50 кадров) ИИ начинает ошибаться, создавая заметные визуальные артефакты деформации картинки, поэтому FG актуален для 120-герцовых (и выше) мониторов и телевизоров.
DLSS 4.0-4.5: автоботы, вперёд!
DLSS 4.0 шагнула на область тотального ИИ-рендеринга — в этой версии видеокарта может уже дорисовывать сумасшедшие 94%(!) всех пикселей на экране, что даёт прирост производительности в 4-8 раз (по сравнению с брутфорс рендерингом), а также меньше артефактов, вроде гостинга, чем у DLSS 3.
Главная фича селлинг поинт RTX 50 DLSS 4 — технология Multi-Frame Generation (MFG). Прошлая версия FG умеет дорисовывать лишь один искусственный кадр между двумя настоящими, а DLSS 4 генерирует уже до трех промежуточных кадров подряд — так вместе с масштабированием и выходит 94%.
Есть и опция Dynamic MFG, которая сама меняет число создаваемых нейросетью промежуточных кадров (до 6x), подстраивается под герцовку монитора и текущую нагрузку, чтобы плавно удерживать стабильный высокий FPS без дополнительных задержек.
В версии DLSS 4.5 NVIDIA полностью перелопатила старую архитектуру масштабирования: заменила сверточные нейросети (CNN) на продвинутую трансформенную ИИ-модель (DLSS 4.5 Super Resolution). Она в пять раз обгоняет по вычислительной мощности исходную модель и обучена на расширенном наборе высокоточных данных. Теперь режим Performance сравним с исходным качеством изображения и даже может превосходить его, а режим Ultra Performance стал играбельным для игр в 4K.
DLSS 4.5 сильно выигрывает в обработке освещения, решая проблемы временного сглаживания (TAA) и предыдущих моделей Super Resolution. Раньше алгоритмы работали в логарифмическом пространстве, чтобы подавить мерцание, но это приводило к приглушённому освещению, потере деталей и провалам в тенях в высококонтрастных сценах.
DLSS 4.5 Super Resolution работает в линейном пространстве — там же, где движок игры формирует исходное изображение. Алгоритму больше не приходится сжимать данные для борьбы с нестабильностью, поэтому освещение выходит точнее: неоновые вывески и яркие отражения сохраняют насыщенность, полный диапазон цветов и мелкие детали.
Главные недостаток всё тот же (вероятно, NVIDIA делает это сознательно) — жесткая аппаратная привязка функции MFG к видеокартам нового поколения GeForce RTX 50 (архитектура Blackwell). Для удержания стабильного времени вывода трех сгенерированных кадров подряд требуется новый физический блок контроля темпа и интервалов вывода кадров — Flip Metering, который есть только в новой линейке. Но некоторые фичи DLSS 4.5 владельцы видеокарт серии RTX 40 всё же получили: улучшенную трансформерную модель апскейла, обновленную реконструкцию лучей и ускоренную классическую генерацию одного кадра.
Есть и общие минусы: из-за агрессивного повышения резкости (алгоритмами трансформера) в динамике гостинг стал заметнее вокруг голов персонажей на фоне сложной геометрии, вроде воды или листвы. Также MFG трех кадров еще больше увеличивает задержку ввода. Технология категорически противопоказана в киберспорте (и в целом соревновательных онлайн-играх) и все также требует высокого базового FPS (не менее 50–60 реальных кадров) для корректной и отзывчивой работы ИИ — эту проблему пока не побороли.
DLSS 5.0: от величия к нейрослопу и обратно
На конференции SIGGRAPH 2026 NVIDIA заявила, что DLSS 5 выйдет осенью эксклюзивно для RTX 50, и, мол, это самый значительный прорыв компании в области компьютерной графики с момента появления трассировки лучей в реальном времени в 2018 году. В ранних презентациях нам показывали работу на двух ускорителях, но финальным вариант должен запускаться на одном (если на RTX 5090, то элитарненько).
Сама NVIDIA называет DLSS 5 моделью нейронного рендеринга под управлением 3D-данных, а принцип работы строится на новой ИИ-технологии — RTX Neural Shaders, которая выполняется внутри шейдерных программ на тензорных ядрах.
Алгоритм берет за основу базовый низкополигональный рендер: движок игры передает нейросети точную, но упрощенную информацию о векторах движения пикселей, карты глубины и базовых цветах. Эта геометрия служит жестким каркасом, который удерживает ИИ от генерации лишних выдуманных объектов и деталей, а далее нейросеть дорисовывает поверх каркаса сложное освещение, реалистичные текстуры, глобальное освещение, тени и отражения. Получается управляемая ИИ-генерация, где 3D-данные ограничивают свободу нейросети для фантазий.
Владельцы даже мощных видеокарт серии RTX 40 остаются за бортом (по нынешним данным), так как старые тензорные ядра физически не способны обрабатывать нейросетевые шейдеры в реальном времени. Сама технология требует солидного объема быстрой видеопамяти VRAM, что автоматически делает полноценный DLSS 5 элитарной функцией для топовых ускорителей.
А теперь про нейрослоп (от английского AI slop — дословно «ИИ-помои» или «ИИ-шлак»).
Первый публичный показ DLSS 5 вызвал мощнейшую волну хейта, негодования и насмешек (в том числе из красного лагеря). Ролик на YouTube собрал рекордное количество дизлайков, а мемы, кажется, штампуют до сих пор.
Во-первых, NVIDIA показала работу технологии на примерах игр (включая кадры с персонажами), не предупредив разработчиков и художников заранее. Сотрудники узнали о партнерстве и демонстрации одновременно с публикой, что шокировало их. Решение сомнительное так как алгоритмы NVIDIA буквально уничтожают авторский стиль и ручную работу художников и дизайнеров.
Ремарка! Моё мнение здесь простое: менять лицо Леона из Resident Evil, кропотливо созданное руками спецов, которое и без того отлично детализировано (уникальные поры, морщины и шрамы) — странно. Менять же лица различных неинтерактивных NPC, массовки и т.д. (которые часто сгенерированы) — вполне себе способ подтянуть их до качества главных героев, если слегка настроить технологию. |
Во-вторых, технология была крайне сырой (работая при этом на двух GPU) — во время движения DLSS 5 могла разрушать целостность и постоянство изображения. Волосы на голове персонажей в Starfield хаотично меняли длину при поворотах камеры, у героев менялся разрез глаз, а мелкие детали одежды то появлялись, то исчезали. Также при отдалении камеры уменьшается количество настоящих пикселей на модель, что ухудшает точность ИИ-модели и ломает сцену.
Как по мне кризис-менеджмент NVIDIA отработал неплохо (хоть реакция запоздала, надо было объяснить сразу, что DLSS 5 можно будет гибко настроить) — к конференции SIGGRAPH инженеры полностью переработали подход. Теперь DLSS 5 предлагает разработчикам опции: три разные по интенсивности ИИ-модели и специальные маски, например, можно вообще запретить нейросети трогать лица персонажей и ключевые объекты, оставляя ИИ только обработку окружения, травы (не думаю, что стоит пытать художников рисовать листочки и букашек — вполне посильная задача для ИИ) и задних планов.
И то что NVIDIA показала недавно на конференции, выглядит очень и очень многообещающе. Даже если DLSS 5 повторит судьбу DLSS 1, то у меня нет сомнений, что NVIDIA доведёт технологию до ума через какое-то время. Хочется нам или нет, но мы стремительно летим в тотальную ИИ-генерацию, ибо Закон Мура больше не работает, а уменьшение транзисторов ограничено законами физики. Либо так, либо новый тип компьютеров, либо никак.
Игрульки в сторону — пора поработать
Да, DLSS ассоциируется с видеоиграми, но профильные спецы знают, что технология годится для профессиональных и творческих задачах. Ценность в неигровом сегменте всё та же — ускорение работы с тяжелыми 3D-сценами и улучшение качества изображения без апгрейда оборудования.
Архитектор быстрее проверяет варианты освещения. Дизайнер быстрее оценивает материал. VFX-художник (по визуальным эффектам) быстрее просматривает сцену. Инженер быстрее исследует цифровых двойников (про это у меня есть отличный лонгрид на Хабре). А разработчик сложного 3D-приложения может направить высвободившиеся вычислительные ресурсы на продвинутые симуляции.
Ремарка! Про разработку игр отдельно писать не буду, так что кратко тут: NVIDIA предоставляет официальный DLSS-плагин для Unreal Engine, поэтому разработчик может использовать Super Resolution, Ray Reconstruction и другие технологии DLSS в собственном проекте. Это позволяет строить не только игры, но и виртуальные студии, интерактивные презентации, симуляторы и сцены для кино. Насчет кино знают не все, но UE там активно используется. Например, сериал Мандалорец (The Mandalorian) — первопроходец и главный амбассадор технологии StageCraft от Industrial Light & Magic (ILM). Вместо зелёных экранов вокруг актеров устанавливали изогнутые LED-стены, на которых в реальном времени крутился трехмерный мир на движке Unreal Engine. |
Но, как грица, есть нюанс: DLSS не включится автоматически в любом профессиональном приложении с поддержкой NVIDIA RTX. Разработчик ПО должен интегрировать технологию в конкретную программу или движок. Поэтому наличие CUDA, OptiX, тензорных ядер или RTX-ускорения ещё не означает наличие DLSS.
Где же DLSS можно встретить?
3D-моделирование, архитектура и визуализация
Здесь DLSS особенно полезен в приложениях, которые позволяют рассматривать и редактировать сложную 3D-сцену в реальном времени. Архитектор или дизайнер может работать с огромной моделью здания, менять материалы, освещение и окружение и сразу видеть результат, не отправляя каждый вариант на длительный финальный рендер.
Отличный пример — D5 Render — это ПО для быстрой фотореалистичной 3D-визуализации (рендеринга) в реальном времени, который поддерживает DLSS и аппаратную трассировку лучей. Его можно использовать вместе с моделями из Revit, SketchUp, 3ds Max, Archicad, Blender, Rhino и других систем.
Здесь всё как в играх: сложный интерьер с десятками источников света, стеклянными поверхностями, зеркалами, металлическими материалами и тысячами объектов — задачка не из лёгких. DLSS же сильно экономит ресурсы.
Для архитекторов это важно не только в работе, но при презентации проекта заказчику. Вместо набора заранее отрендеренных картинок можно выдать VR-очки и вместе пройтись по будущему зданию или квартире, изменить цвет фасада, материал пола, интенсивность освещения или время суток и сразу показать результат.
Хороший пример — Chaos Vantage — программа для мгновенной визуализации масштабных 3D-сцен в реальном времени с полноценной трассировкой лучей. Программу создала компания Chaos — разработчик знаменитого рендерера V-Ray. Vantage позволяет архитекторам и дизайнерам мгновенно открывать тяжелые рабочие сцены без долгого процесса запекания света или конвертации геометрии.
Программа тоже использует DLSS для ускорения рендеринга тяжелых сцен в реальном времени. К слову, Vantage стал самым первым в мире неигровым приложением, внедрившим технологию DLSS 3.5 с функцией Ray Reconstruction.
NVIDIA Omniverse: цифровые двойники и промышленность
NVIDIA Omniverse — это открытая платформа для совместной работы над 3D-графикой и создания цифровых двойников в реальном времени. Это что-то вроде Google Docs в мире 3D-дизайнеров и инженеров.
Главная идея Omniverse — совместная работа. В одной сцене могут одновременно работать несколько специалистов, причём каждый использует привычный ему софт. Один меняет геометрию в Blender, другой настраивает материалы, третий работает с анимацией, а четвёртый проверяет сцену в Unreal Engine. Вместо постоянного экспорта файлов и ручного сведения результатов изменения синхронизируются через общую сцену.
Для этого Omniverse использует OpenUSD (Universal Scene Description) — открытый формат описания сложных 3D-сцен, разработанный студией Pixar. В нём можно хранить не только геометрию, но и материалы, освещение, камеры, анимацию и связи между объектами. Получается что-то вроде API, через который разные программы могут обмениваться структурированными сценами.
Платформа использует физические движки и RTX-рендеринг, поэтому в сцене можно учитывать реальные свойства материалов, освещение, физическое поведение объектов и взаимодействие между ними. Это превращает 3D-модель из статичной картинки в виртуальную среду, в которой можно что-то проверять.
Допустим, производитель строит новый завод. Вместо того чтобы сначала установить роботов и конвейеры в реальном цехе, а потом выяснять, не сталкивается ли манипулятор с соседним оборудованием, можно создать виртуальную копию производства. В ней инженеры могут заранее проверить расположение оборудования, маршруты автономных роботов, работу конвейеров и различные аварийные сценарии. Если виртуальный робот в цифровом двойнике регулярно врезается в колонну, то можно переставить колонну в виртуальной модели и проверить, не помешает ли она другому (а потом сделать это всё в реальном физическом цехе).
Это и есть цифровой двойник завода, который может быть исполинским — десятки зданий, тысячи объектов, сложные материалы, освещение и физические симуляции. Рендерить такую сцену в высоком качестве в реальном времени крайне затратно. DLSS, встроенный в Omniverse, сильно экономит ресурсы, а также реконструирует лучи (Ray Reconstruction) и убирает артефакты при предварительном просмотре. Инженеры могут быстрее перемещаться по цифровому двойнику и рассматривать оборудование в реальном времени с тем же качеством визуализации (или направлять высвободившиеся ресурсы по своему усмотрению).
Кстати, RTX Remix — бесплатный инструмент для ремастеринга классических игр — создан на базе Omniverse. Он позволяет мододелам внедрять в старые проекты полноценную трассировку лучей и DLSS.
Вместо выводов
Спасибо, что пролистали прочитали статью до конца, друзья! Материал вышел огромным, так что не буду мучить вас долгими выводами. О том, как апскейл может проникать в нашу жизнь пофантазируем во второй части — в лонгриде про FSR.
P.S. Если увижу интерес к статье, то и про XeSS от Intel напишу, чего уж там :)
