Activision представила новую технологию рендеринга фотореалистичных персонажей

    На крупнейшей конференции разработчиков игр GDC 2013, которая проходит в эти дни в Сан-Франциско, компания Activision представила новое поколение технологий рендеринга игровых персонажей в реальном времени. К сожалению, пока не опубликовано никаких технических подробностей о том, как происходит рендеринг, но на Youtube выложен ролик с демонстрацией технологии. Это пугающе реалистичное лицо рендерится в реальном времени на современном игровом железе:



    Ещё несколько скриншотов есть в блоге Хорхе Хименеса — одного из ключевых разработчиков технологии.

    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 89

      +11
      Когда смотрел ролик складывалось впечатление, что у персонажа брикеты на зубах, но он их умело скрывает :)
        +1
        <zanuda_mod>брекеты?</zanuda_mod>
          0
          да, спасибо за поправку. :)
          +16
          Такие?

            +1
            и такие тоже :)
          +33
          Ждем технологию фотореалистичных зубов у персонажей.
            +4
            Да, мне, как чайнику в 3Д-анимации, категорически не понятно, почему у парня при столь впечатляющей морде так убого сделаны зубы. Что там такого сложного то, на фоне остальной работы? Они ж не двигаются и не морщатся.
              0
              Представил себе двигающиеся и сморщивающиеся зубы :)
              +5
              И волосы, мне кажется он неспроста лысенький.
              +12
              Фантастика! Ещё немного, и виртуальные политики из Generation П смогут найти свое воплощение в реальной жизни уже в прямом эфире!
                +27
                Ещё немного, и порноактрисы будут не нужны!
                  +6
                  Зато можно играть в «живое — неживое»!
                    +11
                    Кто-то уже пытается.
                      +9
                      Прочитал статью, и хочу сказать, что смотрел все упомянутые фильмы, кроме «Пи» (но трейлер которого затер до дыр), и во всех, кроме «Социальной сети» я спокойно видел CGI и мало того, он мне кажется дико халтурным после первых двух «Матриц», с поправкой на время. В «Пи» неестественно всё — и вода, и тигр, и сам настоящий главный герой с лодкой, ибо наложен на фон неба и моря как-то криво.
                      Сложно это описать. Вот в «Острове проклятых» похожая ситуация. Смотрел фильм в кинотеатре, и сзади, где проектор, доносился звук как от старого пленочного проигрывателя. Я подумал «Ого! Видимо, для Скорсезе это какой-то особенный проект, и он решил усилить immersive-ощущение, избавляя нас от эффекта „четвертой стены“! Когда начался фильм, было отчетливо видно, как криво вставлен корабль с Лео и его напарником на фоне моря, а потом этот эффект был особенно заметен в сцене у маяка — но тогда я подумал, что это сделано специально, и режиссер над нами шутит таким образом, создавая видимость, что мы в 50-х. То же относится к сцене с подрывом автомобиля.

                      Но после разбора „Жизни Пи“, я начал сомневаться, это эффект такой для создания неестественности, или скилл у VFX-компаний резко упал, и они стали делать откровенную халтуру! (см. Тор, вступительная сцена с Асгардом, которая выглядит как трехмерный мультик, или трейлер ЖЧ3, где разнос дома Старка в щепки выглядит так же неестественно).

                      Когда я посмотрел мультфильм „Final Fantasy: The Spirits Within“, то поразился — в 2000 году им удалось сделать более реалистичные сцены несмотря на куда меньший объем вычислительных ресурсов! Тем, кто не видел, срочно ознакомиться, несмотря на использование motion capture, большая часть была анимирована вручную!
                      www.youtube.com/watch?v=cOlZaCFBYw0
                      www.youtube.com/watch?v=xj2V_x1Qg20

                      К слову, хорошие художники решают больше, чем хорошие специалисты по эффектам. Благодаря грамотному свету, материалам, ракурсам можно увеличить градус реализма раз в 10.
                        0
                        В The Spirits Within всё трехмерное, поэтому нет контраста между реальными и искусственными объектами. Опять же, нет наложения разных сцен, когда фон снимают отдельно, а персонажей отдельно и потом собирают.
                          0
                          О да, Spirits within — мой идеал позднего детства! Один только трейлер я смотрел раз 100, а потом поехал к брату на другой конец города, и записал полную версию на болванку.

                          А в матрице, как ни странно, все, что можно было снять вживую — снимали вживую. Даже огонь от падения лифта после сцены в фойе — настоящий, только перевернутый, а я лет 10 думал что CG.
                            +2
                            Видели эту рекламу? youtube.com/watch?v=SFw8NjZF-Qk
                              0
                              Да ничего там сложного нет.
                              Хороший композ.
                                0
                                Скажите, что конкретно вы подразумеваете под композитингом данном случае? Насколько я понял, вы считаете, что это совмещение старых видеозаписей с новыми?
                                  0
                                  Я подразумеваю что конечно же там были: моделинг, ригинг, анимация, трекинг, шайдинг, лайтинг и рендер.

                                  НО! Чтобы правильно «наложить» рендер Одри поверх актрисы это надо закомпозить (скомпозить). Деревянность( пластмассовость если хотите) 3Д рендеров выражается в отсутствии мимических движений, складочек, еле заментых глазу, но отлично воспринимаемыми человеком.
                                  Дело в том, что если вы повысиоте количество полигонов — то у вас рендер увеличится в разы, а я знаю- у каждого проекта есть финансовый рассчет — сколько процессоров вообще есть. И опятьже повышение количества полигонов, не факт что даст улучшение качества. Даже если мы пойдем другим путем и будем работать через рендер дисплайсы — всераво, есть ограничения. Ненарендерите вы деталек в 1пиксель. Теблоее не получите деталей, если будете рендерить в 4К, после того как вы уменьшите изображение в 2К — после фильтрации вы потеряете процент деталей что был в 4К, а еще в добавок получите артефакты, да и прирост качества будет невелик, но рендер будет идти дольше. Вот композно, дополнительными деформациями и трекерами и притягиваем кожу на место, добавляем складочек и пор и прочих деталек.
                                    0
                                    вот здесь Фраймстор написали как они делали эту рекламу.
                                    www.framestore.com/work/galaxy-chauffeur

                                    Про композ там ничего отдельно не говорится.

                                      0
                                      > www.framestore.com/work/galaxy-chauffeur
                                      Читал.

                                      > Да ничего там сложного нет.
                                      > Я подразумеваю что конечно же там были: моделинг, ригинг, анимация, трекинг, шайдинг, лайтинг и рендер.
                                      В общем, ваше мнение сводится к тому, что в данном конкретном случае все эти элементы выполнены на самом что ни на есть обычном уровне?
                                        0
                                        На обычном уровне да. Для Фраймстора это обычный уровень. Цимус проекта на мой взгляд, в супердетализации, скане мускул, технологически Арнольд рендер — там надо моделить все, он на рендере не дисплейсит. Мне как специалисту всеравно видно где CG a где снятый план.
                                          0
                                          > Мне как специалисту всеравно видно где CG a где снятый план.
                                          Чтобы распознать такого рода обман не требуется быть специалистом по CG, достаточно быть человеком (движение головы от окна, характер некоторых морганий, etc.) Однако…

                                          > На обычном уровне да.
                                          … даже среди обычных человеков всё меньше людей может этот обман заметить. В Троне например было гораздо сильнее заметно, чем здесь, поэтому уровень данного конкретного ролика я бы к обычным относить не стал. Серьёзный шаг за долину, я считаю.
                          +2
                          Я боюсь, что создание CGI обоидется в разы дороже, чем оплата конвеерным порно дивам))
                            +2
                            Скачал модель с торрентов, загнул, как надо, и хай рендерится в реальном времени!
                              +4
                              Alice_Selezneva.zip
                                +3
                                Sasha_Grey_Ultimate_collection.zip 965 GiB
                            +1
                            Судя по лысой модели, волосы пока сложно фотографично моделировать. Вряд ли вас лысые актрисы заинтересуют.
                              0
                              Тут, скорее всего, хотели акцентировать внимание именно на моделирование лица, мимики, реалистичности всего этого.
                                +3
                                Парень на спор делал рендер любимой актрисы по фотографии — тыц

                                Вот результат:
                                тыц
                                  +3
                                  Одно дело — статичная модель без ограничений на полигоны и тому подобное, а другое — реалистичная модель с анимацией, которая при этом могла бы на современном железе обрабатываться в реальном времени.
                                  На физику волос можно посмотреть в новой Tomb Rider — сложно сказать, что прямо уж реалистично, но производительность заметно при этом проседает. Так что тут все упирается в ресурсы.
                                  Так-то фотореалистичные или близкие к ним модели давно уже делают.
                                    +1
                                    Ну чем реалистичнее получается статическая картинка за какое-то время — тем реалистичнее можно получить динамическую — вполне логично что качество статической картинки говорит о том что за приемлемое время можно получить при помощи современного железа и разных алгоритмов такую картинку.
                                  –1
                                  на одни волосы придется порядка миллиона полигонов, учитывая их подвижность, как-то сомнительно что будет так просто отрендерить и лицо и волосы в реальном времени на стороне пользователя.
                                    0
                                    TressFX
                                    Последняя Лара Крофт
                                    Вполне ок.
                              +3
                              Этого мужичка использовала NVIDIA для своей презентации (там рассказывается чуть более подробно) — кому интересно: youtu.be/5d1ZOYU4gpo?t=8m40s
                                0
                                Может nVidia просто поддерживает эту технологию :)
                                ЗЫ: сейчас с Пашей на эту тему спорим )
                                +11
                                Могли бы красивую девушку смоделить для демки, а не лысого мужика. Им надо поучиться у организаторов всяких выставок)
                                И кстати, не потому ли он лысый, что волосы они пока не могут реалистично рендерить в реалтайме?
                                  +1
                                  Вы в Томбрайдер не играли последний? Вполне нормальные такие волосинки :).
                                  Правда видеокарты не особо справляются…
                                    +3
                                    TressFX — технологи ATI и на Radeon производительность вполне вменяемая. А вот при включении этой опции на nVidia, FPS проседает в 2-3 раза. Ситуация, в общем, как с physX.
                                      0
                                      Фиг знает, я на своей 6790 в 800 на 600 играю :), хоть как-то терпимо.
                                      Думаю как прицепить старую 6670 к ней чтобы ускорить…
                                  +1
                                  Смотря на все новые методы и технологии рендера я всегда замечаю, что от реальных людей их отличают глаза, всегда что-то не так с глазами.
                                    +13
                                    Мы всегда подсознательно отслеживаем направление взгляда собеседника, чтобы знать, на что направлено его внимание. Так как зрение — основной канал восприятия информации, мы в какой-то степени читаем его мысли. Это очень важно для выживания, поэтому наша чувствительность к микродвижениям глаз так велика. У живого человека глаза непрерывно сканируют объекты окружающего мира, а у этой морды на видео — нет.

                                    P.S. А ещё у него зрачки на свет не реагируют.
                                      +6
                                      Вероятно, у моделей нет механики поведения зрачка.
                                      Глазное яблоко представлено в виде статического компонента, пускай и очень красивого и реалистичного. Я думаю, здесь дело за малым, и со временем взгляд компьютерной модели сможет быть осмысленным, словно у живого человека.

                                      Тем более, да. Глаз находится всё время в движении, и когда замирает, наблюдатель воспринимает его, словно «мёртвый».
                                        0
                                        Там все движения ломанные, будто бы он задумывается над каждым движением каждого мускула.
                                          0
                                          Да, более того нужно микромимика вокруг глаз, т.к. когда зрачок сужается мы автоматически сужаем веки и т.п. и т.д.
                                            0
                                            Да наверное это все решаемо.
                                            Вот например основываясь на этом M.I.T. Computer Program Reveals Invisible Motion in Video можно предположить следующее: сделать библиотеку векторов движения (Motion vectors) и применить их на модель как дополнительные анимации. Или, сделав анализ, создать правила деформаций.

                                            Я работаю в VFX, делаю композитинг, так вот наша основная задача — сделать все реалистично выглядящим. Как этого добиться? Повышением детализации, но я говорю не о пикселях, а о деталях в изображении — это и морщинки у глаз, складки кожи, синяки под глазами, воздушая перспектива, световые и оптические эффекты.
                                        +1
                                        Я помню как-то увидел один из первых Tomb Raider… Вот это была картинка! И с каждым годом в игрушках появлялась графа всё круче и круче, а старая казалась всё более убогой. Инересно, сколько лет мы будем считать это крутой (фотореалистичной) графикой?
                                          0
                                          0 лет. Если отвлечься от Лары Крофт, то не такое уж оно и фотореалистичное, но в сравнении с тем, что было в начале это фантастика, но до фотореализма ещё огромный путь остался.
                                          0
                                          Просто поражающее качество, но мне сложно представить, какие мощности нужны для игры, которая будет в реальном времени рендерить 3-4 лица одновременно…
                                            +1
                                            На одно это лицо уходит примерно 2 терафлопа вычислений (если верить ссылке в комменте выше на демо от nvidia). Так-что до прихода 3-4х подобных лиц в мейнстрим игры придется немного подождать :)
                                              0
                                              Думаю киноиндустрия очень заинтересуется. В терминаторе 4 сцена с молодым Шварценнеггером была очень короткой. Теперь в пятом терминаторе можно будет сделать подлиннее. Правда насчет терминатора, я сомневаюсь, права на фильм купил хеджфонт, который ранее в съемках фильма не участвовал, так что момент молодого шварца под вопросом.
                                                +3
                                                Киноиндустрия уже давно рендерит лица так, что вы даже не замечаете, например, в фильме Социальная сеть лицо одного из близнецов отрендерено с лица актера, исполнявшего второго, кто более настоящий сказать невозможно.
                                                  +1
                                                  Комбинированные съёмки обошлись бы им дешевле.
                                                • UFO just landed and posted this here
                                                  0
                                                  Крупным планом лица видны только во время роликов, а «в жизни» достаточно использовать немного упрощенные модели: без морщинок и микромимики.

                                                  В любом случае, если судить по подобным демкам, складывается впечатление, что производители игр не используют и того, что есть, на полную мощность. Вполне возможно, что именно из-за нагрузки на процессор. А еще более возможно, что просто слишком дорого этим заниматься.
                                                  –9
                                                  Хорошая текстурка просто и освещение.
                                                    0
                                                    На мой взгляд, одни только мимические морщины, которые то и дело проявляются и разглаживаются, это уже больше, чем просто «текстурка», даже привычное hi-poly такое не всегда потянет без художника, тем более в риалтайме.
                                                      –4
                                                      Такое видел еще год назад на каких-то видео в интернете. Здесь ничего принципиально нового нет.
                                                        0
                                                        Принципиальность тут в Realtime
                                                  0
                                                  Ну реально, Реально!
                                                    0
                                                    Верю. (с) Станиславский
                                                    +3
                                                    По-моему, этот лысый чувачок почти перебрался через Uncanny valley.
                                                      0
                                                      Audrey Hepburn перебралась…
                                                      Хотя в некоторые моменты все равно что-то не так…
                                                        +1
                                                        Как понимаю, имеете ввиду эту рекламу:
                                                        www.youtube.com/watch?v=gx9eDoS76LM
                                                        По мне так — все равно видно, что подделка, хоть и хорошо сделанная. И парня-водителя, по-моему, искусственно сделали немного «кукольным», чтобы разница между живым актером и Одри-заменителем казалась меньше.
                                                          0
                                                          Одри Хепберн и в жизни была довольно мультяшной. А мультики — по ту сторону долины.
                                                        0
                                                        До чего жуткая харя. Получился похож на маньяка-убийцу из ужастиков. Типа совсем без крыши товарищ.
                                                          0
                                                          Фантомас :-) разве что не зелёный.
                                                          +1
                                                          Отлично, Activision! Теперь твои рельсовые шутеры станут еще более рельсовыми, чтобы бюджета хватило на новый уровень графики)
                                                            0
                                                            Знатоки, скажите, а кожа у него мелованная потомучто без SSS или просто освещение такое?
                                                              0
                                                              По-моемy SSS там в полный рост присутствует. И видимо не только он, я очень плохо представляю, как они смогли добиться таких результатов на таком lowpoly. До того, как они показали wireframe, я был уверен, что там на несколько порядком больше геометрии. Видимо там какие-то динамические текстуры и куча шейдеров.
                                                                0
                                                                Да, я поторопился с выводами.
                                                                В HD на полный экран видно sss.

                                                                А полигональная модель явно не та, которая рендерится.
                                                                Какой-то промежуточный уровень детализации чтобы только показать, что это таки mesh.
                                                                Ну и явно не та, которая моделирует физику кожи (а я сильно сомневаюсь, что упругость кожи делалась дизайнерами).

                                                                Морщинки в углу глаз гораздо детальнее показанных полигонов, и сделаны явно не через bumpmapping — их специально показали под острым углом освещения.
                                                                  0
                                                                  Кроме bumpmapping есть куча очень продвинутых щейдеров, которые умеют генерировать сложные картинки на базе очень простой геометрии. Думаю тут тоже что-то в этом роде происходит, не думаю, что они специально обманывают с сеткой, которую они показали.
                                                                    0
                                                                    Вобще-то в видео есть несколько уровней детализации.
                                                                    Самая низкополигональная появляется на секунду в 1:52-1:53.
                                                                    Скорее всего, эта та, по которой модель и дизайнилась вручную, квадами, со стрипами удобными для програмимрования мимики.
                                                                    В остальное время показывают subdivision 1 и 2 уровня (1:4 по треугольникам).
                                                                    Остальные уровни нам просто не показали.

                                                                    А какие такие продвинутые шейдеры бывают, чтобы сделать морщины на коже без повышения уровня тесселяции?
                                                                      0
                                                                      Конкретно насчет морщин не знаю, но например есть такое, когда целое здание с внутренними помещениями рендерится шейдером из одного куба.
                                                                        0
                                                                        Морщины можно сделать блендингом карт нормалей или вообще их процедурной генерацией:
                                                                        — В документации CryEngine 3 есть намеки на что-то подобное sdk.crydev.net/display/SDKDOC21/HumanSkin+Shader
                                                                        — Вот пейпер о процедурной генерации карт нормалей в реальном времени wscg.zcu.cz/wscg2008/papers_2008/short/b71-full.pdf Методов полно, здесь явно тоже самое. Довольно глупо было бы тратить столько полигонов на одни морщины.

                                                                        Доказательство можно видеть на 1:29 — если смотреть направо, на дальний глаз, то отчетливо видно две вещи:
                                                                        1. Геометрия довольно проста, проглядываются грани полигонов.
                                                                        2. Морщины под глазами сделаны не геометрией. Похоже на normal mapping, а может чего по-интереснее реализовали. Но что это не геометрия это видно явно.
                                                                          0
                                                                          На другом видео, вот тут: youtu.be/5d1ZOYU4gpo?t=9m3s видно, что складки и прыщики отбрасывают тень под острым углом освещения.
                                                                            0
                                                                            Это видео никак не относится к сабжу. Разные технологии, показанные с использованием одних и тех же ассетов, что 3д графике, вообще, обычное дело.
                                                                              0
                                                                              Ну да. Таже морда, другие технологии. На ютюбе приписка.

                                                                              В описании на ютюбе упоминаются normal and displacement composite maps, а в описании публикации Хименеса на эту тему bump/normal textures. Тоесть используется и то и другое.

                                                                              Секрет откроется только за $57.98
                                                                0
                                                                Забавно, конечно. Правда, действительно, после тигра в «жизнь пи» уже мало чего может удивить. Вон, у мужика явно что-то не то с нервами: бровь явно дергается. Невроз?
                                                                  0
                                                                  Реалистичные люди — это то, чего мне не хватает в современных компьютерных играх. Всё остальное научились изображать приемлемо: пейзажи, танки, всякие предметы. А люди пока что буратины.
                                                                    –1
                                                                    новое поколение технологий рендеринга игровых персонажей
                                                                    Это НЕ игровой персонаж. Это только лицо персонажа. Персонаж — это еще и тело. А для него необходимы реалистичные алгоритмы рендеринга как минимум тканей.

                                                                    на современном игровом железе
                                                                    На современном топовом игровом железе. А если точнее, то демо рендерилось на NVidia Titan за 1000 $.
                                                                    Для рендеринга этой головы необходимы мощности в 2 ТФ. Мощности карты — под 4 ТФ. Что-то не хватает для того, что бы на таких технологиях сделать игру. Еще лет 7-10 надо подождать — с учетом жизненного цикла консолей.
                                                                      +1
                                                                      В блоге автора написано, что рендерилось это на GTX680 при 180 fps. Не надо путать с недавним демо Nvidia, которой как раз крутилось на титане и, честно говоря, выглядит хуже.
                                                                      Судя по такой производительности и сетке головы, это самый что ни на есть игровой персонаж и консоли следующего поколения вполне к этому готовы.
                                                                        0
                                                                        да здравствует вечный Малахов
                                                                        • UFO just landed and posted this here
                                                                            +2
                                                                            Моргание выдаёт. Ну не могут реалистично смоделировать такую, казалось бы, мелочь.
                                                                              +1
                                                                              > Это пугающе реалистичное лицо

                                                                              Да ну нах, у человека атрофия лицевых мышц и глаза изменяющие положение за одну пикосекунду
                                                                                –1
                                                                                а это не тот ли Activision, что сотворил Contra
                                                                                image
                                                                                ?
                                                                                Если да, то они вообще молодцы! Столько лет на рынке, да еще и нововведения такие!

                                                                                Only users with full accounts can post comments. Log in, please.