06 — DreamWorks и HP: создание «Семейки Крудс»

    Четыре города. Восемьдесят миллионов рендер-часов. Многочисленные рабочие станции, мощнейшие блейд-серверы, лучшие специалисты в области анимации и компьютерной графики, сетевая архитектура HP FlexNetwork, 2166 копий в России и лучший в истории старт мультфильма в прокате на территории нашей страны. О чем идёт речь? О Мультфильме «Семейка Крудс» студии DreamWorks Animation, в создании которого HP принимали самое что ни на есть прямое участие.




    Техника и технология


    Производство современной компьютерной графики занимает поистине огромное количество вычислительных модулей,  с ужасающей скоростью потребляет киловатты электроэнергии, гоняет по сетям трафик в десятки гигабит. В каждом кадре — многие миллионы треугольников-полигонов, образующих модели персонажей, ландшафт, объекты и всё-всё-всё, что вы видите. За создание спецэффектов отвечают сложнейшие программы-шейдеры, воссоздающие ультрареалистичные воду, огонь и пыль. Создание пяти минут видеоматериала занимает многие недели кропотливого труда, и, несмотря на прогресс в области как алгоритмов, так и прикладного софта, всё упирается в вычислительную мощь компьютеров, пропускную способность сетей и безжалостно тикающее время.

    Как 90 минут мультфильма, умещающихся в восемьдесят миллионов рендер-часов, вместились в несколько лет разработки? Первые наброски, рабочие рисунки, раскадровка, идея и персонажи появились ещё в 2005 году. В начале 2007 DreamWorks приступили к проработке идеи, переработали сценарий и персонажей, вдохнули в проект новую жизнь, а работа непосредственно над графикой началась в уже в 2009 году. Разработка моделей, текстур, сцен, спецэффектов и прочих материалов заняла несколько лет, финальный рендеринг, сборка фильма и монтаж проводились в 2011 и 2012 году.

    Компания DreamWorks много лет сотрудничает с HP в области программных и аппаратных решений для достижения самых высоких результатов в области производительности, и этот мультфильм не стал исключением.

    Модели, анимация и спецэффекты


    Основной «рабочей лошадкой» художников, аниматоров, специалистов по спецэффектам и монтажу стали рабочие станции Z820.



    Два серверных Xeon’a, до 512 ГБ оперативной памяти, многослойный бутерброд из профессиональных видеоадаптеров, скоростные дисковые подсистемы, надёжная система охлаждения — всё для работы с суперсложными сценами в интерактивной среде.



    Озвучивание и аудиоэффекты


    Работа со звуком осуществлялась на HP Z800 — проверенной временем рабочей станции, оснащённой эффективной и бесшумной системой охлаждения.



    Некоторые звуки рождаются очень просто, некоторые — в результате сложного и кропотливого труда, а создание трёхмерной звуковой сцены, которая будет учитывать то, что происходит не только на экране, но и за ним, со всех сторон, со всеми препятствиями, моделью окружения и геометрией пространства, его материалами и их свойствами в области отражения и поглощения звуковых волн — задача не менее сложная, чем создание реалистично выглядящих шерсти, волос и кожи. Профессионалы в области звука и спецэффектов трудились в поте лица, и сейчас вы слышите рёв доисторического зверя, шелест листвы, шум воды и огня так, словно они действительно существуют и находятся рядом с вами, ну а помогли им в этом наши рабочие станции.



    4 города — одна компания


    Сложно представить офис, который вместил бы всех сотрудников DreamWork Animation и предоставил им возможность работать над одним проектом в пределах одного помещения. Художники и аниматоры расположены не просто в четырёх разных зданиях, а в четырёх разных городах: Глендейле, Редвуд Сити, Лас-Вегасе и Бангалоре. Работать над одним проектом на таких больших расстояниях — непростно, а работать одновременно, в реальном времени, над одной сценой, одним персонажем и одним кадром кажется вообще задачей за гранью реального. Но задача — реальна, а самое главное, её решение точно так же реально, как и сама потребность в подобной технологии.

    HP Remote Graphics Software объединило три города в США и один в Индии в одну эффективную рабочую среду, обеспечив людей всем необходимым для совместного труда и творчества.



    Потрясающая сетевая технология, позволяющая «присутствовать» за другим компьютером, находясь за сотни и тысячи километров от него — реальность, а мощные сетевые технологии компании HP позволили добиться минимальных задержек в передаче видеосигнала и обратной связи.

    Сетевые технологии и HP FlexNetwork


    Стабильность и бесперебойная работа сети под высочайшей нагрузкой обеспечивалась архитектурой HP FlexNetwork (о ней ещё будет отдельный материал чуть позже). Работа с удалёнными сотрудниками, масштабируемость, передача HD-видеоконтента в реальном времени, возможность работать с технологией HP Remote Graphics Software на таком сложном и высоконагруженном проекте — заслуга этой интересной технологии и аппаратных комплексов HP, которые создают тот самый «низкий уровень», обеспечивающий передачу данных и контроль трафика.



    HP Intelligent Resilient Framework (HP IRF) — технология, которая творит чудеса на ровном месте. Она сочетает в себе гибкую виртуализацию серверных технологий, управление маршрутами трафика, избавление от лишних сущностей и простаивающих мощностей, распределение нагрузок и вычислительных мощностей, масштабируемость сетевых решений и, самое главное, использование известных и открытых технологий в качестве основы. В итоге — конвергентная, простая, прозрачная сеть с минимумом потерь и максимумом эффективности, лёгкая в управлении и  возможность лёгкого расширения имеющихся решений.

    На аппаратном уровне сетевая инфраструктура и HP IRF поддерживалась свичами HP 12518, 5820, 5800 и 6125G/XG.

    Серверы и рендер-фермы


    Самое вкусное железо! В качестве рендер-серверов в DreamWorks использовались наши Блейд-системы восьмого поколения, HP ProLiant BL460c Gen8.



    Два восьмиядерных процессора, 16 слотов под оперативную память, 10 Гигабитный сетевой контроллер, поддерживающий HP FlexFabric (одну из составных частей FlexNetwork) — впечатляющая мощь, а в одной «стойке» таких малышей может быть не один десяток.

    Именно они позволили вместить внушительных 80 миллионов рендер-часов в год работы, распараллелив между собой выполнение задач по отрисовке каждого кадра.

    Цвет, дисплеи и печать


    В процессе работы над подобными проектами неизбежно приходится пользоваться помощью принтеров, сканеров и копиров. Раскадровка, нарисованная от руки, эскизы сцен, персонажей, предметов, элементов, пейзажей и просто сцен — всё это проще держать на стене перед собой, а не в голове или на компьютере. Отвёл взгляд от монитора — посмотрел интересующую тебя иллюстрацию — продолжил работать. Никаких альттабов или поисков материавло в сетевых папках.

    В качестве дисплеев использовались продукты из профессиональной линейки HP DreamColor. Одним из самых популярных решений стал монитор HP LP2480zx.



    24 дюйма, 1920х1080, H-IPS-матрица и заводская калибровка цветов каждого экземпляра для наиболее полного и однообразного раскрытия цветового пространства. Казалось бы, ничего впечатляющего, однако LP2480zx — не обычный монитор. Он содежит RGB-подсветку на светодиодах, обеспечивающую максимально точный контроль «белой точки» дисплея, пять основных преднастроенных профилей (sRGB, Adobe RGB, Rec. 601 (стандартная калибровка для аналогового ТВ) и Rec. 709 (стандартная калибровка для HDTV) и особое цветовое пространство для стандартных цветов, разработанное DreamWorks). Кроме того, имеется полная поддержка специализированного софта и работы с колориметром, поддержка десятибитного цветового пространства, работа с 200Гц источником сигнала. HP DreamColor LP2480zx заслуженно считается одним из лучших профессиональных дисплеев, а наш софт позволяет держать десятки и даже сотни подобных мониторов в идеальном соответствии между собой по отображемым цветам, яркости и контрастности.

    Хранение данных


    Исходники подобного мультфильма могут занимать многие сотни и тысячи террабайт, и подобную информацию надо хранить максимально надёжно. Потеря нескольких моделей, готовых сцен или фрагментов может стоить много времени и средств. Для обеспечения надёжного хранения результатов кропотливого труда использовались наши лучшие решения: HP 3PAR StoreServ. Про эту СХД мы уже писали в прошлом году, но, кроме неё, есть ещё ряд продуктов и технологий, которые хочется упомнянуть.



    Это массив жестких дисков HP MSA P2000 и наши универсальные системы по хранению и резервному копированию данных  HP StoreAll Storage и HP StoreOnce Backup. Эффективные, быстрые и надёжные, они обеспечили хранение готовых материалов, удобную работу по монтажу и гибкость в работе с резервными копиями.

    Итоги


    Как видите, оборудование HP использовалось на всех этапах и во всех возможных аспектах создания мультфильма. От работы над самими персонажами до анимации и спецэффектов. От отрисовки готовых кадров до конечного монтажа. От записи звука до создания сложнейших звуковых сцен с учётом окружения и графической сцены. От вывода картинки на экраны до хранения всех частей работы на всём продолжении жизненного цикла продукта. Множество сложнейших технологий обеспечили простую и эффективную работу профессионалам в их нелёгком деле: вместить восемьдесят миллионов часов в несколько лет, и получить на выходе девяносто минут готового фильма.

    UPD от 22 Апр 2012: Мы запустили спец-проект на Хабре, о котором рассказывали в нулевом посте этого сезона. Он находится по адресу: habrahabr.ru/special/hp/commercial и там много интересной информации, обещанная нами форма обратной связи, а также тест на знания в области виртуализации. Ждем вас и ваших вопросов!
    Hewlett Packard Enterprise
    97,00
    Компания
    Поделиться публикацией

    Комментарии 52

      +65
      Не могу не повесить эту картинку:

      Pixar vs Dreamworks

      Ну и, собственно, Крудс, не animals, конечно, но это дебиловатое выражение морды лица и тут есть:
      Кадр из Крудс. С рожами.
        0
        А фотка со скрином весьма подтверждает эту гипотезу.
        +21
        Значит все-таки не только порно движет технологии!
          –8
          Увидел рабочую станцию, вздрачнул всплакнул…
            +12
            Всё равно новый крайзис не потянет.
            0
            А что за приложение на дисплее?
            Видно, что убунту запущена. Блендер?

              +1
              не ubuntu, а redhat
                0
                да невнимательно посмотрел, нету бубна)
                +2
                Там 5 отдельных окон видно, 3 из которых точно не Blender.
                  +1
                  из них ни одно не блендер. Это спмописное что-то скорее всего
                  +1
                  Я практически уверен, что там Maya. Это стандарт в индустрии и действительно крутой профессиональный продукт.
                    –5
                    Не стандарт.
                      +2
                      Не стандарт.
                      +1
                      Maya?
                        +2
                        Вот что нагуглил:
                        Пре-визуализация (наброски) — Maya
                        Анимация — in-house пакет Emo, находящийся в разработке уже более 20 лет.

                        В общем процентов 90 софта, который используют уже после стадии набросков — свой.
                      –13
                      Всё хорошо, только цены вот совсем уж неадекватные, монитор HP LP2480zx средняя цена на маркете 90 т.р. за эти деньги можно купить два аналогичных от DELL
                        +7
                        Покажите мне Dell с десятибитной матрицей и 200ГЦ развёрткой?
                          –19
                          Для большинства здесь присутствующих, десятибитная матрица и 200Гц развертка не более чем маркетинговая уловка, а если нет разницы то зачем платить больше?
                          А вот минусы ставить нехорошо.
                            +7
                            Прошло меньше трёх недель, как вы здесь зарегистрировались. За это время вы написали шесть комментариев, из которых два — в этом топике, зато уже учите целое комьюнити, которое существует не один год, как жить и что делать. Вам не кажется это наивным?
                              –5
                              Может вместо того чтобы сидеть на Хабре он годами пахал в Индустрии?
                              Но речь не об этом, у меня другой вопрос: почему монитор 24, а не 27 или 30 дюймов и всего лишь 1920х1080? Разве при таких масштабных картинках хвататает такого размера? Разрешение в кинотеатре вроде как больше чем FullHD, да и соотношение сторон другое.
                              Еще удивил рендер на CPU, вместо GPU.
                                +3
                                Сомневаюсь, что он пахал в Индустрии, иначе бы такой чуши не наморозил. А по поводу разрешения — видимо, так проще сделать стабильные по качеству, цветопередаче и настройкам модели. А 27 и 30-дюймовки есть, но там нет управляемой подсветки матрицы, которая позволяет добиться идеальной подстройки цветовой модели.
                                  +1
                                  Если рабочая станция и монитор для сотрудника, который создает модели, текстуры или анимацию — этого вполне достаточно. Даже наоборот, для кропотливой работы над деталями большой монитор хуже — он отвлекает глаз, да еще и сложно найти нужную менюшку, т.к. интерфейс как правило, более мелкий и раскидывается по всему рабочему пространству. Поэтому моделеры чаще используют два обычных монитора — это удобнее чем один большой, меньше взгляд распыляется, меньше информационного шума на одном экране. Вьюпорт с видом из камеры остается на одном мониторе, а на другом все менюшки, интерфейс, редактор материалов и вспомогательные проекции.
                                  А насчет разрешения которое будет на продакшене — они ведь не на своих станциях горазды 4K рендерить? Да это и не нужно. Итоговые кадры получаются уже на рендер-кластере, который считает эти кадры за пару секунд, в то время как рабочая станция будет 1 кадр 4K даже при таких характеристиках, считать по 8-10 минут. Тем более на крупных проектах просчет ведется пассами.
                                  Так что выбор, описанный в статье, весьма адекватен.
                                    0
                                    На Пиксаре еще в 2006 году у аниматоров основные мониторы были 30-дюймовыми.
                                      0
                                      Хотел бы я сравнить качество картинки монитора из 2006 года и монитора из 2012 года на современной матрице.
                                        0
                                        Радикального отличия нет. То были эппловские мониторы, я в 2007-м работал на похожем 24-дюймовом, вполне нормальное качество. 30-дюймовые деллы и самсунги, на которых работаю в последние годы, никаких заметных преимуществ не демонстрируют.
                                          0
                                          Те эппловские тридцатки помнится были полными аналогами 30 делла тех же годов…
                                            0
                                            Если это так, то получается, что прогресс за эти годы недалеко ушел. От хваленого Dell UltraSharp U3011, на котором работаю последние полтора года, я не в восторге.
                                              0
                                              Я даже больше скажу, матрицы для тех деллов и эпплов делала LG.

                                              У меня сейчас U2412M стоит. Откалиброванный вроде ничего так цвет показывает.
                                            0
                                            Я про ту 30-дюймовую модель и укзаанный в топике HP. Дома-то у меня тоже 27 дюймов и 2560х1440, с обычной PLS-матрицей, и этот монитор тоже не творит чудес.
                                              0
                                              Этой модели HP — года три уже. Но черный и белый цвета наверняка будут лучше.
                                              … Был у меня профессиональный LED Samsung с калибратором, модель чуть постарше — года 2008 или 2009. Цвета были получше чем у нынешних полупрофессиональных, но четкость пикселя — хуже. Причем, разница в резкости на мелких деталях была очень заметна.
                                          0
                                          К сожалению, в то время не довелось поработать на Пиксаре, поэтому ни подтвердить ни опровергнуть не могу. )
                                          Однако, думается мне, у каждой студии есть свои особенности. Возможно это как раз одна из них.
                                          Субъективное мнение описал выше. Работаю на iMac 21,5 и считаю этот дисплей максимально удобным по разрешению и приятным по цветопередаче(для текущих задач более чем). Доводилось работать на Apple Cinema 27", 24-х дюймовом Неке и 22-шке от DELL. Большие дисплеи как-то не совсем подходят для работы по причинам, описанным выше. Зато киношку посмотреть или в игрушки поиграть — самое оно, но вот работать — уж увольте:
                                          сидеть близко — шея устает постоянно голову из углу в угол монитора мотать, а ставить дальше — какой смысл если картинка по размерам сама становится меньше? Но главная проблема все же что подавляющее большинство ПО под огромные разрешения адаптировано слабо, и большое количество рябящих в глазах менюшек, которые нужно искать взглядом по разным углам сильно раздражает. Помню в индизе на 27 дюймах глаза ломал(настройка размера шрифтов в UI пару релизов назад была отвратительна, знатоки не дадут соврать).

                                          Хотя не спорю, есть люди считающие ровным счетом наоборот.
                                            0
                                            Да, с масштабированием интерфейса в продуктах Adobe (да и других) до сих пор туговато. И, если честно, я бы предпочёл 2х24 FullHD монитора (или три, вертикально), чем 1х27. Подписываюсь почти под каждым словом в общем.
                                              0
                                              вертикально очень не удобно)
                                              У меня 27 снизу и 22 сверху, очень редко наверх смотрю
                                                0
                                                Я про такое вертикально:

                                                Image #1780291, 140.3 KB
                                        +1
                                        Наверно есть какие-то особенности в производстве. Eizo тоже больших мониторов для цветокоррекции не делает вроде бы.

                                        А рендера на GPU пока что и нет такого, который бы можно было использовать в промышленных масштабах. Опять же пайплайн перевести на GPU рендер дело очень не простое.
                                        0
                                        Убедили, был не прав, исправлюсь.
                                        +1
                                        Вы действительно не правы. Для профессионала это именно тот инструмент который нужен для решения поставленной задачи.

                                        P.S. это как сказать «Нафига вам Хессельблад за такие деньги, когда можно купить опупенный кэнон в 50 раз дешевле?»(и это при задаче например, снять как колибри садится на цветок)
                                        0
                                        Справедливости ради, серия NEC SpectraView Reference выходит подешевле HP (хотя, конечно, далеко не вдвое)
                                      +2
                                      Немного оффтоп, но выскажусь.
                                      Водил сына на этот мульт. Или скорее он меня водил — неважно. Технически всё хорошо. Картинка хороша. Но смысла в мультике — 0. Сюжета — 0. Сценария — 0. В результате по прошествии пары недель я даже не могу выудить из памяти хоть одну сцену или кадр. Очередная пустышка для сбора денег.
                                        +10
                                        да ладно. забавный мульт. дочь после него разродилась прорвой вопросов. пришлось ей рассказывать адаптированную версию эволюции гоминид, показывать картинки с черапами, рассказывать за строение мозга и потом тащить в дарвиновский музей. массу полезного ребенок узнал

                                          0
                                          Ну так… *картинка_про_Pixar_vs_Dreamworks_из_первого_комментария*
                                          Хотя и Пиксар последнее время уже не торт… Никто не молодеет, а «Истории игрушек» 20 лет уже скоро…
                                            +1
                                            Хороший мультик, про боязнь перемен, семейные ценности и усе такое. Вот какой-нибудь Мадагаскар — да, пустышка. А тут вполне душевно.
                                              0
                                              Отработав своё, технологии становятся дешевле.

                                              Возможно, через 10 лет такое сможет позволить себе группа талантливых энтузиастов со сценарными задумками.
                                              +16
                                              Да на фрилансе такой мульт за 500 баксов нарисуют и на целероне отрендерят! )
                                                +5
                                                За 3 дня максимум причём, инфа 100%.
                                                  0
                                                  И получится это:

                                                0
                                                Если вопрос в деньгах не стоит, то, думаю, профессиональная техника от любого известного бренда подойдет для подобных задач.
                                                  +2
                                                  Подойти-то может и подойдет, но мало у кого их вендоров есть решения «от мышки до блейд-сервера». Да и с некоторыми компаниями сотрудничают уже по многу лет, нет смысла менять проверенного поставщика оборудования, если тебя в нем все устраивает.
                                                  0
                                                  Интересно бы узнать, как и для чего они HP Remote Graphics использовали.
                                                    +4
                                                    Вот жеж, думал подробности какие-то будут, как делали, а они опять рекламу своих продуктов с маркетинговым булшитом рассказывают :(

                                                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                    Самое читаемое