Четыре города. Восемьдесят миллионов рендер-часов. Многочисленные рабочие станции, мощнейшие блейд-серверы, лучшие специалисты в области анимации и компьютерной графики, сетевая архитектура HP FlexNetwork, 2166 копий в России и лучший в истории старт мультфильма в прокате на территории нашей страны. О чем идёт речь? О Мультфильме «Семейка Крудс» студии DreamWorks Animation, в создании которого HP принимали самое что ни на есть прямое участие.
Производство современной компьютерной графики занимает поистине огромное количество вычислительных модулей, с ужасающей скоростью потребляет киловатты электроэнергии, гоняет по сетям трафик в десятки гигабит. В каждом кадре — многие миллионы треугольников-полигонов, образующих модели персонажей, ландшафт, объекты и всё-всё-всё, что вы видите. За создание спецэффектов отвечают сложнейшие программы-шейдеры, воссоздающие ультрареалистичные воду, огонь и пыль. Создание пяти минут видеоматериала занимает многие недели кропотливого труда, и, несмотря на прогресс в области как алгоритмов, так и прикладного софта, всё упирается в вычислительную мощь компьютеров, пропускную способность сетей и безжалостно тикающее время.
Как 90 минут мультфильма, умещающихся в восемьдесят миллионов рендер-часов, вместились в несколько лет разработки? Первые наброски, рабочие рисунки, раскадровка, идея и персонажи появились ещё в 2005 году. В начале 2007 DreamWorks приступили к проработке идеи, переработали сценарий и персонажей, вдохнули в проект новую жизнь, а работа непосредственно над графикой началась в уже в 2009 году. Разработка моделей, текстур, сцен, спецэффектов и прочих материалов заняла несколько лет, финальный рендеринг, сборка фильма и монтаж проводились в 2011 и 2012 году.
Компания DreamWorks много лет сотрудничает с HP в области программных и аппаратных решений для достижения самых высоких результатов в области производительности, и этот мультфильм не стал исключением.
Основной «рабочей лошадкой» художников, аниматоров, специалистов по спецэффектам и монтажу стали рабочие станции Z820.
Два серверных Xeon’a, до 512 ГБ оперативной памяти, многослойный бутерброд из профессиональных видеоадаптеров, скоростные дисковые подсистемы, надёжная система охлаждения — всё для работы с суперсложными сценами в интерактивной среде.
Работа со звуком осуществлялась на HP Z800 — проверенной временем рабочей станции, оснащённой эффективной и бесшумной системой охлаждения.
Некоторые звуки рождаются очень просто, некоторые — в результате сложного и кропотливого труда, а создание трёхмерной звуковой сцены, которая будет учитывать то, что происходит не только на экране, но и за ним, со всех сторон, со всеми препятствиями, моделью окружения и геометрией пространства, его материалами и их свойствами в области отражения и поглощения звуковых волн — задача не менее сложная, чем создание реалистично выглядящих шерсти, волос и кожи. Профессионалы в области звука и спецэффектов трудились в поте лица, и сейчас вы слышите рёв доисторического зверя, шелест листвы, шум воды и огня так, словно они действительно существуют и находятся рядом с вами, ну а помогли им в этом наши рабочие станции.
Сложно представить офис, который вместил бы всех сотрудников DreamWork Animation и предоставил им возможность работать над одним проектом в пределах одного помещения. Художники и аниматоры расположены не просто в четырёх разных зданиях, а в четырёх разных городах: Глендейле, Редвуд Сити, Лас-Вегасе и Бангалоре. Работать над одним проектом на таких больших расстояниях — непростно, а работать одновременно, в реальном времени, над одной сценой, одним персонажем и одним кадром кажется вообще задачей за гранью реального. Но задача — реальна, а самое главное, её решение точно так же реально, как и сама потребность в подобной технологии.
HP Remote Graphics Software объединило три города в США и один в Индии в одну эффективную рабочую среду, обеспечив людей всем необходимым для совместного труда и творчества.
Потрясающая сетевая технология, позволяющая «присутствовать» за другим компьютером, находясь за сотни и тысячи километров от него — реальность, а мощные сетевые технологии компании HP позволили добиться минимальных задержек в передаче видеосигнала и обратной связи.
Стабильность и бесперебойная работа сети под высочайшей нагрузкой обеспечивалась архитектурой HP FlexNetwork (о ней ещё будет отдельный материал чуть позже). Работа с удалёнными сотрудниками, масштабируемость, передача HD-видеоконтента в реальном времени, возможность работать с технологией HP Remote Graphics Software на таком сложном и высоконагруженном проекте — заслуга этой интересной технологии и аппаратных комплексов HP, которые создают тот самый «низкий уровень», обеспечивающий передачу данных и контроль трафика.
HP Intelligent Resilient Framework (HP IRF) — технология, которая творит чудеса на ровном месте. Она сочетает в себе гибкую виртуализацию серверных технологий, управление маршрутами трафика, избавление от лишних сущностей и простаивающих мощностей, распределение нагрузок и вычислительных мощностей, масштабируемость сетевых решений и, самое главное, использование известных и открытых технологий в качестве основы. В итоге — конвергентная, простая, прозрачная сеть с минимумом потерь и максимумом эффективности, лёгкая в управлении и возможность лёгкого расширения имеющихся решений.
На аппаратном уровне сетевая инфраструктура и HP IRF поддерживалась свичами HP 12518, 5820, 5800 и 6125G/XG.
Самое вкусное железо! В качестве рендер-серверов в DreamWorks использовались наши Блейд-системы восьмого поколения, HP ProLiant BL460c Gen8.
Два восьмиядерных процессора, 16 слотов под оперативную память, 10 Гигабитный сетевой контроллер, поддерживающий HP FlexFabric (одну из составных частей FlexNetwork) — впечатляющая мощь, а в одной «стойке» таких малышей может быть не один десяток.
Именно они позволили вместить внушительных 80 миллионов рендер-часов в год работы, распараллелив между собой выполнение задач по отрисовке каждого кадра.
В процессе работы над подобными проектами неизбежно приходится пользоваться помощью принтеров, сканеров и копиров. Раскадровка, нарисованная от руки, эскизы сцен, персонажей, предметов, элементов, пейзажей и просто сцен — всё это проще держать на стене перед собой, а не в голове или на компьютере. Отвёл взгляд от монитора — посмотрел интересующую тебя иллюстрацию — продолжил работать. Никаких альттабов или поисков материавло в сетевых папках.
В качестве дисплеев использовались продукты из профессиональной линейки HP DreamColor. Одним из самых популярных решений стал монитор HP LP2480zx.
24 дюйма, 1920х1080, H-IPS-матрица и заводская калибровка цветов каждого экземпляра для наиболее полного и однообразного раскрытия цветового пространства. Казалось бы, ничего впечатляющего, однако LP2480zx — не обычный монитор. Он содежит RGB-подсветку на светодиодах, обеспечивающую максимально точный контроль «белой точки» дисплея, пять основных преднастроенных профилей (sRGB, Adobe RGB, Rec. 601 (стандартная калибровка для аналогового ТВ) и Rec. 709 (стандартная калибровка для HDTV) и особое цветовое пространство для стандартных цветов, разработанное DreamWorks). Кроме того, имеется полная поддержка специализированного софта и работы с колориметром, поддержка десятибитного цветового пространства, работа с 200Гц источником сигнала. HP DreamColor LP2480zx заслуженно считается одним из лучших профессиональных дисплеев, а наш софт позволяет держать десятки и даже сотни подобных мониторов в идеальном соответствии между собой по отображемым цветам, яркости и контрастности.
Исходники подобного мультфильма могут занимать многие сотни и тысячи террабайт, и подобную информацию надо хранить максимально надёжно. Потеря нескольких моделей, готовых сцен или фрагментов может стоить много времени и средств. Для обеспечения надёжного хранения результатов кропотливого труда использовались наши лучшие решения: HP 3PAR StoreServ. Про эту СХД мы уже писали в прошлом году, но, кроме неё, есть ещё ряд продуктов и технологий, которые хочется упомнянуть.
Это массив жестких дисков HP MSA P2000 и наши универсальные системы по хранению и резервному копированию данных HP StoreAll Storage и HP StoreOnce Backup. Эффективные, быстрые и надёжные, они обеспечили хранение готовых материалов, удобную работу по монтажу и гибкость в работе с резервными копиями.
Как видите, оборудование HP использовалось на всех этапах и во всех возможных аспектах создания мультфильма. От работы над самими персонажами до анимации и спецэффектов. От отрисовки готовых кадров до конечного монтажа. От записи звука до создания сложнейших звуковых сцен с учётом окружения и графической сцены. От вывода картинки на экраны до хранения всех частей работы на всём продолжении жизненного цикла продукта. Множество сложнейших технологий обеспечили простую и эффективную работу профессионалам в их нелёгком деле: вместить восемьдесят миллионов часов в несколько лет, и получить на выходе девяносто минут готового фильма.
UPD от 22 Апр 2012: Мы запустили спец-проект на Хабре, о котором рассказывали в нулевом посте этого сезона. Он находится по адресу: habrahabr.ru/special/hp/commercial и там много интересной информации, обещанная нами форма обратной связи, а также тест на знания в области виртуализации. Ждем вас и ваших вопросов!
Техника и технология
Производство современной компьютерной графики занимает поистине огромное количество вычислительных модулей, с ужасающей скоростью потребляет киловатты электроэнергии, гоняет по сетям трафик в десятки гигабит. В каждом кадре — многие миллионы треугольников-полигонов, образующих модели персонажей, ландшафт, объекты и всё-всё-всё, что вы видите. За создание спецэффектов отвечают сложнейшие программы-шейдеры, воссоздающие ультрареалистичные воду, огонь и пыль. Создание пяти минут видеоматериала занимает многие недели кропотливого труда, и, несмотря на прогресс в области как алгоритмов, так и прикладного софта, всё упирается в вычислительную мощь компьютеров, пропускную способность сетей и безжалостно тикающее время.
Как 90 минут мультфильма, умещающихся в восемьдесят миллионов рендер-часов, вместились в несколько лет разработки? Первые наброски, рабочие рисунки, раскадровка, идея и персонажи появились ещё в 2005 году. В начале 2007 DreamWorks приступили к проработке идеи, переработали сценарий и персонажей, вдохнули в проект новую жизнь, а работа непосредственно над графикой началась в уже в 2009 году. Разработка моделей, текстур, сцен, спецэффектов и прочих материалов заняла несколько лет, финальный рендеринг, сборка фильма и монтаж проводились в 2011 и 2012 году.
Компания DreamWorks много лет сотрудничает с HP в области программных и аппаратных решений для достижения самых высоких результатов в области производительности, и этот мультфильм не стал исключением.
Модели, анимация и спецэффекты
Основной «рабочей лошадкой» художников, аниматоров, специалистов по спецэффектам и монтажу стали рабочие станции Z820.
Два серверных Xeon’a, до 512 ГБ оперативной памяти, многослойный бутерброд из профессиональных видеоадаптеров, скоростные дисковые подсистемы, надёжная система охлаждения — всё для работы с суперсложными сценами в интерактивной среде.
Озвучивание и аудиоэффекты
Работа со звуком осуществлялась на HP Z800 — проверенной временем рабочей станции, оснащённой эффективной и бесшумной системой охлаждения.
Некоторые звуки рождаются очень просто, некоторые — в результате сложного и кропотливого труда, а создание трёхмерной звуковой сцены, которая будет учитывать то, что происходит не только на экране, но и за ним, со всех сторон, со всеми препятствиями, моделью окружения и геометрией пространства, его материалами и их свойствами в области отражения и поглощения звуковых волн — задача не менее сложная, чем создание реалистично выглядящих шерсти, волос и кожи. Профессионалы в области звука и спецэффектов трудились в поте лица, и сейчас вы слышите рёв доисторического зверя, шелест листвы, шум воды и огня так, словно они действительно существуют и находятся рядом с вами, ну а помогли им в этом наши рабочие станции.
4 города — одна компания
Сложно представить офис, который вместил бы всех сотрудников DreamWork Animation и предоставил им возможность работать над одним проектом в пределах одного помещения. Художники и аниматоры расположены не просто в четырёх разных зданиях, а в четырёх разных городах: Глендейле, Редвуд Сити, Лас-Вегасе и Бангалоре. Работать над одним проектом на таких больших расстояниях — непростно, а работать одновременно, в реальном времени, над одной сценой, одним персонажем и одним кадром кажется вообще задачей за гранью реального. Но задача — реальна, а самое главное, её решение точно так же реально, как и сама потребность в подобной технологии.
HP Remote Graphics Software объединило три города в США и один в Индии в одну эффективную рабочую среду, обеспечив людей всем необходимым для совместного труда и творчества.
Потрясающая сетевая технология, позволяющая «присутствовать» за другим компьютером, находясь за сотни и тысячи километров от него — реальность, а мощные сетевые технологии компании HP позволили добиться минимальных задержек в передаче видеосигнала и обратной связи.
Сетевые технологии и HP FlexNetwork
Стабильность и бесперебойная работа сети под высочайшей нагрузкой обеспечивалась архитектурой HP FlexNetwork (о ней ещё будет отдельный материал чуть позже). Работа с удалёнными сотрудниками, масштабируемость, передача HD-видеоконтента в реальном времени, возможность работать с технологией HP Remote Graphics Software на таком сложном и высоконагруженном проекте — заслуга этой интересной технологии и аппаратных комплексов HP, которые создают тот самый «низкий уровень», обеспечивающий передачу данных и контроль трафика.
HP Intelligent Resilient Framework (HP IRF) — технология, которая творит чудеса на ровном месте. Она сочетает в себе гибкую виртуализацию серверных технологий, управление маршрутами трафика, избавление от лишних сущностей и простаивающих мощностей, распределение нагрузок и вычислительных мощностей, масштабируемость сетевых решений и, самое главное, использование известных и открытых технологий в качестве основы. В итоге — конвергентная, простая, прозрачная сеть с минимумом потерь и максимумом эффективности, лёгкая в управлении и возможность лёгкого расширения имеющихся решений.
На аппаратном уровне сетевая инфраструктура и HP IRF поддерживалась свичами HP 12518, 5820, 5800 и 6125G/XG.
Серверы и рендер-фермы
Самое вкусное железо! В качестве рендер-серверов в DreamWorks использовались наши Блейд-системы восьмого поколения, HP ProLiant BL460c Gen8.
Два восьмиядерных процессора, 16 слотов под оперативную память, 10 Гигабитный сетевой контроллер, поддерживающий HP FlexFabric (одну из составных частей FlexNetwork) — впечатляющая мощь, а в одной «стойке» таких малышей может быть не один десяток.
Именно они позволили вместить внушительных 80 миллионов рендер-часов в год работы, распараллелив между собой выполнение задач по отрисовке каждого кадра.
Цвет, дисплеи и печать
В процессе работы над подобными проектами неизбежно приходится пользоваться помощью принтеров, сканеров и копиров. Раскадровка, нарисованная от руки, эскизы сцен, персонажей, предметов, элементов, пейзажей и просто сцен — всё это проще держать на стене перед собой, а не в голове или на компьютере. Отвёл взгляд от монитора — посмотрел интересующую тебя иллюстрацию — продолжил работать. Никаких альттабов или поисков материавло в сетевых папках.
В качестве дисплеев использовались продукты из профессиональной линейки HP DreamColor. Одним из самых популярных решений стал монитор HP LP2480zx.
24 дюйма, 1920х1080, H-IPS-матрица и заводская калибровка цветов каждого экземпляра для наиболее полного и однообразного раскрытия цветового пространства. Казалось бы, ничего впечатляющего, однако LP2480zx — не обычный монитор. Он содежит RGB-подсветку на светодиодах, обеспечивающую максимально точный контроль «белой точки» дисплея, пять основных преднастроенных профилей (sRGB, Adobe RGB, Rec. 601 (стандартная калибровка для аналогового ТВ) и Rec. 709 (стандартная калибровка для HDTV) и особое цветовое пространство для стандартных цветов, разработанное DreamWorks). Кроме того, имеется полная поддержка специализированного софта и работы с колориметром, поддержка десятибитного цветового пространства, работа с 200Гц источником сигнала. HP DreamColor LP2480zx заслуженно считается одним из лучших профессиональных дисплеев, а наш софт позволяет держать десятки и даже сотни подобных мониторов в идеальном соответствии между собой по отображемым цветам, яркости и контрастности.
Хранение данных
Исходники подобного мультфильма могут занимать многие сотни и тысячи террабайт, и подобную информацию надо хранить максимально надёжно. Потеря нескольких моделей, готовых сцен или фрагментов может стоить много времени и средств. Для обеспечения надёжного хранения результатов кропотливого труда использовались наши лучшие решения: HP 3PAR StoreServ. Про эту СХД мы уже писали в прошлом году, но, кроме неё, есть ещё ряд продуктов и технологий, которые хочется упомнянуть.
Это массив жестких дисков HP MSA P2000 и наши универсальные системы по хранению и резервному копированию данных HP StoreAll Storage и HP StoreOnce Backup. Эффективные, быстрые и надёжные, они обеспечили хранение готовых материалов, удобную работу по монтажу и гибкость в работе с резервными копиями.
Итоги
Как видите, оборудование HP использовалось на всех этапах и во всех возможных аспектах создания мультфильма. От работы над самими персонажами до анимации и спецэффектов. От отрисовки готовых кадров до конечного монтажа. От записи звука до создания сложнейших звуковых сцен с учётом окружения и графической сцены. От вывода картинки на экраны до хранения всех частей работы на всём продолжении жизненного цикла продукта. Множество сложнейших технологий обеспечили простую и эффективную работу профессионалам в их нелёгком деле: вместить восемьдесят миллионов часов в несколько лет, и получить на выходе девяносто минут готового фильма.
UPD от 22 Апр 2012: Мы запустили спец-проект на Хабре, о котором рассказывали в нулевом посте этого сезона. Он находится по адресу: habrahabr.ru/special/hp/commercial и там много интересной информации, обещанная нами форма обратной связи, а также тест на знания в области виртуализации. Ждем вас и ваших вопросов!
