Построение Звезды Смерти как задача для NetApp

    image
    А еще NetApp участвовала в строительстве Звезды Смерти. :)
    Deathstar — «Звезда Смерти» — так исторически называется вычислительный кластер, используемый подразделением 3D-моделлинга LucasFilm, компании ILM — Industrial Light and Magic.

    С 2007 года системы хранения NetApp используются для хранения данных, используемых всем IT-комплексом LucasFilm, куда входит ILM (Industrial Light and Magic), их 3D modelling and rendering студия, видеопроизводство и монтаж, подразделение LucasArt (видеоигры), а также вебсайт Starwars.com.
    Емкость хранения на сегодня превышает петабайт данных.


    Применяемая технология работы в кинопроизводстве требует доступа к огромному массиву общих, доступных множеству различных потребителей данных. Так, например, в случае работы фермы 3D-рендера это будут модели и текстуры, обсчитываемые для каждого кадра параллельно многими сотнями, и даже тысячами процессоров, в случае nonlinear видеомонтажа — разные фрагменты готовых сцен. Наконец вебсайт starwars.com, хранящий огромный объем разнообразного материала о Вселенной Starwars ежедневно обслуживает многие десятки и сотни тысяч обращений со всего мира к вебсерверам LucasFilm.

    Традиционно для решения такой задачи используется распределенный многоузловой кластер, работающий как сервер NFS. Lucasfilm много лет использует системы хранения NetApp (с 2007, а до этого времени — Spinnaker, в 2004-м году приобретенный NetApp), и в настоящее время емкость только оперативного хранилища различных уровней составляет свыше петабайта (в это объем не входит объем архивного, offline-хранилища на магнитных лентах).
    Контроллеры NetApp работают как узлы параллельного NFS-кластера под управлением OS Data ONTAP GX, позволяющего создать из всех этих отдельных физических узлов единое «поле хранения», единое общее «пространство имен» (namespace) для хранимых файлов, и обеспечить высокую производительность доступа к данным, что в наше время 3D-видео со все растущими требованиями по качеству, количеству CG (Computer Generated) персонажей и сцен, и объему производства, является одной из важнейших задач для компании кинопроизводства.

    Я уже рассказывал в этом блоге о аналогичном хранилище другой крупной компании, работающей в области 3D-рендера и видеопродукции — новозеландской Weta Digital (еще немного информации можно найти в блоге blog.aboutnetapp.ru, в статьях здесь и здесь), в которой также много лет используется хранилище NetApp для ее многочисленных киноработ, таких как трилогия Lord of the Rings, King Kong, District9, Avatar, и многих других.

    Еще в 2004 году LucasFilm построила для своего датацентра сетевой backbone (на тот момент крупнейший в мире), работающий на скорости 10Gb/s, использующий решения Brocade, и обеспечивающий данными огромную ферму рендера (вторую по размерам и мощности в киномире после Weta), сегодня использующую blade-сервера IBM (более старые — LS22 на AMD, более новые — HS22, на Intel Xeon, по 32GB RAM на blade).

    На сегодняшний день основной датацентр LucasFilm занимает около 1000 квадратных метров площади, где расположены основные производственные вычислительные мощности компании в Сан-Франциско (есть также подразделение LucasArt в Сингапуре, занимающееся видео- и компьютерными играми).

    Глядя на такие огромные вычислительные ресурсы, кажется, что возможности роста датацентра беспредельны и на его затраты можно не обращать внимание, однако это не так. «Наши возможности, к сожалению, всегда жестко ограничены бюджетом фильма» — говорит Петер Хричек, LucasFilm

    Все, что датацентр тратит в виде побочных затрат, таких как, например, охлаждение, энергопитание, отнимается из производительных возможностей, из того, что компания может потратить на сам фильм. Поэтому вопросы эффективности использования, то есть соотношения того, сколько мы получаем на затраченный доллар бюджета, несмотря на кажущиеся огромными финансовые возможности таких компаний, стоят очень остро. Для того, чтобы дать представление об объемах затрат таких проектов, можно сказать, что опубликованные в 2007 году данные показывают, что датацентр LucasFilm потреблял на тот момент около 2,4 Мегаватт электрической мощности, из которых только примерно половина питала непосредственно сервера, систему хранения и сетевое оборудование. Для цен на электричество в Сан-Франциско, Калифорния, это очень значительные траты.
    Для сравнения, например, это потребление электричества примерно полутора тысяч средних американских домов. Один датацентр потребляет электричества как целый маленький город!

    Что же касается объемов хранения, то она продолжает расти, вслед за увеличивающимися бюджетами фильма. Так, по опубликованным данным, емкость оперативного хранения датацентра Lucasfilm составляла всего 32TB в 2004 году, выросла до 300TB к 2007, и составляет на сегодня более 1 петабайта (1000 терабайт), три четверти из которых это высокопроизводительное хранилище, а остальное — nearline, то есть онлайн-данные с меньшей производительностью, например на SATA-дисках.

    Небольшую видеоэкскурсию с рассказом о датацентре Lucasfilm недавно опубликовал журналист Arik Hesseldahl в интернет-издании All Things Digital.

    http://newenterprise.allthingsd.com/20110325/lucasfilms-data-center-and-an-encounter-with-the-real-death-star-video/

    К сожалению я не могу вставить сюда этот ролик, сходите на сайт по ссылке. Ролик, кстати, сопровождается субтитрами на английском, что очень удобно для плохо разбирающих английский со слуха.
    NetApp
    Компания

    Похожие публикации

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 11

      +7
      Что узнал из статьи: у LucasFilm для хранения данных используется решение от NetApp.
      Что хотел узнать: почему выбрали NetApp, во сколько обошлось решение, какие были альтернативы, сколько удалось/удаётся сэкономить, насколько отличается производительность от аналогичных решений других компаний.
        0
        К сожалению подробности — один из самых охраняемых секретов таких компаний.
        Даже та информация, что приведена в этой статье была выжата из примерно десятка статей разных лет, по нескольку фактов из каждой.
        Кинопродакшн компании, что Weta, о которой я писал ранее, что Lucasfilm, очень «закрытые» от внешнего мира организации. Секретность блюдется как на военном заводе.

        Но попробую ответить на ваши вопросы в том объеме, что знаю тему я.

        > почему выбрали NetApp

        NetApp выбирают, потому что в области NFS NAS это один из традиционных, самых старых и технологически сильных игроков.
        Для таких задач как кинопродукция, предельно важным является надежность и стабильность работы. В условиях жестко заданных сроков производства, когда фильм должен выйти в заранее объявленный день (под который готовится куча разнообразных сопутствующих событий) абсолютно недопустим срыв сроков из за неисправности или снижения производительности.

        Я уже приводил слова Адама Шэнда, создателя датацентра в Weta, когда он объяснял отчего они отказались в итоге от более производительного, но менее надежного NAS Bluearc: «Неважно насколько быстра ваша система хранения, если в данный момент она не работает»

        Второй момент связан с упомянутой возможностью создать на платформе NetApp многоузловой распределенный кластер (DataONTAP GX и сейчас Data ONTAP 8 Cluster-mode), в котором из множества отдельных контроллеров строится единая система хранения, с общим «пространством имен». Это решение очень часто используется в задачах HPC, к которым теперь относятся и вычислительные кластеры рендера. Таким задачам нужно оперировать огромным общим массивом данных, причем для повышения быстродействия этот массив и данные на нем распределены на множество физических контроллеров.

        Такое пока умеют немногие, производителей таких систем можно посчитать по пальцам одной руки, и NetApp из них самый крупный.

        Во сколько обошлось решение — в деньгах вам вряд ли кто-то скажет, а даже если и скажут, то что это вам даст? ;)

        Альтернативы — это аналогичные массивно-параллельные системы Isilon (ныне куплен EMC), Panasas, и ряд еще более мелких. Причины, отчего для таких задач выбирается именно система крупного вендора с хорошей поддержкой — см. выше.
        Сбои и вызванный им срыв сроков недопустимы абсолютно.
          0
          Закрытость объясняется тем, что это такие компании это не «консьюмерский» рынок. Те, кому важно знать подробности о их возможностях, это вряд ли сильно больше трех десятков лично знакомых людей, кинопродюсеров, работающих в кинопроизводстве по многу лет. «Остальным это не нужно», да и конкуренты не дремлют.
          Информацию приходится выколупывать буквально по крохам. :(
        • НЛО прилетело и опубликовало эту надпись здесь
            0
            а у меня — в кои-то веки купить свежих игрушек по вселенной и поиграть на приличном железе. времени бы еще купить…
              0
              Время купить к сожалению не получится, как вариант — зарабатывать больше в час, чтобы меньше часов работать.

              P.S. Не спрашивайте меня как. Спрашивайте себя — и возможно ответ найдется.
              0
              Из последних продуктов это Rango, первый ILM-овский мультфильм. Это не нарисованный Йода, но тоже, в общем, любопытно :)
              0
              NFS?
              это тот, который RFC 1094… 3530 или что-то дургое имеется ввиду?
                0
                Разумеется, Network File System.
                  0
                  а слухи о том, что на больших нагрузках nfs ведёт себя нестабильно — ложь пиздёжь и провокация слегка преувеличены?
                    0
                    Есть _реализации_ NFS, непригодные «из коробки» для работы под highload. Например в vanilla linux kernel это так.

                    Но NetApp это не linux, и там все хорошо с NFS.

              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

              Самое читаемое