А еще NetApp участвовала в строительстве Звезды Смерти. :)
Deathstar — «Звезда Смерти» — так исторически называется вычислительный кластер, используемый подразделением 3D-моделлинга LucasFilm, компании ILM — Industrial Light and Magic.
С 2007 года системы хранения NetApp используются для хранения данных, используемых всем IT-комплексом LucasFilm, куда входит ILM (Industrial Light and Magic), их 3D modelling and rendering студия, видеопроизводство и монтаж, подразделение LucasArt (видеоигры), а также вебсайт Starwars.com.
Емкость хранения на сегодня превышает петабайт данных.
Применяемая технология работы в кинопроизводстве требует доступа к огромному массиву общих, доступных множеству различных потребителей данных. Так, например, в случае работы фермы 3D-рендера это будут модели и текстуры, обсчитываемые для каждого кадра параллельно многими сотнями, и даже тысячами процессоров, в случае nonlinear видеомонтажа — разные фрагменты готовых сцен. Наконец вебсайт starwars.com, хранящий огромный объем разнообразного материала о Вселенной Starwars ежедневно обслуживает многие десятки и сотни тысяч обращений со всего мира к вебсерверам LucasFilm.
Традиционно для решения такой задачи используется распределенный многоузловой кластер, работающий как сервер NFS. Lucasfilm много лет использует системы хранения NetApp (с 2007, а до этого времени — Spinnaker, в 2004-м году приобретенный NetApp), и в настоящее время емкость только оперативного хранилища различных уровней составляет свыше петабайта (в это объем не входит объем архивного, offline-хранилища на магнитных лентах).
Контроллеры NetApp работают как узлы параллельного NFS-кластера под управлением OS Data ONTAP GX, позволяющего создать из всех этих отдельных физических узлов единое «поле хранения», единое общее «пространство имен» (namespace) для хранимых файлов, и обеспечить высокую производительность доступа к данным, что в наше время 3D-видео со все растущими требованиями по качеству, количеству CG (Computer Generated) персонажей и сцен, и объему производства, является одной из важнейших задач для компании кинопроизводства.
Я уже рассказывал в этом блоге о аналогичном хранилище другой крупной компании, работающей в области 3D-рендера и видеопродукции — новозеландской Weta Digital (еще немного информации можно найти в блоге blog.aboutnetapp.ru, в статьях здесь и здесь), в которой также много лет используется хранилище NetApp для ее многочисленных киноработ, таких как трилогия Lord of the Rings, King Kong, District9, Avatar, и многих других.
Еще в 2004 году LucasFilm построила для своего датацентра сетевой backbone (на тот момент крупнейший в мире), работающий на скорости 10Gb/s, использующий решения Brocade, и обеспечивающий данными огромную ферму рендера (вторую по размерам и мощности в киномире после Weta), сегодня использующую blade-сервера IBM (более старые — LS22 на AMD, более новые — HS22, на Intel Xeon, по 32GB RAM на blade).
На сегодняшний день основной датацентр LucasFilm занимает около 1000 квадратных метров площади, где расположены основные производственные вычислительные мощности компании в Сан-Франциско (есть также подразделение LucasArt в Сингапуре, занимающееся видео- и компьютерными играми).
Глядя на такие огромные вычислительные ресурсы, кажется, что возможности роста датацентра беспредельны и на его затраты можно не обращать внимание, однако это не так. «Наши возможности, к сожалению, всегда жестко ограничены бюджетом фильма» — говорит Петер Хричек, LucasFilm
Все, что датацентр тратит в виде побочных затрат, таких как, например, охлаждение, энергопитание, отнимается из производительных возможностей, из того, что компания может потратить на сам фильм. Поэтому вопросы эффективности использования, то есть соотношения того, сколько мы получаем на затраченный доллар бюджета, несмотря на кажущиеся огромными финансовые возможности таких компаний, стоят очень остро. Для того, чтобы дать представление об объемах затрат таких проектов, можно сказать, что опубликованные в 2007 году данные показывают, что датацентр LucasFilm потреблял на тот момент около 2,4 Мегаватт электрической мощности, из которых только примерно половина питала непосредственно сервера, систему хранения и сетевое оборудование. Для цен на электричество в Сан-Франциско, Калифорния, это очень значительные траты.
Для сравнения, например, это потребление электричества примерно полутора тысяч средних американских домов. Один датацентр потребляет электричества как целый маленький город!
Что же касается объемов хранения, то она продолжает расти, вслед за увеличивающимися бюджетами фильма. Так, по опубликованным данным, емкость оперативного хранения датацентра Lucasfilm составляла всего 32TB в 2004 году, выросла до 300TB к 2007, и составляет на сегодня более 1 петабайта (1000 терабайт), три четверти из которых это высокопроизводительное хранилище, а остальное — nearline, то есть онлайн-данные с меньшей производительностью, например на SATA-дисках.
Небольшую видеоэкскурсию с рассказом о датацентре Lucasfilm недавно опубликовал журналист Arik Hesseldahl в интернет-издании All Things Digital.
http://newenterprise.allthingsd.com/20110325/lucasfilms-data-center-and-an-encounter-with-the-real-death-star-video/
К сожалению я не могу вставить сюда этот ролик, сходите на сайт по ссылке. Ролик, кстати, сопровождается субтитрами на английском, что очень удобно для плохо разбирающих английский со слуха.
