abstract: разница между текущей производительностью и производительностью теоретической; latency и IOPS, понятие независимости дисковой нагрузки; подготовка тестирования; типовые параметры тестирования; практическое copypaste howto.

Предупреждение: много букв, долго читать.

Лирика

Очень частой проблемой, является попытка понять «насколько быстрый сервер?» Среди всех тестов наиболее жалко выглядят попытки оценить производительность дисковой подсистемы. Вот ужасы, которые я видел в своей жизни:

• научная публикация, в которой скорость кластерной FS оценивали с помощью dd (и включенным файловым кешем, то есть без опции direct)
• использование bonnie++
• использование iozone
• использование пачки cp с измерениема времени выполнения
• использование iometer с dynamo на 64-битных системах

Это всё совершенно ошибочные методы. Дальше я разберу более тонкие ошибки измерения, но в отношении этих тестов могу сказать только одно — выкиньте и не используйте.

В три раза быстре SSD может быть только RAID 0 из трех SSD.



На видео тест работы RAID-массива в режиме Stripped из трех Intel SSD 320 Series 120GB.
Конфигурация тестового стенда и описание под катом.

Этот год для компании станет «годом Cluster-mode», несмотря на то, что поддерживающая этот режим работы версия Data ONTAP, собственная внутренняя OS, которая работает во всех системах хранения NetApp, в версии 8.0 вышла еще в 2008 году, по настоящему ее возможности по созданию «многоузлового кластера хранения» начинают реализовываться только сейчас.

Но для начала немного истории.
О перспективах развития систем хранения в направлении «облачных» систем начали говорить уже несколько лет назад, хотя тогда еще не вошло в IT-лексикон это модное слово, и тогда говорили о GRID-системах, идущих на смену «классическим» сетевым системам хранения.
Нет ничего удивительного в том, что NetApp, как компания традиционно много внимания уделяющая перспективным направлениям в отрасли, занялась темой «облачных» кластерных систем одной из первых. И вот что из этого получилось.

А сегодня я хочу показать вам сделанную недавно одним из моих коллег подборку фотографий, в популярном среди гиков жанре unboxing, с пришедшей к ним недавно системы FAS2040A с дополнительной дисковой полкой DS4243. Кстати сказать, это именно тот самый проект, о котором я писал свой предыдущий (так удивительно малопопулярный в этом блоге) пост.
Пару месяцев назад оборудование было доставлено заказчику, и я попросил его пофотографировать некоторые основные этапы распаковки и установки, чтобы показать их вам.

В данном случае, так как NetApp FAS2040A с дисковой полкой DS4243 прибыл гораздо раньше всей остальной кухни (за что большой респект за оперативность дистрибуторам и партнерам, вот учились бы некоторые), мы начали с него, и именно поэтому на фото нет кроме него пока ничего. Но тут, в конце концов, не блог компании Cisco ;). По состоянию на сегодняшний день проект уже полностью развернут и запущен в «опытную эксплуатацию».

Итак, вот что вы получаете, когда к вам прибывает новый сторадж NetApp.

В предыдущих постах этого блога я постепенно рассказал про наиболее значимые возможности систем хранения NetApp, пришла пора разбавить сухую теорию практическими делами. Здесь и далее я собираюсь писать о том, как все эти фенечки работают для тех или иных решений, для виртуальных инфраструктур, баз данных, высокопроизводительного файлового сервиса и прочих традиционных областей применения NetApp.
Я отдаю себе отчет в некоей провокативности заголовка, однако постараюсь защитить свою позицию текстом статьи. Если же вы придерживаетесь другого мнения о «идеальном» хранилище для VMware ESX, или, шире, для любого средства серверной или десктопной виртуализации, то буду рад обсудить это в комментариях.

Хотя системы серверной и десктопной виртуализации и не являются единственным рынком систем хранения NetApp (например в этом году Ларри Элиссон сделал нашумевшее заявление, что, по его сведениям, до 60% бизнеса NetApp это хранение баз Oracle (рус.)) но таков нынешний тренд рынка, что продукты VMware, MS Hyper-V, Xen, и аппаратные решения под них — это самый передовой, технологичный и быстро растущий сегмент программного и серверного рынка. Ничего удивительного, что NetApp им так плотно занимается почти с самого момента появления этой отрасли на свет. Ведь так получилось, что идеи и принципы, заложенные в системах хранения NetApp удивительно хорошо совместились технологически с тем, что сейчас делают вендоры систем виртуализации в своей области.

Прежде чем мы начнем рассматривать подробно основные «фишечки» NetApp в этой области, давайте просто перечислим то, что является самыми интересными и «цепляющими» возможностями систем хранения NetApp, конкретно в этой области (линки ведут на предшествующие статьи на Хабре, посвященные рассказу об этой возможности).

В 2007 году, консалтинговое агентство Forrester провело опрос 250 IT-специалистов, с целью оценить риски аварий для IT, как внутри датацентра, так и вне его, например риски природных аварий и катастроф.

После обработки и публикации результатов стало понятно, что привычное средство обеспечения отказоустойчивости в виде, например, традиционного «дублирующего, избыточного контроллера и RAID» может защитить всего от 31% всех возможных отказов.

На графике вы видите также такие IT-дизастеры как отказы электропитания (" — что случилось с вашим электричеством? — Оно моргнуло." ), проблемы с ПО ("…и будет закрыто"), человеческие ошибки ("как ты сказал имя тома, который надо было размонтировать и грохнуть?"), ошибки сетевых настроек (" — а какой интерфейс использовать? — попробуй eth0."), а также и разнообразные природные (и не очень) катаклизмы, такие как пожары, наводнения и так далее.

Таким образом становится ясно, что традиционные средства защиты работоспособности данных защищают его, увы, недостаточно, сколько бы «девяток» вам ни обещали в рекламе. И когда стоимость потери или простоя данных становится весьма существенной, встает вопрос поиска решения, обеспечивающего большую надежность, чем решения традиционные.

А еще NetApp участвовала в строительстве Звезды Смерти. :)
Deathstar — «Звезда Смерти» — так исторически называется вычислительный кластер, используемый подразделением 3D-моделлинга LucasFilm, компании ILM — Industrial Light and Magic.

С 2007 года системы хранения NetApp используются для хранения данных, используемых всем IT-комплексом LucasFilm, куда входит ILM (Industrial Light and Magic), их 3D modelling and rendering студия, видеопроизводство и монтаж, подразделение LucasArt (видеоигры), а также вебсайт Starwars.com.
Емкость хранения на сегодня превышает петабайт данных.

Итак, допустим, вы с интересом читаете все статьи о интересных фичах NetApp, и может быть даже придумали чем они могут быть вам полезны, но увы.
— Где же вы были год назад, — вполне резонно можете сказать вы мне — Когда мы покупали систему хранения от (вставьте название какого-нибудь вендора)? А теперь все, «я другому отдана и буду век ему верна». Ну или не век, а до конца срока оплаченной поддержки, обычно. Отчего вы не рассказали про все эти ваши возможности раньше, до того, как мы купили эту нашу систему хранения?
— Не беда, — скажу я вам в ответ, у NetApp есть и на такой случай что предложить.

Овечка Долли из заголовка — это ставшее нарицательным имя первого успешного клона высокоуровневого живого существа, созданного наукой. И хотя в биологии клоны пока еще область экспериментальная, в IT и в области хранения данных тема клонов обосновалась крепко и широко.
Возможность быстро (и что немаловажно — экономично, с точки зрения занимаемого пространства и времени) создать полную копию тех или иных обширных данных — задача сегодня очень востребованная. Такой клон данных можно было бы использовать для задач тестирования, разработки, и прочих экспериментов, когда нежелательно или прямо невозможно делать это на «боевых данных».

Использование Flash-памяти для современных систем хранения стало уже почти повседневным делом, понятие SSD — Solid-State Disk, широко вошло в практику энтерпрайз-систем хранения и серверов. Более того, для многих понятия Flash и SSD стали едва ли не синонимами. Однако, NetApp не был бы собой, если бы не нашел для использования Flash лучший, свой собственный способ его использования.
Как же можно использовать Flash для системы хранения, но НЕ в виде SSD?

Когда я в прошлом посте написал, что Snapshots были, на момент появления систем NetApp их главной «фичей», я отчасти слукавил (а отчасти просто забыл), так как у них, на тот момент, была как минимум еще одна особенность, радикально выделяющая их из ряда «традиционных» систем хранения — это «RAID тип 4».
Это тем более интересно, так как никто больше такой тип RAID для использования в дисковых системах хранения данных не использует.
Почему же был выбран именно такой тип, в чем его преимущества, и почему никто больше такой тип RAID сегодня не использует?

Всегда странно представлять себе времена, когда чего-то не было. Сложно сегодня представить себе, как мы жили без персональных компьютеров, без интернета, без торрентов, mp3, или без электрокопировальных аппаратов, в просторечии «ксероксов». Тем не менее всегда были времена, когда что-то привычное нам еще не существовало. Также обстояло дело и с понятием «снэпшота данных». Но сперва — что же такое «снэпшот»?

"Снэпшот" (дословно — «фотография», «моментальный снимок», здесь и далее под этим словом мы будем понимать конкретно, не уточняя, «снэпшот данных») это моментальная копия состояния данных в системе хранения, или программе, зафиксированная на определенный момент времени. Это может быть моментальное состояние содержимого файла, базы данных, или файловой системы (как частного случая «базы данных»).
В применении к системам хранения данных этот термин появился вместе с первыми системами хранения NetApp и был, на тот момент первой и главной их «фичей».

Впервые начавших использовать NetApp иногда сильно поражает вид «человека с толстой сумкой на ремне», курьера компании UPS, в понедельник утром принесшего коробку с новым жестким диском на замену вышедшему из строя в их системе вечером, после окончания рабочего дня, о факте чего админы, иногда, еще и сами не знали.
Админы не знали, а отдел поддержки NetApp уже узнал из сообщения системы Autosupport, обработал заявку, проанализировал ситуацию, и отправил жесткий диск на замену.

Дедупликация данных — это технология, при помощи которой обнаруживаются и исключаются избыточные данные в дисковом хранилище. В результате это позволяет сократить объёмы физических носителей для хранения тех же объёмов данных.
Дедупликация данных это одна из самых «горячих» тем в области систем хранения данных последних двух-трех лет. Ведь очевидно, что в том гигантском объеме данных, который сейчас приходится хранить современным системам хранения, неизбежно встречаются дубликаты и идентичные данные, за счет устранения которых можно было бы значительно сократить объемы хранения.
Пожалуй наибольшего успеха снискали реализации технологий дедупликации в области систем дискового резервного копирования (например EMC Avamar, Data Domain), однако компания NetApp первой объявила о возможности использования дедупликации для так называемых «primary storage», то есть основного, «боевого» хранилища активных данных, так как смогла предложить технологию дедупликации, практически не снижающую производительность его работы.
Сегодня я бы хотел рассказать как и за счет чего это удалось, и почему пока не получается у других.

В своем первом посте в этом блоге я обещал рассказать вам о NetApp «с технической стороны». Однако прежде чем рассказать о большинстве из имеющихся в системах NetApp возможностей, мне придется рассказать о «фундаменте», о том, что лежит в основе любой системы хранения NetApp — о специальной структуре организации данных, которую традиционно принято называть «файловой системой WAFL» — Write Anywhere File Layout — Файловой Структурой с Записью Повсюду, если перевести дословно.

Если вы сочтете, что «для Хабра» текст суховат, то потерпите, дальше будет интереснее, но не рассказать об устройстве того, что лежит в основе подавляющего большинства практических «фич» NetApp я не могу. В дальнейшем будет куда сослаться «для интересующихся» на подробное объяснение в следующих постах, о более практических «фишках».
Так, или иначе, но почти все, что NetApp умеет уникального растет именно из придуманной в начале 90-х Дэвидом Хитцем и Джеймсом Лау, сооснователями «стартапа» Network Appliance, файловой системы. Хороший аргумент за то, насколько важной и полезной может оказаться в будущем развитии изначально грамотная и продуманная «архитектура» продукта.

Вот уже около 20 лет назад в жизнь IT-отделов компаний вошло понятие SAN — Storage Area Network или специализированная сеть устройств хранения данных. Использование централизованных хранилищ, на которых размещаются используемые на серверах приложений их дисковые разделы, подключенные по специальным высокоскоростным протоколам, позволило значительно повысить эффективность и гибкость использования дискового пространства.

Причины, стоявшие за созданием SAN, отчасти были теми же, что стояли ранее за созданием обычной локальной сети LAN и shared-устройств в ней. Вместо того, чтобы давать каждому клиентскому компьютеру по лазерному принтеру, который будет простаивать в 99% времени, лучше дадим ему доступ к коллективно используемому принтеру, пусть более мощному и дорогому, но используемому с более высокой средней загрузкой, и тем самым повысим уровень использования ресурса и его экономическую эффективность.
В том числе использование «общего дискового ресурса» решило и проблему «недоиспользования». Если минимально доступный диск SATA на сегодня обычно не менее 500GB, то если мы не используем его для хранения накачанного из торрентов видео, то обычно, в рядовом использовании, он пуст на 90-95%. Типовая установка OS занимает 2-8 GB, приложения и его данные еще сколько-то, чаще всего несколько гигабайт, все же остальное пространство остается свободным, но увы, недоступным для, возможно, нуждающихся задач на других компьютерах.

Unified Storage называется «мультипротокольная» система хранения, такая, когда с данными, которые на ней хранятся, можно работать по разным протоколам в рамках одной и той же системы. Обычно под unified storage понимают систему, которая способна работать одновременно и в SAN-сети, то есть с «блочным доступом» по протоколам FC или iSCSI, и как NAS-устойство, для хранения файлов.

А началось все в начале 2000-х, когда компания NetApp выпустила на рынок свою новую серию хранилищ под названием FAS — Fabric Attached Storage — что-то типа «подключаемая в сетевую инфраструктуру система хранения», дело в том, что инфраструктура Fibre Channel, состоящая из коммутаторов, традиционно называется Fabric, «фабрика».
Такие системы могли работать как хорошо себя зарекомендовавшие с 1994 года NAS-системы компании, то есть как сетевые файловые хранилища по протоколам NFS и CIFS, но также одновременно и как SAN-устройства хранения, по протоколу FibreChannel (а вскоре к ним добавился и «IP-SAN», «блочный» протокол iSCSI).

Шум вокруг планов в отношении Fibre Channel over Ethernet (FCoE), объявление о поддержке его почти каждым производителем в нашей индустрии, все выглядит так, словно этот транспорт намеревается в ближайшее время окончательно вытеснить существующие сети Fibre Channel. Усилия по стандартизации завершились ратификацией, в 2009 году, поэтому многие производители, в том числе (и одними из первых) NetApp, и наш давний партнер Cisco, активно выводят продукты с использованием FCoE на рынок.

Если вы сегодня используете технологию Fibre Channel, вам следует разобраться и подготовиться к приходу этой новой технологии. В этой статье, я попробую ответить на некоторые важные вопросы, которые могут возникнуть о технологии FCoE, такие как:

• Что такое FCoE?
• Почему именно FCoE?
• Каковы возможности FCoE?
• К чему нам готовиться в будущем?

Внимательно читающие Хабр в последние несколько месяцев не могли не заметить, что тема энергоэффективности, экономии ресурсов и «альтернативных источников энергии» поднимается здесь все чаще (например: раз и два). Многие читатели до сих пор отчего-то считают, что «green»-технологии в IT это какая-то "придурь зажравшихся американцев", которые борются зимой против «глобального похолодания», летом — против «глобального потепления», и все это «не для нас», мы прекрасно обойдемся и без этого.

Однако, кроме «экологичности», которая, без сомнения, важна, основную роль в столь большом интересе к энергосберегающим технологиям играют прежде всего простые и вполне очевидные, меркантильные, практические соображения. Если вам кажется, что экономия электричества в датацентре это только лишь «придурь экологов», значит вам не приходилось еще встречаться с по настоящему большими проектами и по настоящему большими счетами за электричество, или же сталкиваться с тем фактом, что лимиты по электропитанию в датацентре останавливают рост вашей IT-инфраструктуры, и, как следствие, прибылей вашей компании.
Например, в конце 2008 года компания Facebook платила около миллиона долларов ежемесячно только по счетам за электричество в своих датацентрах.

Переход на более высокие нормы энергоэффективности в датацентре и экономия ресурсов, в первую очередь электропитания и охлаждения, может принести компаниям экономию средств, выражающуюся во вполне полновесных, и немалых, долларах.
Компания NetApp давно и успешно занимается исследованиями по поиску эффективных решений в IT и «начала перестройку с себя», использовав эти решения в разработке своих собственных датацентров.
Именно об этом сегодняшняя статья.

Хотя на Хабре уже публиковались некоторые заметки о технической стороне создания фильма Avatar, например в блоге компании HP была заметка о создании рендерфермы, построенной на blade-системах HP, мне показалось, что эта тема остается весьма любопытной для «технарей», как же там все делается «за кадром», в проектах такого масштаба, тем более, что системы NetApp непосредственно участвовали в создании фильма. Поэтому я решил перевести эксклюзивно для Хабра статью из недавно вышедшей свежей «электронной ежемесячной газеты» Tech Ontap. Кстати, можно подписаться и на русскую ее версию.

Фильм Avatar, вышедший на экраны в этом году, побил все рекорды сборов, добравшись до величины в 2.7 миллиардов долларов, и продолжая собирать кассу. Weta Digital, компания создания визуальных эффектов, занимавшаяся созданием спецэффектов и компьютерной анимации для этого фильм, также побила несколько своих собственных рекордов при создании впечатляющего 3D-мира Avatar. Weta Digital получила широкую известность в профессиональной среде после выхода трилогии «Властелин Колец» (The Lord of the Rings) и ряда последующих фильмов, таких, как King Kong и District#9, но создание Avatar потребовало совершенно особых технических усилий.