Дедупликация данных — это технология, при помощи которой обнаруживаются и исключаются избыточные данные в дисковом хранилище. В результате это позволяет сократить объёмы физических носителей для хранения тех же объёмов данных.
Дедупликация данных это одна из самых «горячих» тем в области систем хранения данных последних двух-трех лет. Ведь очевидно, что в том гигантском объеме данных, который сейчас приходится хранить современным системам хранения, неизбежно встречаются дубликаты и идентичные данные, за счет устранения которых можно было бы значительно сократить объемы хранения.
Пожалуй наибольшего успеха снискали реализации технологий дедупликации в области систем дискового резервного копирования (например EMC Avamar, Data Domain), однако компания NetApp первой объявила о возможности использования дедупликации для так называемых «primary storage», то есть основного, «боевого» хранилища активных данных, так как смогла предложить технологию дедупликации, практически не снижающую производительность его работы.
Сегодня я бы хотел рассказать как и за счет чего это удалось, и почему пока не получается у других.

Вот уже около 20 лет назад в жизнь IT-отделов компаний вошло понятие SAN — Storage Area Network или специализированная сеть устройств хранения данных. Использование централизованных хранилищ, на которых размещаются используемые на серверах приложений их дисковые разделы, подключенные по специальным высокоскоростным протоколам, позволило значительно повысить эффективность и гибкость использования дискового пространства.

Причины, стоявшие за созданием SAN, отчасти были теми же, что стояли ранее за созданием обычной локальной сети LAN и shared-устройств в ней. Вместо того, чтобы давать каждому клиентскому компьютеру по лазерному принтеру, который будет простаивать в 99% времени, лучше дадим ему доступ к коллективно используемому принтеру, пусть более мощному и дорогому, но используемому с более высокой средней загрузкой, и тем самым повысим уровень использования ресурса и его экономическую эффективность.
В том числе использование «общего дискового ресурса» решило и проблему «недоиспользования». Если минимально доступный диск SATA на сегодня обычно не менее 500GB, то если мы не используем его для хранения накачанного из торрентов видео, то обычно, в рядовом использовании, он пуст на 90-95%. Типовая установка OS занимает 2-8 GB, приложения и его данные еще сколько-то, чаще всего несколько гигабайт, все же остальное пространство остается свободным, но увы, недоступным для, возможно, нуждающихся задач на других компьютерах.

Unified Storage называется «мультипротокольная» система хранения, такая, когда с данными, которые на ней хранятся, можно работать по разным протоколам в рамках одной и той же системы. Обычно под unified storage понимают систему, которая способна работать одновременно и в SAN-сети, то есть с «блочным доступом» по протоколам FC или iSCSI, и как NAS-устойство, для хранения файлов.

А началось все в начале 2000-х, когда компания NetApp выпустила на рынок свою новую серию хранилищ под названием FAS — Fabric Attached Storage — что-то типа «подключаемая в сетевую инфраструктуру система хранения», дело в том, что инфраструктура Fibre Channel, состоящая из коммутаторов, традиционно называется Fabric, «фабрика».
Такие системы могли работать как хорошо себя зарекомендовавшие с 1994 года NAS-системы компании, то есть как сетевые файловые хранилища по протоколам NFS и CIFS, но также одновременно и как SAN-устройства хранения, по протоколу FibreChannel (а вскоре к ним добавился и «IP-SAN», «блочный» протокол iSCSI).

На завершившихся вчера выборах в риксдаг (нацональный парламент) Швеции, так называемая «Пиратская партия» (Piratepartiet) не прошла 4% избирательный барьер, и не попадет в парламент.
Идущий в настоящее время поименный подсчет оставшихся голосов покажет абсолютные величины, но в настоящее время Piratepartiet имеет 0,71% от всех подсчитанных голосов, и обходит такие партии, как «Феминистская инициатива» (0,55%) и «Шведская партия пенсионеров»(0,22%).

В своем первом посте в этом блоге я обещал рассказать вам о NetApp «с технической стороны». Однако прежде чем рассказать о большинстве из имеющихся в системах NetApp возможностей, мне придется рассказать о «фундаменте», о том, что лежит в основе любой системы хранения NetApp — о специальной структуре организации данных, которую традиционно принято называть «файловой системой WAFL» — Write Anywhere File Layout — Файловой Структурой с Записью Повсюду, если перевести дословно.

Если вы сочтете, что «для Хабра» текст суховат, то потерпите, дальше будет интереснее, но не рассказать об устройстве того, что лежит в основе подавляющего большинства практических «фич» NetApp я не могу. В дальнейшем будет куда сослаться «для интересующихся» на подробное объяснение в следующих постах, о более практических «фишках».
Так, или иначе, но почти все, что NetApp умеет уникального растет именно из придуманной в начале 90-х Дэвидом Хитцем и Джеймсом Лау, сооснователями «стартапа» Network Appliance, файловой системы. Хороший аргумент за то, насколько важной и полезной может оказаться в будущем развитии изначально грамотная и продуманная «архитектура» продукта.

Шум вокруг планов в отношении Fibre Channel over Ethernet (FCoE), объявление о поддержке его почти каждым производителем в нашей индустрии, все выглядит так, словно этот транспорт намеревается в ближайшее время окончательно вытеснить существующие сети Fibre Channel. Усилия по стандартизации завершились ратификацией, в 2009 году, поэтому многие производители, в том числе (и одними из первых) NetApp, и наш давний партнер Cisco, активно выводят продукты с использованием FCoE на рынок.

Если вы сегодня используете технологию Fibre Channel, вам следует разобраться и подготовиться к приходу этой новой технологии. В этой статье, я попробую ответить на некоторые важные вопросы, которые могут возникнуть о технологии FCoE, такие как:

• Что такое FCoE?
• Почему именно FCoE?
• Каковы возможности FCoE?
• К чему нам готовиться в будущем?

Внимательно читающие Хабр в последние несколько месяцев не могли не заметить, что тема энергоэффективности, экономии ресурсов и «альтернативных источников энергии» поднимается здесь все чаще (например: раз и два). Многие читатели до сих пор отчего-то считают, что «green»-технологии в IT это какая-то "придурь зажравшихся американцев", которые борются зимой против «глобального похолодания», летом — против «глобального потепления», и все это «не для нас», мы прекрасно обойдемся и без этого.

Однако, кроме «экологичности», которая, без сомнения, важна, основную роль в столь большом интересе к энергосберегающим технологиям играют прежде всего простые и вполне очевидные, меркантильные, практические соображения. Если вам кажется, что экономия электричества в датацентре это только лишь «придурь экологов», значит вам не приходилось еще встречаться с по настоящему большими проектами и по настоящему большими счетами за электричество, или же сталкиваться с тем фактом, что лимиты по электропитанию в датацентре останавливают рост вашей IT-инфраструктуры, и, как следствие, прибылей вашей компании.
Например, в конце 2008 года компания Facebook платила около миллиона долларов ежемесячно только по счетам за электричество в своих датацентрах.

Переход на более высокие нормы энергоэффективности в датацентре и экономия ресурсов, в первую очередь электропитания и охлаждения, может принести компаниям экономию средств, выражающуюся во вполне полновесных, и немалых, долларах.
Компания NetApp давно и успешно занимается исследованиями по поиску эффективных решений в IT и «начала перестройку с себя», использовав эти решения в разработке своих собственных датацентров.
Именно об этом сегодняшняя статья.

Хотя на Хабре уже публиковались некоторые заметки о технической стороне создания фильма Avatar, например в блоге компании HP была заметка о создании рендерфермы, построенной на blade-системах HP, мне показалось, что эта тема остается весьма любопытной для «технарей», как же там все делается «за кадром», в проектах такого масштаба, тем более, что системы NetApp непосредственно участвовали в создании фильма. Поэтому я решил перевести эксклюзивно для Хабра статью из недавно вышедшей свежей «электронной ежемесячной газеты» Tech Ontap. Кстати, можно подписаться и на русскую ее версию.

Фильм Avatar, вышедший на экраны в этом году, побил все рекорды сборов, добравшись до величины в 2.7 миллиардов долларов, и продолжая собирать кассу. Weta Digital, компания создания визуальных эффектов, занимавшаяся созданием спецэффектов и компьютерной анимации для этого фильм, также побила несколько своих собственных рекордов при создании впечатляющего 3D-мира Avatar. Weta Digital получила широкую известность в профессиональной среде после выхода трилогии «Властелин Колец» (The Lord of the Rings) и ряда последующих фильмов, таких, как King Kong и District#9, но создание Avatar потребовало совершенно особых технических усилий.

«NetApp? Это еще кто?» — возможно скажет рядовой российский IT-шник, прочитав заголовок поста.
Хотя, безусловно, как компания и ее продукты, NetApp рядовому хабраюзеру пока знакома гораздо меньше, чем, например, HP, или Microsoft, тем не менее пришла пора и ей появиться на Хабре. Тем более, я уверен, ей есть что рассказать интересного. NetApp всегда была «комьюнити-ориентированной» компанией, любящей и ценящей своих пользователей, я искренне хотел бы, чтобы в России она стала такой-же юзеролюбивой, как, например, у себя на родине, в США. Попробуем сделать этот шаг здесь.

Начав в 1993-м году как классический стартап, с идеи создания недорогого, простого в управлении, установке и обслуживании «устройства» (appliance) хранения данных, доступного любому, кому нужно хранить много данных на дисках, и быстро получать к ним доступ, компания угадала «волну» и получила широчайшую популярность в годы интернет-бума конца 90-х, когда молодым интернет-компаниям массово требовались такие несложные и производительные системы хранения на базе недорогих в использовании ethernet-технологий, которые «просто работают».

Сотрудник компании NetApp, специалист по Ethernet-технологиям и соавтор нескольких руководств и Best Practices по применению систем хранения NetApp FAS, Trey Layton в своем блоге показывает свою домашнюю IT-лабораторию, на которой он работает дома, участвуя в написании технической документации и тестировании.

Экологически-чистая компания AISO (Affordable Internet Service Online), расположенная в Южной Калифорнии, эксплуатирует хостинговый датацентр, который полностью, как электропитание серверов, так и охлаждение, обеспечивается электроэнергией со 120 батарей солнечных панелей.
Датацентр площадью 2000 квадратных футов (около 186 квадратных метров) является собственностью семейной компании AISO, работающей уже 13 лет, и выстроен «вдали от цивилизации», в пустынной деревенской местности. Открытая пустынная местность, солнечный климат, но проблемы с подводом электричества на отдаленную ферму, где он проживает, подсказали владельцу компании, и ее техническому директору Филу Нейлу идею воспользоваться даровой энергией — солнечной.
Вот уже 9 лет, с 2001 года, построенный AISO датацентр, оказывающий хостинговые услуги для множества своих клиентов, полностью обеспечивает себя электричеством с помощью экологически чистого источника — солнечного света.

Попытка оценки. Только факты.

Студент Принстона, Sauhard Sahi, провел небольшое исследование, с целью оценить, из какого рода данных состоит мировой торрент-трафик. Для этого он подключился к сети Mainline DHT, основному DHT, используемом Bitorrent, uTorrent, Transmission и др. (Azureus/Vuze использует по умолчанию иную DHT-систему, но существует плагин, позволяющий ему использовать и Mainline DHT), и получил данные и фрагменты из 1021 случайно выбранного торрента, находящегося в раздаче.

Недавно опубликованный провокационный пост в блоге «Цензура в Интернете», в стиле «желтой прессы», приписал желаемый автору поста смысл словам музыканта группы U2 и колумниста New York Times — Bono.
Однако удалось достаточно быстро найти оригинал и я бы хотел, чтобы желающие сами ознакомились с тем, что же Боно на самом деле сказал.

Программа IOmeter — это популярное средство для тестирования производительности дисковой подсистемы и локальной сети. Тест является «100% синтетикой».

К сожалению, некоторая неочевидность процесса тестирования в нем, устаревший внешний вид, отсутствие полноценного онлайн-хелпа, и документации, а также русскоязычного описания, часто вызывают затруднения при попытках его использовать. Также в интернете практически отсутствует подробное описание методики работы с ним, и описание используемых терминов и фич.

Особую благодарность автор хочет выразить владельцу блога aboutnetapp, пост которого о практическом тестировании систем хранения с помощью IOmeter пнула подвинула автора на написание этой статьи.

Опрос, проведенный одним из ведущих производителей систем охлаждения и кондиционирования для датацентров, компанией Liebert показал, что 66% опрошеных поддерживают в датацентрах температуру не выше 21 градуса C, и ни один выше 24C.

Температура по горизонтали — в американских «фаренгейтах».
CRAH это Computer room air-handler, по нашему — кондиционер.
При этом, рекомендации ASHRAE (American Society of Heating, Refrigerating and Air-Conditioning Engineers), пересмотренные в прошлом году, рекомендуют верхний лимит рабчего диапазона равным 27C на входе в сервер.

В последнее время в мировой компьютерной прессе стало появляться довольно много статей на тему: «Почему RAID-5 это плохо» (пример раз, два, и другие)

Постараюсь, без ныряния в инженерные и терминологические дебри объяснить, почему до сих пор RAID-5 вроде работал, а теперь вдруг перестал.