В современном мире наиболее ценным активом является информация. Информация помогает оптимизировать бизнес-процессы, анализировать рынок и принимать стратегически важные решения, определяющие будущее вашей компании, и даже выстраивать доверительные отношения с клиентами, повышая их лояльность. Однако по мере роста объема обрабатываемых данных любое предприятие неизбежно сталкивается с проблемой нехватки места для их хранения. В ситуациях, когда на первый план выходят не вычислительные мощности, а объем доступного дискового пространства, наиболее рентабельным решением для масштабирования IT-инфраструктуры оказываются дисковые полки JBOD. Именно о них мы и поговорим в сегодняшнем материале.
Ключевые преимущества аппаратной платформы Ultrastar Data
Western Digital предлагает две модели JBOD-массивов, выпускаемых под брендом Ultrastar — Data60 и Data102. Указанные модификации полностью идентичны с точки зрения реализованных в них технологий и отличаются друг от друга лишь емкостью, о чем красноречиво говорит числовой индекс в названии: младшая модель способна вместить 60 3.5-дюймовых SAS (12 Гб/с) или SATA (6 Гб/с) накопителей, тогда как флагман — до 102 накопителей. Таким образом, одна дисковая полка Ultrastar Data60 позволяет хранить вплоть до 840 RAW-данных, а максимальная емкость Ultrastar Data102 может достигать уже 1.4 петабайта (при использовании жестких дисков Western Digital Ultrastar DC HC 530 емкостью 14 ТБ каждый). При этом 24 из доступных отсеков можно использовать для установки твердотельных накопителей с интерфейсом SAS или SATA, что позволяет достичь оптимального баланса между емкостью и производительностью, задействуя JBOD в сценариях, где на первый план выходит высокая доступность данных.
Проектируя дисковые полки серии Ultrastar Data, мы уделили особое внимание борьбе с негативным воздействием вибрации и высоких температур на функционирование системы. Результатом работы инженеров Western Digital стало появление сразу двух вспомогательных технологий, позволивших значительно улучшить эксплуатационные характеристики JBOD: IsoVibe и ArcticFlow. Рассмотрим каждую из них подробнее.
Технология подавления ротационной вибрации IsoVibe
IsoVibe призвана нивелировать пагубное влияние ротационной вибрации, возникающей при раскрутке шпинделя HDD, на производительность массива. Напомним, что при смещении магнитной головки с трека под действием внешних факторов, микроконтроллер диска вынужден инициировать процедуру позиционирования заново, из-за чего время чтения/записи данных значительно возрастает. Так, например, при воздействии на работающий винчестер ротационной вибрации с угловым ускорением в 50 радиан/сек2 потери производительности могут превысить порог в 70%. В случае с JBOD данная проблема встает еще более остро, так как в силу высокой плотности размещения накопителей в сравнительно компактном корпусе их взаимное влияние друг на друга многократно возрастает.
Технологические решения, реализованные в рамках IsoVibe, направлены на предотвращение распространения вибрации между отсеками дисковой полки, о чем можно догадаться уже по названию самой технологии, которое представляет собой акроним английского словосочетания «изолирован от вибрации». Так, в ходе проектирования Ultrastar Data мы полностью отказались от использования винтовых креплений: теперь накопители фиксируются с помощью амортизированных мини-салазок, что не только упрощает процесс установки и замены дисков, но также позволяет значительно снизить эффект резонанса внутри корпуса и локализовать вибрацию в пределах одного отсека.
Амортизированные салазки помогают снизить уровень вибрации
Свою лепту вносят и вибрационно изолированные разъемы, расположенные на задней панели JBOD: здесь минимизировать распространение высокочастотных механических колебаний удалось за счет прорезей в печатной плате бэкплейна.
Прорези в PCB бэкплейна снижают распространение вибрации внутри JBOD
Дополняет картину интеллектуальная прошивка микроконтроллеров жестких дисков Western Digital Ultrastar, которые мы рекомендуем использовать вместе с JBOD-массивами, поддерживающая технологию RVS (Rotational Vibration Safeguard). Специализированный алгоритм отслеживает сигналы, поступающие со встроенных мультиаксиальных акселерометров и в режиме реального времени рассчитывает компенсационные усилия, необходимые для коррекции траектории движения блока магнитных головок.
Принцип работы технологии компенсации ротационной вибрации RVS
По сравнению с обычными HDD, накопители с поддержкой RVS обеспечивают практически 20-кратный выигрыш в производительности даже в наиболее сложных условиях эксплуатации.
Система охлаждения ArcticFlow
Другую известную проблему дисковых полок, а именно — перегрев накопителей, расположенных в задних рядах, удалось успешно решить благодаря уникальной архитектуре шасси, получившей торговое название ArcticFlow. Как и в случае с вибрацией, когда речь заходит о воздушном охлаждении, основной проблемой становится слишком плотное расположение накопителей в несколько рядов. А поскольку в большинстве моделей воздушный поток циркулирует в направлении от передней панели шасси кзади, пройдя сквозь первые ряды, воздух нагревается, вследствие чего эффективность охлаждения задних рядов существенно снижается.
В Ultrastar Data данная проблема решена следующим образом. Дисковая полка разделена на две зоны охлаждения (по 4 ряда в каждой), изолированные друг от друга. Воздушные потоки, обеспечивающие вентиляцию передней зоны, отводятся из корпуса по обводным воздуховодам, огибающим задний отсек по бокам. Что же касается задних рядов, то для их охлаждения предусмотрен отдельный воздуховод, расположенный по центру, воздух из которого поступает непосредственно к задним рядам накопителей, с 5-го по 8-ой. Кроме того отдельный поток холодного воздуха подводится непосредственно к блокам питания и модулям I/O, расположенным позади.
Схема циркуляции воздуха внутри дисковых полок Ultrastar Data
Такая конструкция помогла достичь действительно впечатляющих результатов. ArcticFlow позволила существенно сократить разницу температур между передней и задней зонами: разброс между ними не превышает 10°C. При использовании накопителей Ultrastar, созданных на базе платформы HelioSeal четвертого поколения (более подробно о технологиях, применяемых при производстве жестких дисков для ЦОД, вы можете прочитать в материале «Ярче звезд»), на самом «горячем» участке, которым является 8-ой ряд, вплотную прилегающий к отсекам блоков питания, максимальная температура HDD не поднимается выше 49°C. При этом на охлаждение каждого из них тратится в среднем 1.6 Вт электроэнергии, что в два раза меньше, чем у конкурирующих моделей.
Таким образом, ArcticFlow решает одновременно 3 задачи:
- эффективное охлаждение помогает продлить сроки эксплуатации накопителей, установленных в JBOD, а также полностью исключает вероятность их выхода из строя вследствие перегрева;
- отпадает потребность в установке мощных, высокоскоростных кулеров, что также помогает снизить общий уровень вибрации, негативно отражающейся как на состоянии аппаратуры, так и на ее производительности;
- меньшее энергопотребление позволяет значительно сократить операционные расходы на обслуживание дата-центра, оборудованного JBOD Ultrastar.
Построение облачной инфраструктуры с применением дисковых полок Ultrastar на примере компании Acronis
Кому же подойдут дисковые полки Western Digital Ultrastar? Первое, что приходит в голову — облачные сервисы, оперирующие огромными массивами данных. По мере расширения бизнеса такие компании неизбежно сталкиваются с экспоненциальным ростом затрат на масштабирование и поддержку IT-инфраструктуры, которые оказываются тем больше, чем сложнее организована последняя.
В частности, подобные проблемы характерны для интенсивно развивающихся предприятий, использующих SaaS-based модель предоставления облачных услуг: стремясь угнаться за меняющимся рынком и при этом сохранить рентабельность, многие из них используют одновременно несколько разрозненных решений. На первых парах такой подход действительно способен обеспечить определенные выгоды, но в отдаленной перспективе это приводит к существенном росту издержек на управление, обслуживание и дальнейшее масштабирование существующей инфраструктуры.
Здесь весьма показательным является опыт Acronis, специализирующейся на предоставлении облачных решений в сфере кибербезопасности для корпоративных и частных клиентов. На сегодняшний день компании принадлежат 14 дата-центров в разных уголках нашей планеты, мощности которых в своей работе задействуют свыше 500 тысяч предприятий.
Стремясь увеличить емкость хранилищ данных и при этом оптимизировать затраты на их обслуживание, Acronis столкнулись с рядом существенных трудностей, вызванных отсутствием унифицированной аппаратной платформы. Компания обратилась за помощью к своему давнему технологическому партнеру — DIAWAY. Для прогнозирования капитальных и операционных расходов системный интегратор создал доскональную финансовую модель на ближайшие 5 лет. Сравнив предложения, представленные на современном рынке, специалисты DIAWAY пришли к выводу, что наиболее оптимальным вариантом для реализации подобного проекта станут гибридные хранилища Western Digital Ultrastar Data60 и Data102.
В этом году компания завершила перевод облачной инфраструктуры на дисковые полки Ultrastar, и по словам Алекса Бейка, директора по глобальным техническим операциям Acronis, этот шаг в полной мере себя оправдал. Миграция на новую платформу обеспечила ряд важнейших преимуществ, среди которых необходимо выделить:
- Снижение TCO
Благодаря переходу на гибридные хранилища Ultrastar, Acronis удалось добиться существенного сокращения капитальных и эксплуатационных расходов: стоимость хранения данных в пересчете на терабайт информации снизилась более, чем на 25%.
- Повышение надежности систем хранения
Передовые технологии охлаждения и виброизоляции, воплощенные в JBOD-массивах Ultrastar, в сочетании с резервируемыми блоками питания и I/O-модулями с возможностью горячей замены, помогли существенно повысить отказоустойчивость как самих дисковых полок, так и всей инфраструктуры хранения данных в целом.
- Простота обслуживания
Стандартизация глобальной архитектуры позволила упростить планирование дальнейшего увеличения емкости системы хранения данных и оптимизировать управление обширной IT-инфраструктурой Acronis: сегодня специалисты компании используют унифицированные инструменты и алгоритмы для решения поставленных задач, а при необходимости они могут в любой момент обратиться за помощью к инженерам Western Digital.
Примеры развертывания системы резервного копирования на базе Western Digital Ultrastar Data60 и программного обеспечения от Veeam Software
Впрочем, не стоит думать, что дисковые полки Ultrastar ориентированы сугубо на крупные компании и облачных провайдеров: JBOD-массивы способны стать незаменимым инструментом и в арсенале представителей малого и среднего бизнеса. Речь идет, прежде всего, о создании высокоемких и производительных систем резервного копирования, для организации которых мы предлагаем готовую связку в виде Ultrastar Data60/102 и программного обеспечения, разработанного одним из наших стратегических партнеров — Veeam Software, специализирующихся на создании комплексных решений в сфере резервного копирования данных.
Девиз компании «It just works!» говорит сам за себя: Veeam стремится создавать простые, эффективные, а главное, надежные продукты из разряда «настроил и забыл», и у них это действительно хорошо получается. Не случайно в 2019 году общее количество клиентов компании превысило 375 тысяч, а ее годовой оборот перевалил за отметку в 1 миллиард долларов США.
В ходе проектирования системы резервного копирования на базе дисковых полок Ultrastar и программного обеспечения Veeam наибольшую эффективность демонстрируют два подхода:
- on-premises — резервные копии создаются и хранятся на базе собственного ЦОД предприятия;
- гибридная модель on-premises + cloud tier — на стороне клиента хранятся только актуальные резервные копии, которые могут понадобиться «здесь и сейчас» для восстановления работоспособности производственной среды, тогда как более старые бэкапы автоматически переносятся в облако.
Каждый из них обладает своими преимуществами. Комбинация self-hosted и облачных решений позволяет без труда масштабировать IT-инфраструктуру по мере необходимости благодаря подключению объектных хранилищ Amazon S3, Azure Blob Storage, IBM Cloud Object Storage, или любых других S3-совместимых сервисов, и дополнительно экономить на долговременном хранении данных, также оставляя возможность для disaster recovery в случае возникновения аварийных ситуаций. On-premises же гарантирует быстрое восстановление любых когда-либо созданных резервных копий, независимость от внешних факторов, высокий уровень приватности и соответствие местному законодательству в том случае, если деятельность компании так или иначе связана с обработкой персональных данных клиентов.
Проще всего продемонстрировать эффективность связки программного обеспечения Veeam и гибридных хранилищ Western Digital на конкретных примерах. Мы выбрали два наиболее показательных кейса из нашей обширной практики.
Кейс №1
Клиент
В роли заказчика выступил крупный европейский производитель бытовых товаров с годовым оборотом более 500 миллионов евро, офисы и производственные мощности которого расположены в разных странах ЕС и в Китае. Штат компании насчитывает около 1800 постоянных сотрудников, а IT-инфраструктура представлена 8 центрами обработки данных по всему миру.
Проблема
Программно-аппаратный комплекс, используемый заказчиком для создания резервных копий, перестал адекватно справляться с возложенной на него задачей в связи с многократно возросшей нагрузкой, так как не обладал достаточной пропускной способностью. Помимо этого, наблюдались определенные проблемы с обработкой задач, связанных с процедурой дедупликации, что приводило к частым сбоям в ходе резервного копирования.
Поиск решения
Специалисты IT-отдела заказчика пришли к выводу, что обновление существующей инфраструктуры резервного копирования является нерентабельным, в связи с чем было принято решение о переходе на новую архитектуру, что позволило бы не только сэкономить, но и решить проблему масштабирования в будущем. Для организации системы резервного копирования было выбрано гибридное хранилище Ultrastar Data60 от Western Digital, управляемое программным обеспечением Veeam Backup & Replication 9.5, Veeam Backup для Microsoft Office 365 и Microsoft Windows Storage Spaces (входит в состав Windows Server 2016).
Конфигурация
Итоговая аппаратная конфигурация состояла из сервера HPE Proliant DL360 G9, оснащенного парой контроллеров Broadcom 9480-8i8e MegaRAID, обслуживающих модули ввода-вывода Ultrastar Data60. Каждый RAID-контроллер был подключен к назначенному порту I/O-модуля с помощью 4-канального HD MiniSAS-кабеля (P/N 1EX0329), обеспечивая полосу пропускания до 9,6 ГБ/с на контроллер.
Серверная платформа HPE Proliant DL360 G9
Дисковое хранилище было развернуто с 60-ю 12-терабайтными SAS HDD Ultrastar — таким образом, его общая емкость составила 720 ТБ. С помощью зонирования T10, Ultrastar Data60 был логически разделен на две зоны по 30 дисков в каждой, так, чтобы каждый контроллер видел диски, назначенные только для определенных портов. В группах из 30 накопителей команда ИТ-специалистов создала несколько наборов томов с чередованием, которые были сгруппированы в единый общий том с помощью Windows Storage Spaces. Один из таких томов использовался для инкрементного резервного копирования, в то время как другой содержал полный образ резервной копии, который был дополнительно сжат с использованием функции дедупликации Windows Server.
Результаты
Связка 1 × сервер + 2 × RAID-контроллера + 1 × Ultrastar Data60 обошлась заказчику существенно дешевле по сравнению с выделенным устройством резервного копирования, поддерживающим внутреннюю дедупликацию. В будущем данную платформу можно будет без труда масштабировать путем последовательного подключения новых дисковых полок (до четырех штук) без необходимости модернизации серверной платформы.
Кейс №2
Клиент
GreenPower — крупное предприятие, специализирующееся на производстве натуральных витаминных комплексов и пищевых добавок. Компании принадлежит торговая марка Dr. Hittich, а ее штаб-квартира находится в Керкраде (Нидерланды).
Проблема
GreenPower нуждались в надежном и эффективном решении для резервного копирования. Изначально для этих целей использовались сервера на 24/36 отсеков, а общее дисковое пространство, отведенное под бэкапы, составляло 108 терабайт. Когда данного объема перестало хватать, перед компанией встала проблема масштабирования IT-инфраструктуры. Серверы хранения данных большей емкости оказались слишком дороги, поэтому от их приобретения пришлось отказаться. В свою очередь, идея с регулярной заменой заполненных дисков на пустые показала свою полную несостоятельность: такой подход не мог обеспечить нужный уровень доступности резервных копий, а ошибки при маркировке изъятых дисков регулярно приводили к сложностям при восстановлении данных и даже к их утрате.
Конфигурация
Было решено реализовать систему резервного копирования на базе двух серверов с программным обеспечением Veeam Backup & Replication 9.5 и двух дисковых полок Ultrastar Data60 от Western Digital. В каждое гибридное хранилище были установлены 60 SAS HDD Ultrastar емкостью 6, 8 и 10 терабайт.
Жесткие диски для ЦОД Ultrastar DC HC330 емкостью 10 терабайт
Жесткие диски были сконфигурированы в несколько наборов RAID-массивов, управляемых Windows Storage Spaces. Для дедупликации данных встроенными средствами программного обеспечения Microsoft было создано несколько виртуальных дисков типа «Thin» (такой подход позволил обойти ограничение в 64 ТБ). Как и в первом примере, доступное дисковое пространство было разделено на два логических тома, один из которых использовался для создания полных бэкапов, тогда как второй был предназначен для инкрементного резервного копирования.
Результаты
Переход на платформу хранения данных Ultrastar Data60 помог значительно снизить затраты на логистику, а в пересчете на терабайт информации, приобретение дисковых полок оказалось значительно более выгодным решением по сравнению с закупкой полноценных серверов: поскольку за счет использования функции дедупликации данных Microsoft Windows Server 2016 удается экономить около 1250 терабайт на каждые 378 ТБ физического дискового пространства, емкости одной такой полки с учетом текущих потребностей компании, хватит на 6 лет ежедневного создания резервных копий.
Не менее важным преимуществом оказалось и значительное повышение производительности системы резервного копирования: создание и восстановление бэкапов происходит на скорости не менее 1 ГБ/с. Это исключает возникновение ситуаций, когда Windows Server не успевает завершить дедупликацию данных в существующих резервных копиях до создания новых. Ранее подобные коллизии приводили к значительному снижению производительности всей системы, однако новая платформа позволила забыть о них раз и навсегда.
