Про HPE Synergy. Часть III – Дисковое хранилище D3940 и SAS-коммутаторы

    Продолжение, начало – Часть I (Вступление)
    Продолжение, начало – Часть II (Шасси и сервера)

    Дисковое хранилище SY D3940 – один из ключевых элементов Synergy; модуль оптимизирован для использования либо как DAS (Direct Attached Storage — система хранения данных с прямым подключением, т.е. диски подключаются напрямую к серверу, и какой либо уровень RAID организует установленный в сервере контроллер), либо как программно-определяемое хранилище, типа HPE StoreVirtual VSA (или подобное). Про HPE StoreVirtual VSA можно почитать тут, Алексей все весьма подробно описал. Лично меня в применении VSA смущает только ограничение в 50 Тб и требования по памяти. Долго думал с чего начать рассказывать про D3940, потом нашел в интернете фото реальной железки и решил начать рассказ с ошибки, которую допустили парни на фото:


    В чем ошибка, если расположение дисков вроде верное, ведь по схеме в отсек №1 вставляем первый диск, в отсек №2 – второй диск и так далее?


    Так да не так. В документе «HPE Synergy Configuration and Compatibility Guide» указан совсем другой порядок заполнения: «For proper air flow, drives must be populated from back to front. Per the drive numbering below, begin populating bays 33 through 40, and continue to populate back to front, finishing with bays 1 through 8.» На рисунке стрелками указано более правильное расположение дисков.


    В чем причина нелогичной нумерации — непонятно. Теперь про модуль. Как уже было сказано, он поддерживает установку в него 40 штук дисков SFF SAS или SATA. Нельзя (пока, по крайней мере) поставить в него SFF модуль с двумя uFF дисками, описанный во второй части «Шасси и сервера». Подозреваю, что эта функция никогда реализована не будет, так как адаптер-бокс 2 шт. uFF -> SFF имеет внутри себя RAID-адаптер, поддерживающий уровни RAID 0 и 1, а D3940 никаких адаптеров не имеет вообще, все диски из модуля презентуются адаптеру HPE Smart Array P542D Controller with 2GB FBWC, устанавливаемому в сервера. Кабели подключения и электропитания помещены в гибкий сегментированный рукав, который находится внизу модуля, при вытягивании модуля из шасси кабели разматываются, при обратной операции – сматываются, это позволяет не отключать модуль для обслуживания (для замены или добавления дисков, например).

    Пример гибкого сегментированного рукава для пулемета


    Подключение дисков к SAS-коммутаторам выполняют SAS I/O модули, по умолчанию устанавливается одна штука в отсек I/O 1, который работает с SAS-коммутатором HPE Synergy 12Gb SAS Connection Module, устанавливаемым в слот ICM 1. Если требуется отказоустойчивость, в отсек I/O 2 устанавливается второй I/O модуль, а в отсек ICM 4 – второй SAS-коммутатор, кроме того в каждый сервер, который будет работать с дисками D3940, требуется установить контроллер HPE Smart Array P542D именно в mezzanine slot 1. Сам модуль выглядит скучно, посмотреть его можно или на фото в первой части (установлен в ICM 1), или ниже:

    На всякий случай еще раз схема расположения ICM(InterConnect modules):


    Так же схема коммутации внутренних компонентов, которая поясняет почему подключения происходят так, а не иначе (The storage module is only supported for connectivity with fabric 1):


    Compute module 1-12, имеется ввиду сервер SY 480 Gen9 HH (Half Height), как уже говорил, в нем три отсека для установки мезонинных карт.

    Таким образом, к одному дисковому модулю D3940 в полной комплектации в шасси можно подключить до 10 серверов половинного размера, либо наоборот – установить пять дисковых модулей и два сервера.

    Если брать неотказоустойчивую конфигурацию, то варианты будут следующие:

    • SAS Connection Module в отсеке ICM 1 подключается к основным I/O адаптерам для отсеков 1, 3 и 5;
    • SAS Connection Module в отсеке ICM 4 подключается к основным I/O адаптерам отсеков 7, 9 и 11;

    Получается, если дисковых модулей планируется больше трех, то придется ставить и вторые I/O модули и второй SAS-коммутатор. Согласно документации, для трех и более полноразмерных серверов (FH – full height) и двух дисковых модулей также требуется второй SAS-коммутатор.

    SAS-коммутатор имеет 12 внутренних SAS портов по 4х12 Гбит/с линка на порт и создает динамический виртуальный JBOD, который может подключаться к серверам внутри шасси. Отдельно надо отметить, что Фабрика 1 – неблокируемая, что позволяет набить дисковые модули SSD и радоваться колоссальным IOPs’ам и минимальному времени на чтение. Управляется SAS-коммутатор через Synergy Composer или сервер с OneView версии не ниже 3.0.

    Подключать дисковые модули в одном шасси к серверам в другом шасси нельзя, это очень большая печаль. Возможно, что-то изменится.

    Вернемся к дисковому модулю D3940. Как уже говорилось, можно установить до 40 дисков SFF в модуль и до пяти модулей в шасси, итого — 200 дисков; внутри модуля можно устанавливать любые диски из перечисленных, но надо помнить, что логический массив может создаваться только на дисках одного типа. На данный момент список поддерживаемых дисков такой:

    44 типа дисков, поддерживаемых модулем D3940
    • HP 500GB 6G SATA 7.2k 2.5in SC MDL HDD
    • HP 200GB 12G SAS ME 2.5in EM SC H2 SSD
    • HP 400GB 12G SAS ME 2.5in EM SC H2 SSD
    • HP 800GB 12G SAS ME 2.5in EM SC H2 SSD
    • HP 1.6TB 12G SAS ME 2.5in EM SC H2 SSD
    • HP 1.2TB 6G SAS 10K 2.5in DP ENT SC HDD
    • HP 600GB 12G SAS 10K 2.5in SC ENT HDD
    • HP 1.2TB 12G SAS 10K 2.5in SC ENT HDD
    • HP 300GB 12G SAS 10K 2.5in SC ENT HDD
    • HP 900GB 12G SAS 10K 2.5in SC ENT HDD
    • HP 800GB 12G SAS VE 2.5in SC EV SSD
    • HP 1.6TB 12G SAS VE 2.5in SC EV SSD
    • HP 300GB 12G SAS 15K 2.5in SC ENT HDD
    • HP 450GB 12G SAS 15K 2.5in SC ENT HDD
    • HP 600GB 12G SAS 15K 2.5in SC ENT HDD
    • HP 600GB 12G SAS 15K 2.5in SC 512e HDD
    • HP 100GB 6G SATA ME 2.5in SC EM SSD
    • HP 400GB 6G SATA ME 2.5in SC EM SSD
    • HP 800GB 6G SATA ME 2.5in SC EM SSD
    • HP 200GB 12G SAS WI 2.5in SC SSD
    • HP 400GB 12G SAS WI 2.5in SC SSD
    • HP 800GB 12G SAS WI 2.5in SC SSD
    • HP 1.92TB 12G SAS RI 2.5in SC SSD
    • HP 1TB 6G SATA 7.2k 2.5in 512e SC HDD
    • HP 2TB 6G SATA 7.2k 2.5in 512e SC HDD
    • HP 2TB 12G SAS 7.2K 2.5in 512e SC HDD
    • HP 1TB 12G SAS 7.2K 2.5in 512e SC HDD
    • HP 1.8TB 12G SAS 10K 2.5in SC 512e HDD
    • HPE 480GB 12G SAS RI-3 SFF SC SSD
    • HPE 960GB 12G SAS RI-3 SFF SC SSD
    • HPE 1.92TB 12G SAS RI-3 SFF SC SSD
    • HPE 3.84TB 12G SAS RI-3 SFF SC SSD — самый большой диск
    • HPE 400GB 12G SAS MU-3 SFF SC SSD
    • HPE 800GB 12G SAS MU-3 SFF SC SSD
    • HPE 1.6TB 12G SAS MU-3 SFF SC SSD
    • HPE 3.2TB 12G SAS MU-3 SFF SC SSD
    • HP 120GB 6G SATA VE 2.5in SC EV M1 SSD
    • HP 240GB 6G SATA VE 2.5in SC EV M1 SSD
    • HP 480GB 6G SATA VE 2.5in SC EV M1 SSD
    • HP 800GB 6G SATA VE 2.5in SC EV M1 SSD
    • HP 1TB 6G SATA 7.2k 2.5in SC MDL HDD
    • HP 146GB 6G SAS 15K 2.5in SC ENT HDD
    • HP 500GB 6G SAS 7.2K 2.5in SC MDL HDD
    • HP 1TB 6G SAS 7.2K 2.5in SC MDL HDD


    Поддерживается 44 типа дисков, причем по типу HDD примерно 45%, и примерно 55% — SSD. Максимально один дисковый модуль может предоставить 153,6 Тб (в виде 40 шт. HPE 3.84TB 12G SAS RI-3 SFF SC SSD в RAID0), или 768 Тб – пять модулей (максимум) на шасси.

    Отдельно надо упомянуть контроллер HPE Smart Array P542D, который устанавливается в сервер и управляет подключаемыми к нему дисками. Он имеет на борту 2 Гб кэш-модуль DDR3-1866 MHz, 16 портов 12 Гбит/с SAS (2х4 внутренних, и 2х4 внешних), но есть следующие ограничения – 404 Тб на один логический диск и 64 логических диска на контроллер. На хосте подключенный контроллер отъедает 4,4 Гб памяти. Поддерживает уровни RAID 0, 1, 10, 5, 50, 6, 60, 1 ADM, 10 ADM.

    У этого контроллера есть одна опция, приобретаемая отдельно – HPE SmartCache – позволяет организовывать многоуровневое хранение данных (tiering), т.е. при частой востребованности данных перемещает их на более быстрые SSD. Состоит, соответственно, из медленных HDD и быстрых SSD, подключенных к контроллеру, и мета-данных о востребованности блоков информации с массива, которые держит в FBWC (Flash-backed write cache, флеш-буфер записи, тот самый модуль 2 Гб DDR3). Лично я этот функционал не тестировал, было бы интересно посмотреть как выставляются уровни «температуры» данных и как контроллер справляется с «дрожанием» этого уровня.

    Все это великолепие управляется с помощью SY Composer’а и на этом обзор этой части будем считать завершенным.
    В завершении осталось описание сетевой части (самая сложная для меня), модулей управления (самая непонятная) и принципов построения и управления (самая интересная).
    Поделиться публикацией
    Ой, у вас баннер убежал!

    Ну. И что?
    Реклама
    Комментарии 15
    • 0
      гибкий сегментированный рукав
      картинка напоминает пулемёт :)

      спасибо за продолжение серии! интересно, ждём HPE :)
      • 0
        =) смотреть надо на рукав подачи патронов к самому пулемету.
        когда я разбирал HP D2220sb — там внизу такая же лента, состоящая из пластиковых сегментов.
        считаю, что D3940 это как раз развитие D2200sb

        P.S. — спасибо за уточнение, доберусь до ПК — дорисую стрелочку, на что именно смотреть.
      • –1
        Поясните пожалкйста, кто читает подобные статьи с пользой для себя? Просто любопытна целевая аудитория
        • 0
          мне сложно сказать, я ведь пишу, а статистика к статье показывает только общее число просмотров без какой либо разбивки.

          я бы предположил, что читают — пресейлы, архитекторы ИТ-инфраструктуры — они будут это использовать решения и собирают сведения; админы — они потом будут эксплуатировать; возможно — маркетологи — понимать, что обсуждается в данный момент; представители производителя и его конкуренты — посмотреть, как общественность реагирует на события в инфо-поле; просто технически ориентированные читатели — следят за новинками.
          надеюсь, я вас правильно понял и ответил на ваш вопрос?
          • 0
            Я читаю :)
          • 0
            В чем причина нелогичной нумерации — непонятно.

            Распределение веса при выдвинутом модуле/потоки воздуха в закрытом корпусе/etc
            • 0
              то, что причина расположения таким образом — это последствия распределения веса и воздушных потоков — это понятно.
              мне лично не понятно, что мешало начать нумерацию в этом случае из правого нижнего угла, а не из левого верхнего, для единообразия порядка заполнения и порядка именования.
              • 0
                А, это да.
                Ну, может какой-нибудь Мухаммед или Аарон делал, потому и справа налево пошло :)
                • 0
                  у меня появился шанс спросить разработчиков — уточню при случае =)
                  • 0
                    О, если поделитесь добытой информацией — буду очень благодарен.
                    Да и в целом любая информация о Synergy интересует, пишите, лично я — очень жду :)
                    • 0
                      а какая именно информация интересует? по системе уже весьма немало документации
                      • 0
                        А пресс-релизы даже раньше документации появились :)

                        Одно дело бумажка, другое — когда человек вникает, анализирует, делится соображениями.
                        А если у него ещё и опыт использования железки есть — вообще отлично.
                        • 0
                          есть уже курсы официальные, которые можно отучить и сертифицироваться, есть прототипы и тестовые образцы (говорят, в России тоже есть, но он как тот суслик — мало кто видел).
                          Опыт эксплуатации, в лучшем случае, планируется на следующий год =(
            • 0
              меня в применении VSA смущает

              Ну есть же аппаратные VSA, 3PAR — отсюда и ограничение, надо же продавать :)
              • 0
                =)) ну меня не сильно смущает, все таки в данном случае 50 Тб должно быть достаточно в 99,999% случаев.

              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

              Самое читаемое