Анатомия платформы Huawei FusionServer хостинга RUVDS

    Компания Huawei Technologies, известная прежде всего как поставщик сетевого и телекоммуникационного оборудования, более пяти лет назад начала мощный натиск на мировой серверный рынок, нацеливаясь на повышение узнаваемости своего бренда среди корпоративных заказчиков серверов. Кроме того, компания пытается создать себе преимущества благодаря внушительным инвестициям в исследования и разработку.  

    Предмет сегодняшнего обзора — двухсокетный стоечный сервер 2U Huawei RH2288 V3. Как считает производитель, его основная задача — обработка и хранение данных ответственных приложений в небольшом стоечном пространстве. Серверы Huawei RH2288 V3 подойдут для работы с интернет-приложениями и важными корпоративными системами, для обработки и хранения больших данных, облачных вычислений, предоставления телекоммуникационных услуг. Их применяют поставщики услуг хостинга и VPS, например, RUVDS — официальный партнёр Huawei.



    В частности, в рамках совместного проекта вендор оснащает дата-центры RUVDS в России, Великобритании и Швейцарии своим оборудованием. В настоящее время в дата-центрах компании установлено уже более 200 серверов RH2288 V3. Это гарантирует быструю и стабильную работу виртуальных серверов, позволяет предложить клиентам качественные и современные услуги. Кроме того, эти надежные серверные платформы, позволяют оптимизировать стоимость предоставляемых клиентам услуг. Платформа хостинга RH2288 V3 идеально подходит для хостинга и потому стала закономерным выбором для оснащения дата-центров RUVDS. С этими серверами мы и познакомимся в этом обзоре.

    Разработчики RH2288 V3 постарались добиться оптимального соотношения производительности и плотности размещения компонентов системы. Сервер предусматривает большую емкость хранения данных, возможности расширения и достаточно высокую вычислительную мощность. Его ближайшие конкуренты — HP DL380p Gen9, IBM x3650 M5, Dell R730xd и Cisco C240 M4.

    Для повышения энергоэффективности в нем реализованы интеллектуальные технологии управления питанием: динамическое управление энергопотреблением; предоставление ресурсов источника питания и охлаждение при необходимости; пропорционально-интегрально-дифференциальное регулирование для контроля процесса теплообмена и регулирования скорости вращения вентиляторов. Интеллект сервера этим не ограничивается: система регистрации данных помогает найти неполадки, приведшие к отказу.

    С помощью светодиодной панели можно выполнять операции локального управления, а посредством независимого модуля iBMC — осуществлять удаленные задачи, используя последовательную консоль (Serial over LAN, SoL), KVM для удаленного доступа, а также другие функции. Контроллер управления iBMC разработан на собственном чипе Huawei и поставляется в комплекте с сервером бесплатно.

    Спецификации RH2288 V3

    Процессор
    Один или два процессора серий Intel Xeon E5-2600 V3/V4
    ОЗУ
    16 модулей RDIMM/LRDIMM DDR4
    ПЗУ
    Конфигурации жесткого диска:

    • 8 твердотельных накопителей или жестких дисков 2,5-дюйма с интерфейсами SAS/SATA;
    • 12 HDD 3,5-дюйма с интерфейсами SAS или SATA с передней стороны или 2 или 4 2,5-дюймовых или 3,5-дюймовых жестких диска SSD или SAS или SATA HDD;
    • 12 HDD 3,5-дюйма с интерфейсами SAS или SATA с передней стороны (модель NVMe поддерживает 4 твердотельных накопителя с интерфейсами NVMe) и два 2,5-дюймовых или 3,5-дюймовых SSD или SAS или SATA HDD с задней стороны;
    • 24 жестких дисков или твердотельных накопителей 2,5-дюйма с интерфейсами SAS или SATA HDD;
    • 25 жестких дисков или твердотельных накопителей 2,5-дюйма с интерфейсами SAS или SATA HDD с передней стороны и два или три 2,5-дюймовых жестких диска или твердотельных накопителя SSD или SAS или SATA HDD с задней стороны.

    2 SD-карты.
    Поддержка уровня RAID
    • RAID 0, 1, 10, 5, 50, 6 или 60;
    • Дополнительный суперконденсатор;
    • Изменение уровня RAID без выключения системы, память конфигурации, самодиагностика и дистанционное конфигурирование через веб-интерфейс.

    Сетевые порты LOM
    2 GE или 4 GE-порта или 2 x 10 GE-порта или 2 x 56 Гбит/с FDR InfiniBand-порта.
    Расширение PCIe
    До 6 слотов PCIe 3.0.
    Модули вентиляторов
    Модули вентиляторов в режиме резервирования N+1 с возможностью горячей замены.
    Блоки питания
    Два блока питания PSU в режиме резервирования 1+1 с возможностью горячей замены.
    Управление
    • Используются микросхемы управления Huawei Hi1710 и независимые порты, поддерживаются стандартные интерфейсы управления типа SNMP и IPMI, предоставляется графический интерфейс пользователя, средства KVM для удаленного доступа, виртуальная среда, SOL, инструмент для предиктивного анализа сбоев (PFA), интеллектуальный источник питания, функции дистанционного управления и мониторинга оборудования.
    • Поддерживаются управляющее программное обеспечение Huawei eSight и интеграция с системами управления сторонних разработчиков, например VMware vCenter, Microsoft SystemCenter и Nagios.

    Рабочая температура
    Совместимость класса ASHRAE A3 и A4. То есть RH2288 V3 работает при температуре 5°C- 45°C.

    Как можно заметить, сервер Huawei превосходит конкурентов по количеству жестких дисков. RH2288 V3 поддерживает 16 жёстких дисков форм-фактора 3.5" или 28 жёстких 2.5"-дисков. Сервер Huawei RH2288 V3 комплектуется 9 слотами расширения PCIe (один из них используется для установки RAID-контроллера).

    В конкурентных решениях слотов расширения меньше, а RAID-контроллер встроенный. SD-карта в них одна, в то время как сервер Huawei поддерживает два встроенных накопителя SATA DOM или две SD-карты. У RH2288 V3, а это уже третье поколение данной модели сервера, более широкий диапазон рабочих температур, в логах фиксируются не только проблемы, выявляемые средствами диагностики, но и такие события как открытие и закрытие шасси.

    Удалённое управление сервером производится при помощи контроллера iBMC, который функционально мало чем отличается от разработок конкурентов, но стоит отметить, что контроллер поддерживает КVM over IP c разрешением Full HD.


    Так выглядит логическая схема сервера

    Итак, приступим к распаковке. Сервер пришёл к нам вот в такой ничем не примечательной с виду коробке с фирменной эмблемой Huawei. Внутри помимо сервера оказался комплект для его установки в стойку на выдвижных рельсах — Rail Kit.



    Его конструкция продумана до мелочей: подпружиненные фиксаторы обеспечивают быстрое и надёжное крепление конструкции.

    Также была инструкция по быстрой установке сервера — Quick Start Guide (кликабельно):



    А вот и сам сервер с его солидным хранилищем — в данной комплектации это жёсткие диски SAS на 10К емкостью по 900 Гбайт и SATA на 7,2К по 2 Тбайта, плюс SSD SATA по 960 Гбайт. С таким арсеналом можно организовать тиринг — многоуровневое хранение данных.



    Отметим, что RH2288 V3 использует жёсткие диски SATA с возможностью горячей замены, жёсткие диски SAS или накопители SSD. Он поддерживает RAID 0, 1, 1E, 10, 5, 50, 6 и 60.


    Кстати, SSD от Huawei построены на флэш-памяти MLC. Их наличие позволяет ускорить работу операционной системы.



    LED-индикатор на передней панели помогает следить за «состоянием здоровья» сервера. Ниже — индикатор UID и кнопка питания. Кнопка / индикатор UID помогает идентифицировать и находить сервер в стойке. Вы можете включить или выключить индикатор UID, вручную нажав кнопку UID или дистанционно — выполнив команду в iBMC CLI. Эта кнопка также выполняет сброс iBMC.



    Извлечь накопитель просто — нужно открыть и потянуть ручку. В RH2288 V3 используются жесткие диски с возможностью горячей замены. Сервер поддерживает следующие конфигурации жесткого диска:

    • 8-дисковая конфигурация: до 8 x 2,5-дюймовых SSD или SAS / SATA HDD;
    • 8-дисковая конфигурация: до 8x 3,5-дюймовых жестких дисков SAS / SATA;
    • 12-дисковая конфигурация: до 12 х 3,5-дюймовых жестких дисков SAS / SATA;
    • 12-дисковая конфигурация: до 8 х 3,5-дюймовых жестких дисков SAS / SATA и четыре NVMe PCIe SSD;
    • 24-дисковая конфигурация: до 24 x 2,5-дюймовых SSD или SAS / SATA HDD;
    • 25-дисковая конфигурация: до 25 x 2,5-дюймовых SSD или SAS / SATA HDD.



    Таким образом, сервер может комплектоваться 25 дисками с передней панели, и все они могут подключаться к контроллеру RAID компании LSI.


    В комплекте идут диски HGST корпоративного класса.


    Корзины для накопителей HDD/SSD легко извлекаются с передней панели сервера.






    А вот нумерованные порты в отсеках шасси сервера, с которыми эти корзины стыкуются.


    Разнообразие форм-факторов и типов накопителей.


    Индикаторы состояния сетевых портов с 1 по 4



    Вентиляторы и блоки питания. В RH2288 V3 — два блока питания с возможностью горячей замены, они работают в режиме резервирования 1 + 1. Можно выбрать следующие типы блоков питания:

    • Блоки питания переменного тока: от 100 до 240 В;
    • Постоянного тока: от -48 В до -60 В;
    • 240 В постоянного тока с высоким напряжением (HVDC): 192 В до 288 В;
    • Блоки питания от 260 В до 400 В постоянного тока.

    Блоки питания обеспечивают защиту от короткого замыкания. Блоки питания на 1200 Вт позволяют серверу поддерживать самые мощные процессоры Intel.


    Для охлаждения используются парные вентиляторные модули с возможностью горячей замены.


    Продуманность до мелочей: так можно легко извлечь блоки питания.


    Внизу — порты USB, сетевой порт управления, порт VGA и последовательный порт. 4 и 5 — это стандартные слоты PCIe.


    Слева внизу — сетевые порты 1 и 2.


    Вот так сервер выглядит целиком — вид сзади.


    Ручка снятия крышки корпуса открывает доступ к внутренним компонентам системы.


    А ларчик просто открывался… Для этого в комплекте есть специальный мультитул.


    [кликабельно]

    Как водится, внутри крышки (кстати, сделана из стали) — подробные схемы и пояснения, что есть что. Здесь можно найти схему передней и задней панели сервера, материнской платы, конфигурации памяти.


    [кликабельно] Схема материнской платы с подробно расписанными компонентами.



    Подробно расписано всё, что находится на задней панели сервера, поясняются значения индикаторов.


    [кликабельно]

    В целом сервер производит довольно хорошее впечатление. Качественно выполненный корпус, хорошая сборка.






    Модули вентиляторов направляют поток воздуха на радиаторы процессоров.


    [кликабельно] Блок питания и остальная «начинка» сервера. Конструктивные решения вполне стандартные.












    Воздуховод обеспечивает правильное охлаждение компонентов сервера, прежде всего — процессоров.

    RH2288 V3 поддерживает два процессора Intel Xeon E5-2600 v3 (Haswell-EP) или E5-2600 v4 (Broadwell-EP) и 16 модулей DDR4 DIMM. Процессоры связаны шиной QPI с максимальной скоростью 9,6 ГТ / с. Управление жесткими дисками осуществляется с помощью платы контроллера RAID или PCH.


    Радиатор процессора справится с отводом тепла при любой нагрузке

    Вот как все выглядит на схеме.


    1
    Задний модуль жесткого диска
    2
    PCIe-карта на материнке
    3
    PCIe-карта на райзере
    4
    Модуль ввода-вывода
    5
    Кабельный организатор
    6
    Шасси
    7
    Блок питания
    8
    Шина блока питания
    9
    Воздуховод
    10
    Лоток суперконденсатора
    11
    Суперконденсатор
    12
    Объединительная панель дисков
    13
    Скобка вентилятора
    14
    Модуль вентилятора
    15
    Жесткий диск
    16
    Радиатор
    17
    DIMM
    18
    ЦП
    19
    RAID-контроллер
    20
    TPM (опция)
    21
    Материнская плата
    22
    SATADOM
    23
    LOM



    Как видно, компоновка довольно плотная. RH2288 V3 предусматривает два PCIe 3.0 x8 слота для стандартных PCIe-карт и поддерживает разные типы райзеров:

    1. Райзер 1 с тремя слотами PCIe3.0 x8 для следующих устройств:

    — Одна полноразмерная карта PCIe 3.0 x16 полной длины (пропускная способность: PCIe 3.0x8).
    — Одна полноразмерная карта PCIe 3.0 x8.
    — Одна полноразмерная карта PCIe 3.0 x8.

    2. Райзер 2 с двумя слотами PCIe3.0 x16 для следующих устройств:

    — Одна полноразмерная плата PCIe 3.0 x16 полной высоты.
    — Одна полноразмерная плата PCIe 3.0 x16 полной длины (пропускная способность: PCIe 3.0x8).

    Модуль ввода / вывода поддерживает следующие конфигурации:

    • Два стандартных полноразмерных полноразмерных слота PCIe 3.0 x8 и один стандартный полноразмерный слот PCIe3.0 x8 с полной высотой.
    • Два стандартных полноразмерных полноразмерных слота PCIe 3.0 x16 (пропускная способность одного из них: PCIe 3.0 x8).
    • Два 2,5-дюймовых слота для жестких дисков и один стандартный полноразмерный слот PCIe 3.0 x16 с полной длиной.
    • Два 3,5-дюймовых слота для жестких дисков.



    Процессоры интегрированы с контроллерами памяти и PCIe-контроллерами. Сервер поддерживает следующие процессоры:

    • Intel Haswell-EPE5-2600 v3 8-, 10-, 12- или 14-ядерные процессоры с максимальным термопакетом (TDP) 135 Вт.
    • Intel Broadwell-EP E5-2600 v4 8-, 10-, 12-, 14-, 16- или 18-ядерные процессоры с TDP до 135 Вт.

    Можно использовать графические ускорители GPU.

    Фишка сервера в том, что он содержит штатные райзеры для установки дополнительных плат.


    Слева — батарея контроллера. Контроллер имеет кэш ёмкостью 2 Гбайта. Через SAS-экспандер он соединяется с дисками.


    Внутри можно сервера установить 16 модулей памяти.


    В сервере стоят модули памяти по 32 Гбайта производства SK Hynix.


    В центре — тот самый фирменный контроллер iBMC.


    Суперконденсатор используется для защиты данных кэша RAID от сбоев питания.

    В заключение отметим интересную фишку вендора: две карты SD по 32 Гбайта могут объединяться в RAID 0. При выходе из строя одной карты вторая будет продолжить работать. На этих картах хранится информация, которая записывается контроллером управления iBMC, то есть в случае отказа сервера информация сбрасывается на карту, и можно посмотреть, в чём была причина сбоя. У конкурентов либо нет такого решения, либо оно стоит очень дорого. В целом же серверы Huawei по функционалу как минимум не уступают конкурентам.

    Решения Huawei для центров обработки данных помогают хостинг-провайдерам, владельцам дата-центров развивать свой бизнес благодаря оптимальной стоимости, быстрому развертыванию, интеллектуальному управлению и надежности. Так, например, в RUVDS за всё время работы с этим оборудованием ни один из серверов или их компонентов не вышел из строя, создав при этом аварийную ситуацию или, тем более, потерю данных. Отмечены лишь единичные случаи проблем с оперативной памятью и жестким диском, которые решались очень оперативно благодаря гарантии Next Business Day. Жесткие диски в RAID-массиве заменялись в горячем режиме, а замена оперативной памяти была произведена один раз и с минимальным простоем для клиентов для перезагрузки сервера. Блоки питания, процессоры, контроллеры на этих серверах в период эксплуатации из строя не выходили.

    Задавайте вопросы в комментариях.



    Кстати, нас иногда упрекают, что мы постим только переводы. Писать авторские статьи часто действительно непросто, а хочется, чтобы блог был живым. А этот пост прям авторский-авторский — если он вам понравился, то высокий рейтинг простимулирует нас писать такое почаще ;) Ну и традиционная скидочка:

    RUVDS.com 715,07
    RUVDS – хостинг VDS/VPS серверов
    Поделиться публикацией
    Комментарии 5
    • +1
      У нас десяток таких полтора года работает. За это время полетел один диск, его заменили по гарантии.

      В остальном, сначала напрягало видеть RAID BBU battery fault. Когда копнули глубже, выяснилось, что это происходит во время проверки — BBU Status=Learn Cycle Active. Learn Cycle Requested.

      Из реальных багов всплыл только один баг с мониторингом, когда под нагрузкой начинает сыпаться без остановки Mem ECC fault. Huawei саппорт указал на проблему с демоном hwismmonitord (/opt/huawei/bma/sbin/hwismmonitord). Из-за какого-то бага он падает раз в минуту, рапортуя об ошибке памяти. На серверах, где нагрузка не такая высокая, демон живёт нормально.

      • 0

        RH2288 V3 поддерживает 16 жёстких дисков форм-фактора 3.5"


        Фронтальная корзина на фото на 12. Два в задней. А ещё два где?

        • 0
          Сзади могут быть от 2 до 4 дисков.
          В моих сзади только 2, а спереди 25 2.5".

          Из доков:
          Supports the following hard disk configurations:
          • Twelve front 3.5-inch SAS or SATA HDDs and two or four rear 2.5-inch or 3.5-inch SSDs, SAS, or SATA HDDs
          • Twenty-five front 2.5-inch SSDs, SAS, or SATA HDDs and two or three rear 2.5-inch SSDs, SAS, or SATA HDDs
          • 0

            Спасибо. Вот меня и разбирает любопытство, как 4шт. 3.5" там умещаются.

      • 0
        две карты SD по 32 Гбайта могут объединяться в RAID 0. При выходе из строя одной карты вторая будет продолжить работать

        Я понимаю, что нарушения формальной логики тут нет, но явно имелось в виду что-то другое. Может быть RAID1?

        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

        Самое читаемое