Конспект админа: блеск и нищета блейд-систем

    image alt text


    В Конспекте мы часто обходим стороной enterprise-технологии из-за их малой применимости в не столь масштабных проектах. Но сегодняшняя статья – исключение, потому что речь пойдет о модульных системах, "блейдах".


    Не так много архитектурных изысков в IT-мире, которые были бы окутаны большим ореолом "невероятной крутости" и сравнимым набором мифов. Поэтому не буду усложнять еще больше, и просто расскажу об особенностях и применимости такого рода систем на практике.


    LEGO для инженера


    Блейд-сервер почти обычный сервер, в котором есть привычная материнская плата, оперативная память, процессоры и множество вспомогательных систем и адаптеров. Но "почти" заключается в том, что такой сервер не предназначен для автономной работы и поставляется в специальном компактном корпусе для установки в специальное шасси.


    Шасси – или "корзина" – ни что иное, как большой короб с посадочными местами для серверов и дополнительных модулей. Все серверы и компоненты соединены при помощи большой коммутационной платы (Backplane) и образуют блейд-систему.


    Если разобрать всю систему на составляющие, то на столе окажется следующая горка:


    • Блейд-серверы (лезвия) – серверы без блоков питания, вентиляторов, сетевых разъемов и модулей управления;


    • Шасси – корпус и бэкплейн;


    • Системы питания и охлаждения для всех компонентов системы;


    • Коммутационные устройства для связи с внешним миром;


    • Модули управления (различные вариации на тему IPMI).

    От обычного серверного шкафа все это добро отличается компактными размерами (обычно 6-10U) и высоким уровнем надежности, так как все компоненты могут быть зарезервированы. Здесь, кстати, кроется один из мифов: десяток лезвий не собирается в один большой сервер. Это будет просто десяток серверов с общей инфраструктурой.


    К слову, у HPE есть решения, напоминающие традиционные blade-серверы – HPE Superdome. В качестве лезвий там используются процессорные модули с оперативной памятью. В таких решениях вся система действительно представляет собой один высокопроизводительный сервер.

    Нюансы архитектурных решений разных производителей блейд-систем уже обсуждались на Хабре (статья хоть и старая, но в своих основах актуальная), поэтому я для иллюстрации использую блейд-систему от HPE – BladeSystem c7000.


    В роли лезвий могут выступать:


    • Обычные серверы, вроде HPE ProLiant BL460c Gen9 (аналог стоечного HPE ProLiant DL360 Gen9);


    • Дисковые массивы – например, HPЕ StorageWorks D2200sb, в который можно установить до 12 дисков 2,5’’. Так легко и непринужденно нескольким серверам можно выдать общее DAS-хранилище;


    • Коммутаторы SAN для доступа к внешним системам хранения и полноценные NAS-серверы – например, HPE StorageWorks X1800sb;


    • Ленточные устройства.

    На картинке ниже изображена полностью укомплектованная система HPE BladeSystem c7000. Расположение компонентов понятно и так – обратите только внимание на секцию Interconnect modules. В каждый ряд устанавливается отказоустойчивая пара сетевых устройств или pass-thru модулей для простого проброса серверных сетевых интерфейсов наружу.


    image alt text


    В компактное лезвие HPE ProLiant BL460c Gen8 помещается только два диска 2,5’’. Для большей красоты вместо дисков можно использовать сетевую загрузку с дисковой системы SAN или PXE.


    image alt text


    Ниже изображена более компактная блейд-система от IBM. Общие принципы те же, хоты расположение узлов тут отличается:


    image alt text


    Интереснее всего в блейдах, на мой взгляд, сетевая составляющая. С использованием модных конвергентных коммутаторов можно творить настоящие чудеса с внутренней сетью блейд-системы.


    Немного сетевой и Enterprise магии


    В качестве сетевых модулей могут выступать специальные коммутаторы Ethernet или SAS, либо умеющие и то и другое. Разумеется, в блейд-систему нельзя установить обыкновенный коммутатор, но совместимые модели производятся привычными брендами. Например "великолепной тройкой" HPE, Cisco, Brocade. В самом простом случае это будут просто модули доступа к сети, выводящие все 16 лезвий наружу через 16 портов Ethernet – HPE Pass-Thru.


    image alt text


    Такой модуль не уменьшит количество сетевых проводов, но позволит подключиться к корпоративной LAN с минимальными вложениями. Если же вместо него использовать недорогой Cisco Catalyst 3020 с 8 портами 1GbE Ethernet и 4 портами 1GbE SFP, то к общей сети нужно будет подключить лишь несколько общих портов шасси.


    image alt text


    Такие сетевые устройства своими возможностями не отличаются от обычных. Значительно интереснее выглядят модули HPE Virtual Connect (VC). Главная их особенность – возможность создавать несколько отдельных сетей с гибким распределением полосы пропускания LAN и SAN. Например, можно подвести к шасси 10GbE и "нарезать" из него 6 гигабитных LAN и один 4Gb SAN.


    image alt text


    При этом VC поддерживает до четырех подключений к каждому серверу, что открывает определенные просторы для творчества и сборки кластеров. Подобные решения есть и у других производителей – нечто подобное от Lenovo называется IBM BladeCenter Virtual Fabric.


    Вопреки расхожему мнению, сами по себе блейды не отличаются от обычных серверов, и никаких особых превосходств в плане виртуализации не предоставляют. Интересные возможности появляются только с использованием специальных, vendor-locked технологий, вроде VC от HPE или LPAR от Hitachi.

    Несколько IPMI из одной консоли


    Для настройки блейд-серверов можно использовать встроенные модули аппаратного управления BMC (iLO в случае HPE). Механизм администрирования и удаленного подключения мало отличается от обычного сервера, но сами управляющие модули Onboard Administrator (OA) могут резервировать друг друга и предоставляют единую точку входа для управления всеми устройствами в шасси.


    OA могут быть со встроенной консолью KVM для подключения внешнего монитора, либо с одним лишь сетевым интерфейсом.


    image alt text


    В общем и целом, администрирование через OA выглядит следующим образом:


    1. Вы подключаетесь к веб-интерфейсу консоли Onboard Administrator. Здесь можно посмотреть состояние всех подсистем, отключить или извлечь лезвие, обновить прошивку и т.п.


    2. Если нужно добраться до консоли конкретного сервера – выбираете его в списке оборудования и подключаетесь к его собственному iLO. Тут уже весь привычный набор IPMI, включая доступ к образам и перезагрузку.


      image alt text



    Еще лучше – подключить блейд-систему к внешнему управляющему ПО вроде HPE Insight Control или сменившей ее OneView. Тогда можно настроить автоматическую установку операционной системы на новое лезвие и распределение нагрузки кластера.


    К слову о надежности – блейды ломаются точно так же, как обычные серверы. Поэтому при заказе конфигурации не пренебрегайте резервированием компонентов и внимательным изучением инструкций по прошивке. Если подвисший Onboard Administrator доставит лишь неудобства администратору, то неправильное обновление прошивок всех элементов блейд-системы чревато ее неработоспособностью.


    Но за всей этой магией мы совсем забыли о приземленных материях.


    Нужен ли блейд в вашей компании


    Высокая плотность, небольшое количество проводов, управление из одной точки – это все хорошо, но оценим и стоимость решения. Предположим, в абстрактной организации нужно запустить разом 10 одинаковых серверов. Сравним стоимость блейдов и традиционных стоечных моделей HPE ProLiant DL. Для простоты оценки не беру в расчет стоимость жестких дисков и сетевого оборудования.


    Блейды:


    Наименование Модель Количество Стоимость
    Шасси HPE BladeSystem c7000 1 603 125 ₽
    Блок питания 2400W 4 -
    Модуль управления HPE Onboard Administrator 1 -
    Модуль сети HPE Pass-Thru 2 211 250 ₽
    Лезвие HPE ProLiant BL460c Gen8 10 4 491 900 ₽
    Процессор Intel Xeon E5-2620 20 -
    Оперативная память 8 Гб ECC Reg 40 -
    Итого: 5 306 275 ₽

    Цены актуальны на 06.02.2017, источник – STSS
    Аналоги – HP ProLiant DL360p Gen8:


    Наименование Модель Количество Стоимость
    Платформа HP ProLiant DL360p Gen8 10 3 469 410 ₽
    Процессор Intel Xeon E5-2620 20 -
    Блок питания 460W 20 -
    Оперативная память 8 Гб ECC Reg 40 -
    Итого 3 469 410 ₽

    Цены актуальны на 06.02.2017, источник – STSS


    Разница почти в два миллиона рублей, при этом я не закладывал полную отказоустойчивость: дополнительный модуль управления и, в идеале, еще одно шасси. Плюс, лишаемся удобной сетевой коммутации из-за использования самых дешевых pass-thru модулей для простого вывода сетевых интерфейсов серверов наружу. VIrtual Connect был бы здесь более уместен, но цена…
    Получается, что "в лоб" экономии не выйдет, поэтому перейдем к остальным плюсам и минусам блейдов.


    Еще немного аргументов


    К очевидным плюсам блейд-систем можно отнести:


    • Плотность установки. Если нужно много-много серверов в одном ДЦ, блейды похожи на спасение;


    • Аккуратная и компактная кабельная инфраструктура за счет гибкой внутренней коммутации блейдов;


    • Удобство управления – всей корзиной можно управлять из одной консоли и без установки дополнительного ПО;


    • Легкая установка новых лезвий, пока есть место в шасси – прямо как с дисками в корзинах с горячей заменой. В теории, можно сразу при установке лезвия загружать настроенную систему по PXE и распределять ресурсы в кластере;


    • Надежность. Практически все узлы могут быть зарезервированы.

    Но как же без минусов:


    • Ограниченность лезвия. Если нужен сервер с четырьмя процессорами и большим количеством локальных жестких дисков (например, NMVE SSD), то установка столь крупного лезвия в четверть всей емкости шасси делает бессмысленным использование корзины высокой плотности;


    • Надежность. Несмотря на дублирование компонентов присутствует единая точка отказа – коммуникационная плата (бэкплейн) шасси. При сбое могут отказать все лезвия;


    • Невозможность разделения. Если нужно создать территориально распределенный кластер, нельзя просто вытащить и перевезти половину серверов – потребуется еще одно шасси;


    • Стоимость. Само по себе шасси стоит как три лезвия, а лезвие стоит как полноценный сервер.

    Так что же выбрать


    Блейды очень органично смотрятся в действительно крупных ЦОД, вроде хостинговых компаний. В таких сценариях на первое место выходит скорость масштабирования и максимальная плотность размещения оборудования – экономия на пространстве и администрировании вполне может окупить и корзину, и всякие Virtual Connect.


    В остальных случаях более разумным и универсальным видится применение обычных стоечных серверов. Кроме того, широкое распространение быстрых систем виртуализации еще больше снизило популярность блейдов, так как большинство приложений можно "уплотнить" и с помощью виртуальных серверов. Что уж говорить, управлять виртуальными машинами еще удобнее, чем блейдами.


    Если вам доводилось использовать блейд-системы в не самых крупных компаниях – поделитесь впечатлениями от администрирования.

    Сервер Молл
    серверы HP, Dell и Lenovo: новые и восстановленные

    Comments 21

      0
      Изображение подобрано просто великолепно.
        +1
        Ну и чтобы не отвлекаться от темы: впечатления от использования c7000 и BladeCenter-H только положительные. Хотя, как по мне, блейды от HPE более просты и приятны в управлении.
        +1
        в «больших дата центрах» не используют блейды, блейды всегда был продуктом для «корпораций»
        с7000 это уже не актуальное шасси =), в новом шасси плотность серверов уменьшили…
        на блейды HP под проект всегда дают скидку, и в этом случаи на прайс смотреть не правильно.
        когда придет время менять сервера — рековые сервера легко можно продать, блейды вы никому не впарите ))))

          0
          С другой стороны б/ушный с7000 стоит откровенные копейки. Как и лезвия к нему. По сравнению с б/у серверами лезвия прям рвут в клочья. Особенно если задумал свой хостинг на коло.
          +1
          А теперь берём и открываем какого-нибудь другого поставщика HP. И видим такие цены за штуку: блейд-сервер стоит примерно 120 тысяч, классический — 140 тысяч. Те же модели, что и в статье, но 16GB памяти. И, внезапно, разница в цене за полный комплект стала не такой уж и большой.
            +2
            Аналоги – HP ProLiant DL360p Gen8:

            Прямое сравнение цен с учетом любимых корпоративных игр со скидками не слишком осмысленно, но, если уж подбираете "аналог", хотя бы на конфиг внимание обращайте, пожалуйста. В блейде из коробки 2x10Gbit конвергентная сеть, в стоечном сервере — 4xGbit Ethernet, какие уж тут аналоги...

              0
              И кстати, некоторые производители делают блейды, которые можно объединять в один большой сервер несколько лезвий. Например Hitachi позволяет до 4 лезвий объединять.
                –4
                Дружественная контора хостила у нас свою корзину с лезвиями. Впечатления самые негативные. В аппаратной невозможно стало разговаривать, т.к. ревет корзина как реактивный двигатель; пришлось ставить ей отдельный UPS, т.к. мощности стандартного в стойке не хватало; тянуть к новому UPS отдельный кабель питания. Ну и судя по активности светодиодов на лицевой панели работал у них всего один сервер. Съехали и слава Богу.
                  +5
                  Друг купил машину на замену своей лошади. Впечатления самые негативные. Пытался засыпать овёс в бак — он размок и забил бензонасос. Пришлось чинить. Попытался поставить в стойло — не влезает, пришлось перестраивать всю конюшню, да и асфальт класть до нее.
                  Чтобы ветер обдувал лицо надо опускать все стекла, причем дует только сбоку, лобовое не опускается. Поменял обратно на лошадь и слава Богу!

                  По теме:
                  Аппаратная не для того, чтобы разговаривать. Если вы хотите увеличить плотность компоновки, очевидно, что придется подводить туда больше питания и охлаждения. Как вы хотели иначе? Просто думать об этом надо до проекта, а не после.
                    –4

                    Спасибо, посмеялся. Я ж про эффективность писал. Корзина ела ~5кВт, а задачи выполняла как 300Вт сервер.

                      +2
                      Коллега ниже прав, в случае ошибок в системе управления (management платы, например) или в системе охлаждения (вентилятор вышел из строя) система автоматически включает охлаждение на полную. В этот момент даже стоять рядом неприятно=)
                      Если в корзине работает только один сервер, то электричество будет кушать он, блоки питания и коммутаторы шасси. Это не 5кВт. Раз корзина ест 5кВт — значит работают все лезвия, но что-то с ними не так.

                      В общем дело не в том, что это блейд-корзина, а в правильной настройке и эксплуатации=)
                        0

                        У нас в стойке 2U Juniper стоит. на включении и продувке под вентиляторами стоять нереально — сдувает не только меня, но и сотрудника который весом под 120кг...

                    +1
                    Скорее всего, та корзина работала в нештатном режиме (ошибки в системе на которые забили) и неуправляемые вентиляторы работали на полную катушку. К питанию корзины конечно предъявляются большие требования чем к обычному серверу т.к. в ней по сути может быть установлено 16 обычных серверов + коммутаторы. Из того что видел я, обычно не переваливало за 2-3 кВт для полностью забитой корзины.
                    +2
                    Надежность. Несмотря на дублирование компонентов присутствует единая точка отказа – коммуникационная плата (бэкплейн) шасси.

                    Простите, немного поправлю Вас.
                    Плата стоящая посреди корпуса обычно называется midplane. Хотя в с7000 есть И midplane И backplane… 8-)

                    Касательно надёжности.
                    Обычно, при проектировании подобных систем стараются с midplane и backplane вынести всю активку, чтобы в них просто нечему было ломаться. В c7000 именно так и сделано (стр 4).

                    Невозможность разделения. Если нужно создать территориально распределенный кластер, нельзя просто вытащить и перевезти половину серверов – потребуется еще одно шасси;

                    Стоимость. Само по себе шасси стоит как три лезвия, а лезвие стоит как полноценный сервер.

                    Добавлю — шасси с аналогичной набивкой (коммутаторы, блоки питания и т.п.), которая стоит недёшево.
                    Само по себе шасси задёшево купить не очень сложно — у вендоров регулярно бывают акции типа «купи два лезвия и получи шасси за $1». Ну а в общем случае — если есть время, а у работодателя есть деньги — можно устроить красивую развлекуху под названием «торг с вендором» и существенно снизить общий ценник.

                    К минусам я бы добавил, что blade системы это классический случай vendor lock. «Неродные» компоненты в blade шасси в большинстве случаев не воткнёшь из-за нестандартных посадочных размеров. Использовать возможности интегрированной периферии (коммутаторов и пр.) внешними серверами также бывает сложно из-за малого количества внешних портов.

                      0

                      Еще одно уточнение, чаще всего в блейдах два мидплейна, т.ч. единой точкой отказа становится админ :)

                      0
                      Меня всё время вот какой вопрос интересовал: про блейды пишут часто, что мол плотность установки высокая и т.д., но они же жрут при этом много. Пусть даже 10 юнитов в стойке, и 5кВт — это же половина мощности, подводимой к стойке в среднестатистическом датацентре. Получается, что реально то занять можно 20 юнитов всего, а ещё 20 будут простаивать. Ну и где тут обещанная высокая плотность?
                        0
                        Так это и есть высокая плотность. Больше единиц оборудования в меньшем объеме (В С7000 16 серверов на 10 юнитов) и следовательно, больше энергопотребление в меньшем объеме.

                        Другое дело, что среднестатистические датацентры рассчитываются на малое энергопотребление, а не на высокую производительность оборудования, отсюда и лимиты в 10кВт на стойку.

                        Что по охлаждению, то воздухом можно снять 20-25кВт со стойки. Системами на подобие с водяной дверью порядка 40кВт, а водой до 400кВт (рекорд РСК).

                        Так что если Вы лимитированы питанием и/или охлаждением, то высокоплотные системы просто не для Ваших задач, а если Вам нужна высокая плотность, то Вас уже не заботят стандартные датацентры, а инженерная инфраструктура подгоняется под используемое оборудование.
                        0
                        Идея блейдов конечно красивая, но вот реализация подкачала. Отдавать 6 юнитов под корзину, когда тебе чаще всего не все забивать… жесть. Лично для себя сейчас нашел fx2 от Dell-а. Вот тут действительно на мой взгляд хорошее совмещение и экономия места.
                          0

                          В реальности в стандартный шкаф в датацентре можно поместить 2, максимум 3 блейд центра, в первую очередь из соображений теплоотвода. Причём с учетом подачи холодного воздуха через люк под шкафом, чем выше стоит блейд центр, тем хуже у него температурный режим. Для обычных серверов это тоже актуально, но за счёт большей плотности компонент у блейдов эффект проявляется много раньше. Если шасси 10U, то больше 3х не поставишь ещё и потому что в шкафу 42U, и 2U будет явно не хватать для подачи воздуха снизу в шкаф. С питанием тоже отдельная песня, БП мощные и рассчитаны на высокие токи, которые весьма сложно коммутировать и для питания необходимо будет покупать дополнительно компоненты, так как штатные, предоставленные датацентром, будут не проходить по токам. Ещё и модернизация сети питания шкафов в датацентре может оказаться необходимой

                            0
                            Сравнивание BL460c vc DL360p произведено в принципе в равновесном обвесе
                            Но есть несколько моментов:
                            В классику можно воткнуть горячие процессора с TDP вплоть до E7-8894 v4 / E5-4669 v4
                            Можно GPU вставить правда в DL360e
                            Цена $/юнит и энергоэффективность не в пользу классики
                              0
                              А диски в эти блейды фирменные ставятся, или обычные sata тоже подойдут?
                              А то тут понакупали у нас «фирменного» оборудования пару лет назад, теперь плачут, что диски стоят как чугунные мосты и покупают теперь не vendor lock-in железку из-за этого…

                              Only users with full accounts can post comments. Log in, please.