Сравнение блейд-серверных платформ HP, IBM, Cisco и Hitachi, часть первая: аппаратная конструкция, охлаждение, питание



    В этом посте, разбитом для удобства на несколько частей, я проведу сравнение блейд-серверных платформ от четырех наиболее успешных в этом сегменте производителей. Сравнение не претендует на истину в последней инстанции и не является исчерпывающим – предметом рассмотрения станут наиболее важные параметры, а именно аппаратная конструкция, сетевая инфраструктура, особенности, общая стоимость системы и совокупная стоимость владения. Для сравнения используются открытые данные. Выводы о расстановке мест в сравнении будут приведены в последней части сравнения.



    В материал включены платформы

    Cisco Unified Computing System (UCS)



    HP BladeSystem c7000



    IBM BladeCenter H



    Hitachi Compute Blade 2000




    Итак, приступим.

    Аппаратная конструкция



    Cisco Unified Computing System (UCS)


    Шасси с серверами занимает в стойке 6U, при этом под центральный коммутатор требуется 1 или 2U. В единую систему можно объединить до 20 Шасси. На центральный коммутатор фабрики (Fabric Interconnect) возложены функции коммутации и управления распределенной системой. Серверы внутри шасси являются блоками масштабирования, не являются ни управляемыми, ни коммутирующими доменами. Количество серверов в шасси – 4 или 8, в зависимости от форм-фактора конкретной модели.

    HP BladeSystem c7000


    Шасси с серверами занимает в стойке 10U. Блейд-инфраструктура традиционная, коммутация осуществляется на уровне шасси. Количество серверов в шасси – до 16, в зависимости от форм-фактора конкретной модели.

    IBM BladeCenter H


    Шасси с серверами занимает в стойке 9U. Блейд-инфраструктура традиционная, коммутация осуществляется на уровне шасси. Количество серверов в шасси – до 14, в зависимости от форм-фактора конкретной модели.

    Hitachi Compute Blade 2000


    Шасси с серверами занимает в стойке 10U. Количество серверов в шасси – до 8, в зависимости от форм-фактора конкретной модели.

    Охлаждение



    Cisco Unified Computing System (UCS)


    В UCS отсутствуют управляющие и коммутирующие компоненты, что позволяет организовать каналы для прохождения потока воздуха напротив серверных слотов. За охлаждение отвечают 8 блоков вентиляторов, нагрузка может перераспределяться между ними в зависимости от интенсивности работы конкретных серверов. Система охлаждения шасси в целом хорошо продумана, при высокой плотности конструкции эффективно охлаждаются самые производительные серверы.

    HP BladeSystem c7000


    В шасси устанавливается до 2 модулей управления и до 8 модулей коммутации, так что доступная для обдува площадь поверхность шасси серьезно снижается. Однако для прохождения потоков воздуха предусмотрены воздуховоды сложной конфигурации. Задачи эффективного продува воздуха по ним возложены на 10 блоков вентиляции с перераспределением нагрузки.

    IBM BladeCenter H


    В IBM BladeCenter Н устанавливаются до 2 модулей управления и до 10 модулей коммутации. У этого шасси также сплошной бэкплейн сравнительно небольшой площади, поэтому охлаждающие потоки воздуха проходят сквозь него по сложным траекториям. От других рассматриваемых блейд-платформ IBM BladeCenter отличается наличием двух основных вентиляторов большого диаметра. Такое решение, с одной стороны, позволяет снизить скорость вращения, но с другой – не допускает гибкого перераспределения нагрузки в зависимости от тепловыделения тех или иных серверов. Установка высокопроизводительных серверов может привести к необходимости оставлять пустые слоты для лучшего охлаждения и соответствующей потере плотности.

    Hitachi Compute Blade 2000


    К сожалению, в открытых источниках подробного описания подсистемы охлаждения этого шасси нет. Внешний вид шасси позволяет с определенной долей вероятности сделать вывод о том, что решение должно быть близко к HP BladeSystem с7000, включая несколько блоков вентиляторов и закрытую заднюю часть шасси. Плотность размещения элементов у этого шасси ниже, чем у других, и за счет этого оно способно охлаждать более производительные серверы с топовыми процессорами.

    Питание



    Cisco UCS


    В шасси используется 4 блока питания, подключенные к общей шине, питающей все активные элементы шасси, включая серверы и вентиляторы. Резервирование реализовано по схеме N+N, то есть, каждый второй блок является резервным. Имеется возможность перераспределения нагрузки для повышения общей эффективности системы питания. Система питания в целом представляется сбалансированной.

    HP BladeSystem c7000


    Схема питания в HP BladeSystem c7000 в целом схожа с таковой у Cisco UCS, однако ее главное отличие состоит в количестве блоков питания – их 6. При этом плотность системы примерно в два раза выше, что говорит о несколько меньшем уровне запаса энергобюджета для питания высокопроизводительных серверове. Но дополнительным подспорьем здесь выступает фирменная технология балансировки нагрузки, она распределяется на каждый блок до тех пор, пока не потребуется подключения нового, то есть, уровень загрузки каждого блока в выбранный момент времени близок к 100%.

    IBM BladeCenter Н


    Питание IBM BladeCenter Н осуществляется по зонной схеме – каждая из двух зон в шасси питается двумя собственными блоками питания. В зону входит несколько серверных и коммутационных блоков, что повышает риски — если оба блока оказываются в одной зоне при отказе, может возникнуть сбой.

    Hitachi Compute Blade 2000


    Наиболее информационно закрытая блейд-архитектура остается темной лошадкой при использовании открытых источников. Однако, судя по заявленному максимальному энергопотреблению в 9,6 кВт, шасси имеет очень неплохой запас прочности. С другой стороны, из этих цифр можно сделать вывод о недостаточной энергоэффективности – в сравнении с другими платформами цифра крайне велика.

    Для наглядности результаты сведем в таблицы:

    Аппаратные характеристики шасси



    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 68

      0
      Отчего же SUN обидели то?
        +3
        Cisco UCS кстати, подозрительно похож на SUN.
          0
          И Cray… вообще супер-блейд, но есть и компактные для 8-10U версии…
        • UFO just landed and posted this here
            +4
            Вообще-то это очень важный параметр, так как на каждое шасси вам нужно покупать не только сервера, но и модули коммутации (сетевые свичи, SAN свичи, лицензии и тд), а это дополнительные расходы.
            • UFO just landed and posted this here
                0
                Должна быть статья на сравнение внутренней начинки и внешней. Если у авторов не получается писать всё в одной, то пусть это будет 2 статьи. Так что всё правильно. Лучше 2 разных, чем ни одной.
            +6
            Как-то очень скудненько.
              0
              признаться, я и не рассчитывал, что вводная часть привлечет столько внимания. скоро будет вторая часть, более подробная.
                0
                Помочь с описанием Dell M1000e? :)
              +2
              Ничего не скажу, но:

              1. Запала у автора едва хватило на Cisco (либо он этим оборудованием торгует), и

              2. Такое впечатление, что Cisco не имеет вообще никаких внутренних соединений, в то время как другие вендоры сделали к серверах хотя бы подведение питания и прочего — а это, конечно, должно и охлаждение ухудшать, и вообще требует сложной системы воздуховодов.

              Не хватает еще ссылок на описания этих продуктов на сайтах вендоров — они бы лишними не были.

              И еще — судя по оговорке «в открытых источниках подробного описания подсистемы охлаждения этого шасси нет», Вы не со всеми системами знакомы «лично». Тогда, и правда, жаль, что других вендоров не рассмотрели, хотя бы, так же, по «открытым источникам».
                0
                оборудованием никаким не торгую, к счастью. пожелания в будущих частях учту, спасибо за наводку.
                  0
                  Спасибо!

                  На самом деле, хорошо, что руки дошли сравнить и написать, но — сами понимаете по комментариям, народ хочет «поподробнее чуток» :)
                    0
                    приятно удивлен большим количеством отдачи, постараюсь скорее подготовить подробную вторую часть. с картинками качественными только сложновато, производители почему-то прячут их за семью замками. а мне хочется показать железки с лучшей стороны. буду рыскать по фликру, там иногда попадаются очень классные фото, однако, опять же, надо будет запрашивать разрешение на публикацию.
                  0
                  Hitachi, как правильно заметил автор, тёмная лошадка на российском рынке блейдов. Количество инсталляций в России можно пересчитать по пальцам. Говорю так, потому что работаю в системной интеграции, знаком с блейдами не по наслышке.
                  +1
                  Если говорить о блейд серверах, то мне очень нравится этот отчет Gartnet Magic Quadrant for Blade Servers.
                    0
                    хороший документ, полезный
                    +4
                    У меня при виде всего этого возникает странное ощущение — обычные супермикровские платформы дают плотность 2 сервера на юнит. Даже с учётом отдельного коммутатора, это получается выше, чем у блейдов. В чём профит использования блейдов?
                      0
                      Централизованное охлаждение, питание, управление + коммутация. Можно прикинуть на примере НР С7000 в 10вершков рекового пространства влазит 16серверов аналогичных двухюнитовым DL380 и четыре коммутационных модуля (Ethernet, Fiber etc.) Не думаю, что Супермикре такое под силу
                        +6
                        Что хорошего в «централизованном охлаждении»? Больше наворачивается при ломании системы?

                        16 серверов у супермикры займут ровно 8 юнитов (4 платформы по 4 сервера, каждая платформа — 2 U). Остаются 2 юнита — как раз место для пилота и коммутатора.

                        То есть плотность, фактически, такая же, зато в варианте супермикры нет разделяемой полосы и часть компонентов можно заменять «чем хочешь», а не быть намертво привязанным к конкретному вендору по всему стеку (например, те же IBM'ы юзают какие-то совершенно фееричные встроенные коммутаторы).

                        ЗЫ Отвечая сразу на вопрос про управляемость — все супермикры умеют ipmi.
                          +1
                          + у HP шасси также выступает единым центром управления, можно удаленно подключиться через WEB и посмотреть состояние как всего шасси, так и отдельных лезвий. Также при необходимости можно подключиться к терминалу каждого отдельного лезвия (т.е. нет необходимости в KVM).
                          Собственно вот: h20341.www2.hp.com/integrity/w1/en/software/integrity-lights-out.html
                            +2
                            У супермикры ipmi со встроенным kvm'ом. С учётом, что даже BNC-плата при определённых условиях может виснуть (и требует либо резета через ipmitool, либо аппаратного отключения сервера), независимость серверов друг от друга в платформе и плюс, и минус. Кто кого перевешивает — не знаю.
                              0
                              когда их много — плюс. парк на 5 сложных машин лично мне удобнее, чем парк на 70 разношерстных и «простых» двухъядерных нодов.
                                +2
                                Ха! Для этого облака и придумывали, чтобы не было «разношёрстных». Стоят себе линейные scaleout ряды стоек, предоставляют одни и те же ресурсы. А когда кто-то из них посылает сигнал «мне плохо», нагрузку с него мигрируют (или просто переключают, если сервер виснет), а дальше это проблема инженеров по замене серверов, и там нет ничего того, что требовало бы значительного сокращения расходов. Вынуть сервер из платформы супермикры ничуть не сложнее, чем вынуть блейд. А всё остальное и так реализуется в софте, там не нужны специальные веб-морды, чтобы убедить, что нагрузку надо на другие сервера переложить.
                                  +1
                                  вы божественным образом упустили работу по «проблеме инженеров».

                                  я говорил о разноршерстной физике, а не виртуальных «однотипных» железках.
                                  Виртуальные серваки и там и там будут формально одинаковыми. Так вас послушать — так можно ещё в 4 раза больше десктопов понаставить и всё будет в шоколаде.

                                  обслуживать физику должно быть удобно.
                                    0
                                    Как я уже сказал, «вынуть супермикру» по объёму усилий мало отличается от «вынуть хотплаг». Отжал два разъёма, потянул на себя — сервер в руках (платформа при этом продолжает быть на месте). Что в этом сложного?
                          • UFO just landed and posted this here
                              0
                              есть еще InfiniBand — удобно для построения кластеров
                                0
                                Amarao, есть так уж хочется запихнуть побольше, то у HP можно использовать doble density серверы BL2x220c, запихивается их по 32 штуки в 10U, итого 64 сокета на 10U.
                                  0
                                  Хочется поменьше в размере и подешевле. И понадёжнее, и побыстрее. И чтобы удобно.
                              0
                              Что такое «супермикровские платформы»? Потому как раздел на сайте «Серверные платформы» показывает самые заурядные поделки-самоделки.
                              И о каких 2х серверах на вершок идет речь?
                                +1
                                Twin Solutions называется
                                www.supermicro.nl/products/nfo/1UTwin.cfm
                                  0
                                    0
                                    Забавный «колхоз». 1 БП на 2 сервера, когда должно быть наоборот.
                                      0
                                      Плохо смотрите. Это одна 4U платформа, у которой ДВА БП на четыре сервера. Дохнет один — второй продолжает работать, а в это время по всем IPMI проходит кипиш на тему power failure.
                                        0
                                        2U :)
                                          0
                                          Ну да, я про 1U написал. Но даже в 2х4 конфигурации меня терзают смутные сомнения насчет работоспособности 1х4 при нештатной ситуации.
                                            0
                                            Опыт практической эксплуатации — работает при отключении одного из БД без каких-либо нареканий (кроме никому не слышного писка за шумом кулеров и срача в логах).
                                    0
                                    У HP в линейке SL тоже есть два сервера на юнит.

                                    У блейдов фишка в другом. Если в качестве интерконнекта использовать Virtual Connect, можно организовать аналог миграции виртуалок в средах виртуализации: при отказе одного лезвия, на другом может подняться полный аналог сервера, включая MAC-адреса и WWN. Причём лезвие не обязательно должно находиться в том же шасси.
                                      0
                                      Вы знаете, я тоже могу такое организовать. Без дикой перенаценки за блейд. Прописать свой mac — одна строчка в конфиге. Свой WWN — аналогично (если мы про iscsi, что там в проприентарных дебрях SCSI я не знаю).
                                        +2
                                        Вам нравится изобретать велосипед на софтверном уровне — вас ни кто не сдерживает. Не понимаете — не использовать. Всё вы можете, вот только давайте без «крестовых походов».
                                      +2
                                      Для задач, где требуется плотность нужно рассматривать два вида систем: блейд-системы и hyperscale.

                                      Блейды, если отбросить необходимость ставить не-коммуникационные PCIe, или много встроенного хранения, это полноценные серверы. Для консолидации на единицу пространства у них сделали общим всё, что только можно. Это помогает проще управлять, эффективнее питать и охлаждать. Всё резервировано и позволяет сделать высокую доступность на уровне железа. Это подходит для запуска обычных или «попсовых», если так можно выразится приложений, для котрых критичен выход узла из строя.

                                      Упомянутый SuperMicro (как и iDataPlex, HP Proliant SL, Dell C6100 :), SGI CloudRack), в основном используются для супермасштабных приложений, которые легко переживают выход из строя физического узла, или пяти, или больше :) Hadoop инсталляции, к примеру. У таких систем не требуется мощного встроенного аппаратного менеджемента, резервирования компонентов.

                                      Вот наверное концептуальное отличие — тип выполняемых задач. Понятно, что всё это стандартное оборудования и можно что угодно на чём угодно запускать.
                                        0
                                        (и после этого мне периодически говорят, что облака — это маркетинговый булшит)
                                      +3
                                      Не хватает Oracle (Sun), Fujitsu и Dell.
                                        0
                                        пока выбрал наиболее популярные в России, сложно охватить сразу все.
                                          0
                                          Всё-таки в РФ этот лист скорее выглядит так: Hewlett-Packard, IBM, Dell, T-Platforms.
                                            0
                                            я ежедневно работаю с непопулярны и платформами… O'kay…
                                          0
                                          А расскажите, как относятся эти блейд-центры с Advanced TCA?
                                            0
                                            а где Dell?

                                            Доля Hitachi и Cisco на российском рынке блейдов, прямо скажем, невелика, если не сказать «исчезающе мала».
                                              0
                                              IBM Blade Center S — спасибо, больше нам такого не надо. Очень недовольны. Очень.
                                                0
                                                Поделитесь?
                                                0
                                                Мне кажется, илил автор брал описания/картинки с сайтов и обзор оборудования сделан без самого оборудования, без сбора стенда и его тестов?

                                                Это же как лечить по фотографии =(

                                                Мы выбираем в закупку под наши нужны машины на 400 ядер/3 Тб оперативы/160 Тб ёмкости. Стравливаем вендоров по поводу технически грамотных и продуманных решений. HP, IBM, фуджик, делл, остальные вне рынка оказались.
                                                  0
                                                  А что с Cisco? Цена не подошла?
                                                    0
                                                    Знаете, ещё оракловое оборудование можно посмотреть. Или какую-нибудь другую экзотику.

                                                    Мне это потом поддерживать, я хочу хелпы в интернете и нормальный саппарт от конторы. Все маркетинговый финты цыски в духе платы за новую прошивку своего же железа сыграли с ними злую шутку. Они выпали из рассмотрения.

                                                    И супермикру мы тоже не рассматриваем, ибо надежность брендового выше ощутимо. Цена лично мне не важна вообще, это госденьги.
                                                      0
                                                      Ага, спасибо. Скорее соглашусь с такой мотивацией, маркетинг (его адекватность, а не количество) и ценообразование губят хорошую, в целом, идею
                                                        0
                                                        А вроде все хвалят UCS именно за низкую цену…
                                                          0
                                                          У них цена низкая становится при заполнении одного шкафа. И то скорее не низкая, а конкурентоспособная. USC рассчитан на датацентры, ориентация на шкаф как минимальную единицу (на самом деле коммуникационное оборудование одного шкафа потянет несколько шкафов) делает порог вхождения довольно высоким. Cisco дает хорошие скидки от листовых цен, борясь с HP и IBM, но «стандартные» (один ЦОД, серверное оборудование в одном-двух шкафах) коммерческие организации все равно предпочитают привычные решения, обладающие меньшей гранулярностью.
                                                  0
                                                  Кстати, а это Хитачи делает блейды для ИБМ или наоборот?
                                                    0
                                                    имхо/обс Hitachi для IBM
                                                    0
                                                    Мало.
                                                    У HP между прочем есть блейды BL2x220c G7. Таких в 7000 шасси влезает 32 штуки.
                                                    По блокам питания у HP также поддерживается отказоустойчивость в режиме N+N.
                                                    Кажется выше уже писали, что у Cisco шасси не без коммутирующих устройств. Там есть два fabric extender'a.
                                                    Для общего развития советую почитать эту «статью».
                                                      +3
                                                      Работаю с HP (было 4 корзины), IBM (10 корзин), Supermicro (россыпью)
                                                      HP перестали покупать ибо оно настолько умное — что firmware глючит атомно, вплоть до ситуаций когда лезвие полностью теряется и для восстановления работы его надо вытаскивать из корзины и пихать обратно. Корзинки красивые, модные, с кучей функционала и бохатым веб интерфейсом. Жрет электропитание на все деньги, три корзины в стойку — 8 киловат нагрузки и немой укор от начальника серверного зала. В общем если денег дофига — ваш выбор.

                                                      IBM — простой как топор. Работает, жрать не просит. Иногда глючит remote control — если прошивка AMM новая, а лезвие предыдущего поколения с аналоговой видеокартой. В целом софт стабильнее HP, но бывают заморочки с потерей management module целиком. Электричество очень бережет. 3-4 корзины в стойку, нагрузка в районе 5-6 киловат. Для моих задач оказался оптимален.

                                                      Supermicro — это когда проект надо сделать ну сильно недорогим. Пофиг на фирмовые винты по 400 долларов и гарантию брендов. Собираем из тех процов и винтов что будут в продаже в никсе. Берем пару запасных машин и все ок. Отказов платформ или БП за 5 лет работы не видел ниразу. Да и за такие деньги — это не проблема выбросил и новый купил. Электричество? да кто его там считает и меряет, пихаем в стойку пока не получим запрет от начальника зала на добавление новых машин :)
                                                        0
                                                        Подчерпнул из этого комментария много больше чем из текста поста
                                                          0
                                                          В догонку:
                                                            0
                                                            Каждое железячное решение и вендор хороши для своих задач, и выбор строить надо исходя из бюджетов, принятой инженерной культуры и стратегии развития IT. HP в среднем выходит дороже IBM, супермикро так вообще low budget. Если вы всю жизнь покупали HP — то не факт что переход на IBM будет мудрым решением, и уж тем более не стоит переходить на блейды от супермикры, т.к. такой экстремизм потянет за собой и инфраструктурные изменения и глюки сетевой совместимости разных вендоров и т.п.
                                                          0
                                                          Всегда раньше думал что блейд сервер это нечто тонкое но длинное и широкое, как лезвие бритвы, но HP и Hitach видимо думают по-другому)
                                                            0
                                                            У HP есть лезвия полной высоты, на картинке — половинные.

                                                            Просто нынче половинные намного популярнее стали, ибо мощности их давно хватает, а плотность удваивается!
                                                            0
                                                            Невзирая на обещание обзора по Hitachi Compute Blade 2000, на иллюстрации мы видим пятисоточку
                                                            www.hds.com/products/compute-blade/compute-blade-500.html
                                                            Вот для сравнения двухтысячная модель:
                                                            www.hds.com/products/compute-blade/compute-blade-2000.html?WT.ac=us_mg_pro_cb2000
                                                            Раз нас интересует HCB 500, то у нее
                                                            блоков охлаждения — 6шт
                                                            блоков питания (N+1) — 4шт
                                                            для HCB 2000
                                                            блоков охлаждения — 8шт
                                                            блоков питания (N+1) — 4шт

                                                            Дальше докапываться не буду, пока автор не определится с обозреваемой моделью. =)
                                                              0
                                                              Замечательный блог именно про blade сервера: Blades Made Simple. Всем рекомендую!

                                                              Only users with full accounts can post comments. Log in, please.