HA (High Available) кластер VMware vSphere на блейд-серверах HP BL460c и EVA

    Практическим применением знаний о работе с массивами EVA и iLO в серверах ProLiant, которые вы получили чуть раньше, может стать развертывание высокодоступного кластера на vSphere.

    Кластер может использоваться для предприятий среднего и крупного размера, чтобы уменьшить время внеплановых простоев. Поскольку для бизнеса важны такие параметры как доступность его сервиса или услуги клиенту в режиме 24x7, то такое решение основывается на кластере высокой доступности. В кластер всегда входят как минимум 2 сервера. В нашем решении серверы под управлением VMware отслеживают состояние друг друга, при этом в каждый момент времени ведущим будет только один из них, на нем будет разворачиваться виртальная машина с нашим бизнес-приложением. В случае отказа ведущего сервера его роль автоматически принимает второй, при этом для заказчика доступ к бизнес-приложению практически не прерывается.



    1. Описание задачи


    В данном примере мы опишем процесс создания высокодоступного кластера VMware на блейд-серверах BL460c G7. Оборудование состоит из блейд-корзины HP c7000 и двух блейд-серверов BL460c G7, где скофигурирован VMware HA(High Available)-кластер. В демо-центре HP в Москве сейчас доступны только модели блейд-серверов G7, но на основе описанного примера можно собрать кластер и на новых блейд-серверах Gen8. Конфигурирование, в целом, не будет различаться. Система хранения – HP EVA 4400. Для Ethernet и Fibre Channel подключений в корзине c7000 установлены 2 модуля HP Virtual Connect Flex Fabric в отсеках 1 и 2.

    2. Описание компонентов



    Virtual Connect FlexFabric — конвергентный виртуализированный модуль ввода/вывода для блейд-корзины с7000.

    Модуль HP Virtual Connect FlexFabric использует технологии Flex-10, FCoE, Accelerated iSCSI для коммутации блейд-серверов и сетевой инфраструктуры (SAN и LAN) со скоростью 10Gb.

    Из возможностей: перенос «профилей» (таблица MAC и WWN серверов) не только между разными лезвиями в шасси, но и на удалённые сайты, где есть такой же блейд-сервер.

    Так же при использовании Virtual Connect каждый из двух портов сетевой карты блейд-сервера можно делить на 4 виртуальных порта 1GbE/10GbE/8Gb FC/iSCSI общей пропускной способностью 10GbE на порт. Это позволяет получить от 8 виртуальных портов на сервер (на BL460с G7), которые необходимо задавать при первой инициализации.

    Единственное ограничение в том, что HP Virtual Connect FlexFabric не являются полноценными коммутаторами. Это аггрегаторы, для работы которых необходимо иметь отдельные Ethernet- и SAN-свитчи (в последней прошивке, правда, появилась возможность Direct Connect с HP P10000 3PAR).

    Общий вид использованного оборудования отражается в Onboard Administrator.



    Интегрированная в ProLiant BL460c G7 карта NC553i Dual Port FlexFabric 10Gb может работать с модулями HP Virtual Connect FlexFabric напрямую, без дополнительных мезонин-карт. Два модуля HP Virtual Connect FlexFabric установлены для отказоустойчивости путей связи связи блейд-серверов с системой хранения EVA 4400 и Ethernet-коммутаторами.

    В данном примере будем рассматривать сценарий, когда трафик от модуля HP Virtual Connect FlexFabric разделяется на Ethernet-коммутаторы и FC-фабрику. FCoE в этом случае используется для коммутации модулей с блейд-серверами внутри корзины.

    Для работы с различными протоколами модулям HP Virtual Connect FlexFabric необходимы трансиверы. В этом примере 4 Gb FC SFP трансиверы были установлены в порты 1 и 2 на каждом из модулей, а 10 Gb SFP+ трансиверы были установлены в порты 4 и 5. 10GbE-каналы использованы в данном тесте чтобы задействовать сетевое оборудование в нашем демо-центре.



    Диаграмма показывает, что 3 порта сетевого адаптера NC553i Dual Port FlexFabric 10Gb сконфигурированы как FlexNIC для взаимодействия виртуальных машин между собой и для подключения к сетевой инфраструктуре. Оставшийся порт был сконфигурирован как FCoE для связи с SAN-инфраструктурой и системой хранения EVA 4400.

    Вместе с каждым Virtual Connect модулем поставляется ПО для управления HP Virtual Connect Manager, для Enterprise модулей – HP Virtual Connect Enterprise Manager. С помощью Enterprise Manager можно управлять из одной консоли до 256 доменами (1 домен — 4 Blade системы с Virtual Connect).

    После подключения модуля необходимо его сконфигурировать. Делается это либо подключением к Onboard Administrator самой корзины, либо по IP-адресу, который назначается модулю по умолчанию на заводе.

    3. Настройка профилей в Virtual Connect Manager




    После подключения HP FlexFabric мы должны определить домен, Ethernet-сеть, SAN-фабрику и серверные профили для хостов. Эти настройки производятся в HP Virtual Connect Manager или в командной строке. В нашем примере домен уже был создан, поэтому следующим шагом будет определение VC Sharing Uplink Sets для поддержки Ethernet сетей виртуальных машин с именами HTC-77-A и HTC-77-B. Включаем “Map VLAN tags” функцию в мастере установки.



    Функция “Map VLAN tags” дает возможность использовать один физический интерфейс для работы с множеством сетей, используя Shared Uplink Set. Таким образом можно настроить множество VLANs на интерфейсе сетевой карты сервера. Параметры Shared Uplink Sets были заданы в мастере установки VCM. Пример задания SUS:





    Обе сети «HTC-77-A» и «HTC-MGMT-A» были назначены: VLAN_Uplink_1 на порт 5 модуля 1; второй Shared Uplink Set (VLAN_Uplink_2) был назначен на порт 5 модуля 2, и включает в себя сети HTC-77-B (VLAN 20) и HTC-MGMT-B (VLAN 21). Пример создания сетей Ethernet в VCM:



    Модуль HP Virtual Connect может создавать внутренную сеть без аплинков, используя высокопроизводительные 10Gb соединения с бэкплейном корзины с7000. Внутренняя сеть может быть использована для VMware vMotion, а также для организации отказоустойчивости сети. Трафик этой сети не выходит на внешние порты корзины c7000. В нашем случае были настроены 2 сети VMware vMotion. Для консоли управления были настроены две сети с именами HP-MGMT-A и HP-MGMT-B. Порт 6 модулей HP Virtual Connect FlexFabric в отсетках 1 и 2 был использован для подключения к консоли управления.



    После этого начинается настройка фабрики SAN. Все довольно просто: в VCM выбрать Define – SAN Fabric. Выбираем SAN-1 модуль в отсеке 1, порт X1. Для второго модуля SAN-2 порт также X1. Пример настройки SAN:





    Последним шагом будет «склеивание» всех ранее сделанных настроек в серверный профиль. Это можно сделать несколькими способами: например, через web-интерфейс VCM или через командную строку Virtual Connect – Virtual Connect Scripting Utility (VCSU). Перед установкой ОС необходимо проверить, что все системные, NIC и FC драйверы обновлены, а все параметры сети заданы. Пример создания профиля в CVM:



    В VCM выбираем Define – Server Profile, вводим имя профиля и выбираем сетевые подключения профиля из созданных ранее.



    В нашем случае все порты были назначены нами заранее: 6 Ethernet портов и 2 SAN порта на каждый профиль. Профили для отсека 11 и 12 идентичны, т.е. каждый сервер видит один и тот же набор портов. Суммарная скорость не превышает 10Гб/с на каждый порт сетевой карты сервера.

    Если в будущем планируется расширение сети, то рекомендуется назначить нераспределенные (unassigned) порты в профиле. Делая так, можно в дальнейшем активировать эти порты без выключения и перезагрузки сервера.



    При создании профиля по умолчанию доступны только 2 порта в разделе Ethernet. Чтобы добавить больше, необходимо вызвать контекстное меню правой кнопкой мыши и выбрать “Add connection”.

    Назначаем скорость для каждого типа портов: портам управления – 500Mb/s, портам vMotion – 1Gb/s, портам SAN – 4Gb/s и портам виртуальных машин – 4.5Gb/s.

    После создания профилей они привязываются к блейд-отсеку корзины в этом же меню.



    4. Настройка кластера VMware


    На этом настройки корзины завершены. Далее происходит удаленное подключение к самим блейдам и разворачивание VMware ESX 5.0, пример удаленной установки ОС на серверы ProLiant через iLO уже был описан.

    В нашем случае вместо Windows в выпадающем меню установщика выбирается VMware и указывается путь к дистрибутиву.

    После установки сервер перезагружается и можно приступать к настройке виртуальных машин. Для этого подключаемся к серверу ESX. Заходим в раздел Configuration, создаем 6 vmnics на каждый хост, как и в модуле Virtual Connect: Service Console (vSwitch0), VM Network (vSwitch1), vMotion (vSwitch2). Таким образом мы получаем отказоустойчивую конфигурацию, где каждой сети соответствую 2 vmnics.



    Как только добавляются vmnics можно заметить, что каждому адаптеру автоматически задается скорость, заданная в серверном профиле, при конфигурации в Virtual Connect Manager.



    После добавления vmnics объединяем их в группу с помощью vSwitch: вкладка Port – в поле Configuration выбираем vSwitch – Edit, выбираем NIC Teaming, убеждаемся, что оба vmnics видны. Балансировку нагрузки выбираем «Route based on the originating virtual port ID» — эти настройки рекомендуется ставить по умолчанию (подробнее об этом методе можно прочесть на сайте VMware.



    5. Настройка дискового массива EVA 4400


    В предыдущем обзоре было рассказано как работать с интерфейсом управления дисковыми массивами EVA — Command View.



    В данном примере мы создаем LUN размером в 500 ГБ, который разделяется между двумя хостами виртуальных машин. По описанному в предыдущей статье методу создается виртуальный диск и презентуется двум хостам ESX. Размер LUN определяется типом ОС и ролями, которые данный кластер будет выполнять. Обязательным условием для кластера (в частности, для VMware vMotion) – LUN должен быть разделяемым. Новый LUN должен быть отформатирован в VMFS, и функция Raw Device mappings (RDMs) для виртуальных машин должна быть задействована.

    6. Внедрение VMware HA и VMware vMotion


    HP Virtual Connect в сочетании с VMware vMotion дает тот же уровень избыточности, как при использовании двух модулей VC-FC и двух модулей VC-Eth, за исключением того, что только 2 модуля HP FlexFabric необходимы. HP Virtual Connect FlexFabric дает возможность организовать отказоустойчивые пути к общему LUN и отказоустойчивого объединения сетевых интерфейсов (NIC Teaming) для работы в сети. Все настройки VMware vSphere отвечают Best Practices описанным в документе.

    Была проведена проверка на доступность кластера. На одном из хостов была развернута виртуальная машина Windows 2008 Server R2.





    Виртуальная машина вручную несколько раз была смигрирована с одного сервера на другой, во время мигации кластер оставался доступным.



    Схема кластера:



    HTC DC – наш DC, Demo-FlexFabric Cluster – наш кластер, Demo-ESX1 и Demo-ESX2 – хосты VMware, vmhba2 – SAS контроллеры блейд-серверов, подключенные к внутренней дисковой подсистеме. Vmhba0 и vmhba1 – два порта встроенных сетевых карт NC553i Dual Port FlexFabric 10Gb Adapter, подключенных к разделяемому LUN EVA 4400. Demo-VM-W2K8R2-01 – виртуальная машина.

    Литература:

    1. HP Blade Server BL460c Gen8
    2. HP Virtual Connect FlexFabric
    3. Deploying a VMware vSphere HA Cluster with HP Virtual Connect FlexFabric
    4. VMware Best Practices vSphere 5.0
    5. VMware Virtual Networking Concepts
    Hewlett Packard Enterprise
    90,68
    Компания
    Поделиться публикацией

    Комментарии 35

      0
      мощный пост, все по полочкам. насолько я понимаю в Cloud One подобным образом организован кластер, только СХД не EVA, а NetApp FAS.
        +1
        Насколько я понял: технология примерна такая же. Единственный нюанс, в C3000 подключение к системе хранения не будет конвергентным, т.е. для трафика Ethernet и FC нужны будут свои коммутаторы. В C7000 Мы можем использовать один тип аггрегаторов для создания виртальных профилей блейд-серверов в совокупности с объединением FC и Ethernet в HP Virtual Connect FlexFabric, что дает безусловный выигрыш в больших виртуальных фермах.
        +1
        Почти один в один то, с чем мне уже почти 3 года приходится работать. Правда у вас только одна корзина рассматривается, а можно было красивей, сразу про 4 корзины.

        несколько моментов хотелось бы отметить:

        1. Функция Map Vlan Tags все таки больше в том, чтобы самому управлять теггированием трафика на входе/выходе VirtualConnect-а и Blade серверов.
        2. Лучше всего показывать пользу Server Profiles через практические примеры. У нас физически «умер» один из блейдов, привезли новый, быстро перекинули диски между старым и новым, вставили обратно, профиль накатил, включили сервер и как будто ничего и не происходило, и даже zoning не надо править.
        3. Зачем создавать два vmotion интерфейса если все интерфейсы грубо говоря работают на одном CNA чипе?
        4. Мне кажется вы чуток скопировали скриншоты с 4ой версии vSphere, иначе никак не могу объяснить наличие у вас ESX и Service Console порта вместо ESXi :)
        5. Можно еще было бы добавить Link Failure Detection (Smart Uplink называется кажется в VirtualConnect)
        6. Было бы супер показать как легко и незаметно работает failover, причем на всех уровнях -выдергивание Ethernet провода, FC провода, перегрузка одного из VC модулей, выключение одного из Blade серверов, чтобы показать что и HA отработало на ура.

        7. Самое важное для тех кто решится купить это замечательное и надежное решение — обязательно изучайте все Compatibility Lists, от каждого вендора, как hardware так и software. У нас вот к сожалению некоторые торопыжки не учли, что HP VLS 9200 увы не работает с Blade сервером как Backup сервером. Пришлось доставать старый Dl 360 G6.
          0
          На уровне работы с заказчиком, да, мы проводим такие испытания со сборкой нескольких корзин в один домен, показываем как отрабатывают модули при выдергивании одного из корзины, отключении проводов. Но на уровне нашего демо центра одновременно иметь 4 корзины — это сложно, т.к. оборудование часто тредоставляется в бесплатное тестирование заказчикам, а то, которое имеется в офисе — предоставляется в удаленные пользование для испытаний.
          Из-за подобных сложностей получилось показать работу на минимальном наборе компонентов.
          С VMware — да. И 4 и 5 версия не отличается в настройке для кластера, пробовали и на 4 и на 5.
          По функциям Virtual Connect, к сожалению, не получилось все рассказать, только то, что относилось к исследованию. Возможно, удастся показать особенности этих систем в отдельном посте.
            0
            Я имел в виду что не бывает ESX 5.0, есть только ESXi 5.0
            По основной настройке не отличаются, но в дизайне кластера есть существенные отличия между 4 и 5 когда строишь кластеры на более чем одной корзине, ибо в 4ке vSphere HA может положить все 5 Primary HA хостов в одну корзину, и если она упадет, то перезапускать виртуальные машины на других корзинах будет некому. Так что с 4кой надо чуть поаккуратней.

            вы в принципе и так впихнули в одну статью «невпихуемое». В идеале тут на 3-4 статьи можно было бы разложить.
            0
            «2. Лучше всего показывать пользу Server Profiles через практические примеры. У нас физически «умер» один из блейдов, привезли новый, быстро перекинули диски между старым и новым, вставили обратно, профиль накатил, включили сервер и как будто ничего и не происходило, и даже zoning не надо править. „

            если загрузкас SAN то ничегопереставлять не потребуется. всё в профиле VC. Кстати, можно сделать Spare Blade — тогда и ехать стремглав нге потребуется.
              0
              А блейды в Spare у HP как объединяются, не подскажете? Нужны какие-нибудь дополнительные модули, или что-нибудь в этом роде? У IBM, я знаю, есть т.н. QPI-шина, на которую надевается специальный коннектор, позволяющий объединять блейды. А здесь как?
                0
                Spare, то есть запасной Blade никак специально не объединяется с кем либо кроме как через HP VirtualConnect модули. То есть процедура Failover-а сервера по сути — миграция профиля внешних подключений на новый сервер, пердусмотрительно установленный в корзину. Конечно при этом снаружи будет виден провал в доступности но не большой, особенно, если у вас есть загрузка с SAN :)
                  0
                  А, так это просто active/standby кластер? Тогда понятно, вопросов больше не имею. =) Я подумал, что подразумевается именно возможность объединения двух блейдов в один двойной мощности.
                  0
                  Блейды объединяются через бэкплейн блейд-корзины C7000, дополнительные модули не нужны. Блейд настраивается как Spare через модуль Virtual Connect, который видит все блейды корзины также через этот бэкплейн.
                  QPI шины в семействе серверов HP актуальны для стоечных высокопроизводительных серверов DL980, когда этими линками связываются процессоры двух материнских плат.
                    0
                    Да-да, вот я об этом же. Думал, на блейдах такая технология тоже реализована. Жаль, что нет.
                      +2
                      На блейдах есть решение, но оно пока для Business Critical Systems на процессорах itanium2, когда создаются виртуальные партиции из нескольких физических машин.
                      Позднее этот функционал будет реализован и для x86 (2014 год), когда будет анонсирован Superdome2 с блейдами на Intel SandyBridge или на процессорах x86 следующего поколения.
                        0
                        Для блейдов такая технология есть у Hitachi. Вот для такой корзины: www.hitachi.eu/blade/bladesymphony2000.html
                          0
                          Так лучше уж тогда IBM поставить.
                +1
                «В случае отказа ведущего сервера его роль автоматически принимает второй, при этом для заказчика доступ к бизнес-приложению не прерывается.»

                Такой фразой Вы вводите потенциальных клиентов подобного решения в заблуждение. В случае отказа физического сервера, на котором работала VM, средствами Vmware HA произойдет полный перезапуск виртуальной машины на другом сервере, следовательно доступ к бизнес-приложению для заказчика прервется на время, необходимое для полной загрузки VM и старта всех бизнес-процессов.
                  +1
                  Ну теоретически это все таки возможно с помощью «хромой» FT.
                    +2
                    Вы, видимо, забываете о том, что FT накладывает гигантские ограничения на ВМ. Например, 1 vCPU и отсутствие возможности бекапа ВМ. Как Вам, пойдёт под бизнес-критикал приложение?
                      +1
                      Я же написал «хромой» FT, что подразумевало кучу ограничений и узкую сферу применений. А что касается бэкапа, то никто не отменял стандартный способ через бэкап агента.
                      Бизнес-критикал не всегда означает кучу клиентов, иногда может и одного vCPU достаточно.
                        0
                        Да понятно всё, и про возможность бекапа гостевой ОС, и про вероятность использования маломощной ВМ в качестве бизнес-критикал. Но (сужу по собственному опыту) процент таких ВМ в инфраструктуре обычно минимален. И, зачастую, проще и надёжнее обеспечить отказоустойчивость кластеризацией на уровне ОС или приложений. Я именно об этом. Мы ведь начали с «потенциальных клиентов», а им, согласитесь, вряд ли будет осмысленно покупать дорогостоящее решение, чтобы обеспечить отказоустойчивость нескольких маломощных ВМ. Это можно сделать гораздо проще и дешевле, без покупки SAN и блейдов.
                          0
                          Согласен, я вообще от FT держусь подальше. Но тут уже чистый маркетинг — теоретически то можно, хотя это вообще функционал VMware, а не HP
                    0
                    Здесь необходимо уточнить: при использовании Fault Tolerance приложение будет доступно в кластере виртуальных машин при выходе из строя одной машины: download3.vmware.com/vdcos/demos/FT_Demo_800x600.html
                    0
                    У меня вот какой вопрос возник: HP Virtual Connect FlexFabric в данном случае является некоей заменой vCenter? Если так, то можно чуть подробнее про эту фичу, хотя бы в формате ссылок?

                    А если нет, то считаю нелишним добавить в статью информацию о том, что прежде, чем собрать HA-кластер, нам нужно установить vCenter Server на ВМ на одной из нод кластера, либо же на физический хост.

                    А ещё Вы несколько неправы, и технология VMware HA (Вы ведь о ней пишете, не так ли?) работает несколько иначе: в случае аппаратного отказа активной (в данном случае, той, на которой располагается обсуждаемая ВМ в данный момент) ноды кластера доступ к сервису всё же прервётся. Ровно на то время, которое потребуется ВМ чтобы стартовать на другой ноде. Именно стартовать, не мигрировать. Это же высокая доступность, а не отказоустойчивость.
                      0
                      VC FF больше похож по функционалу на Distributed vSwitch — виртуалка может уехать на другой хост, но при этом оставаться подключённой в тот же свитч.

                      К vCenter Server функционал, конечно, никакого отношения не имеет.
                        0
                        Типа BladeCenter Fabric Manager у IBM. Понял, вполне наглядно. Спасибо.
                      0
                      HP Virtual Connect работает в дополнении с vCenter.
                      По кластеру — опирался на общее понимание высокодоступного кластера: Избыточное число узлов, входящих в кластер, гарантирует предоставление сервиса в случае отказа одного или нескольких серверов.
                      (http://en.wikipedia.org/wiki/Computer_cluster)
                      В тесте, при использовании Virtual Connect в HA кластере работа приложения не прерывалась (потерян один пинг), это не сказалось на работе тестового приложения.
                      В данной статье кластер с резервированием active/active не рассматривался, но я поправлю описание, чтобы не вводить в заблуждение, спасибо!
                        +1
                        У Вас, насколько я понял, пинг потерялся при миграции. А Вы попробуйте блейд выдернуть. =)
                        А про настройку корзины хорошо написано, надеюсь, пригодится. Спасибо.
                      0
                      Спасибо за статью.
                      Единственно не понятно зачем создавать разные networks для HP-MGMT и HTC-77, учитывая, что у A и B одинаковый номер VLAN.
                      VC ведь позволяет назначать одну network на 2 FlexNIC.
                      1a HP-MGMT
                      2a HP-MGMT
                      1c HTC-77
                      2c HTC-77
                      1d vMotion
                      2d vMotion

                      Или на момент демонстрации это было недоступно?
                        0
                        Спасибо, данные сети были созданы только для демонстрации. На практике, конечно, назначение сетей будет сильно отличаться.

                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                      Самое читаемое