Масштабируемый виртуальный комплекс на базе VMware vSphere

    Пару месяцев назад мы разработали и начали запуск в полноценную эксплуатацию новой услуги, способной прийти на смену давно знакомой и уже слегка консервативной сдаче в аренду dedicated-серверов. В основе услуги лежит гибко масштабируемое предоставление вычислительных мощностей и дискового пространства на основе аппаратного комплекса из блейд-системы HP и системы хранения данных HP Lefthand. Нам очень хотелось дать услуге говорящее название, и в итоге мы остановились на сочетании «Масштабируемый Виртуальный Комплекс», или, сокращенно, МВК.

    За небольшой срок работы МВК показал себя вполне перспективным проектом, поэтому мы решили рассказать о нем чуть подробнее.

    image



    Основная задача МВК – быть «облаком с ручной коробкой передач». Облачный хостинг, безусловно, одна из главных технологий последнего времени, но многим проектам его возможности не требуются, да и не по карману. Ну и есть своя специфика, конечно. В ближайшее время мы рассчитываем раскрыть некоторые нюансы совместно со специалистами НР. А пока МВК отличается от классического «облака» тем, что объем выделяемой вычислительной мощности регулируется вручную. Это позволяет немало сэкономить на разработке собственной программной реализации «облака», или закупке сторонней.

    Если вкратце описать процесс работы – то выглядит это так. Потребитель услуги заказывает себе определенный объем процессорной мощности, оперативной памяти и дискового пространства. Как только чего-то начинает не хватать, дополнительно заказывает еще. Ну а от избытка легко избавиться, хотя, конечно, мы рассчитываем лишь на рост. Вычислительная мощность исчисляется в мегагерцах. Мы понимаем, что критерий довольно спорный, но нагляднее еще никто не придумал. Не FLOPSы же считать, в самом-то деле! С оперативной памятью и дисковым пространством гораздо проще, здесь применяются классические гибабайты и терабайты.

    Аппаратная часть



    image

    image

    Аппаратной платформой для МВК служит блейд-платформа HP Bladesystem c7000. Почему блейды? Отличный скоростной интерконнект, высокая плотность и вычислительная мощность на фоне сравнительно низкого энергопотребления и занимаемого места в стойке. Это основные аргументы «за». В совокупности эти возможности системы отлично подходят к тому применению, что мы для нее предназначили. Для тех, кто интересуется техническими подробностями, сообщим их. В «корзину» устанавливаются серверы HP BL 460c G6, с четырехядерными процессорами Intel Xeon 5570 (тактовая частота – 2,93 ГГц). Каждое лезвие поддерживает до 96 Гбайт оперативной памяти, что, очевидно, тоже играет свою роль. Отдельно хотелось бы отметить, что BladeSystem 7000 получилась весьма удачной в плане охлаждения: система эффективно охлаждает все установленные лезвия вне зависимости от их количества. Опять же, блоки питания и модули охлаждения избыточны, а высокий уровень отказоустойчивости – один из ключевых компонентов услуги.

    image

    Пара слов о системе хранения данных, СХД. Мы используем HP StorageWorks P4000 LeftHand. Не в последнюю очередь потому, что она отлично работает в тандеме с BladeSystem c7000. Ну и соотношение цена-возможности, конечно, работает в пользу выбора именно этой системы. К примеру, P4000 позволяет сконфигурировать два хранилища в отказоустойчивый кластер, обмен данными в котором производится по быстрой шине iSCSI. Дополнительным бонусом выступает тот факт, что внутри самого хранилища скоростные SAS-диски выстроены в массив RAID уровня 5. Это значительно повышает скорость обмена данными: общая система получается весьма шустрой, чтобы получить сравнимую скорость «из коробки» потребуется потратить гораздо больше денег. Более того, мы предусмотрели еще один уровень резервирования – сами «полки» также объединяются в RAID-массив.

    Программная часть



    Программной основной МВК выступает операционная система VMware vSphere 4. Будучи уже «обкатанным» продуктом, она без проблем обеспечивает построение кластеров высокой доступности, разграничение прав доступа к виртуальным машинам, использование различных типов СХД с различными интерфейсами, организацию VLAN, возможность делать Snapshot-ы и устанавливать различные типы операционных систем. В принципе, этого вполне достаточно для всех аспектов работы МВК. К тому же, у vSphere 4 есть централизованная консоль управления. С ее помощью клиенты могут самостоятельно управлять виртуальными машинами, устанавливать операционные системы или создавать образы дисков, устанавливать и настраивать нужное ПО. Ну а крупные проекты могут вообще построить собственную систему на мощностях МВК и управлять ей силами собственных специалистов.

    Схема работы МВК



    image

    На каждом блейд-сервере установлено ПО VMware VSphere 4. С помощью консоли управления организованы кластеры высокой доступности. Все данные виртуальных машин хранятся на хранилище LeftHand и передаются в обоих направлениях по интерфейсу iSCSI. Сетевые пакеты проходят в интернет через аппаратную систему фильтрации трафика Cisco ASA-5580.

    Основным преимуществом использования МВК перед dedicated-серверами или работой с собственным серверным оборудованием является гораздо более высокий уровень отказоустойчивости по сравнимой цене. Все данные в системе и ее аппаратные элементы дублированы, что практически исключает возможность сбоев и потери работоспособности. При этом гибкость организации и наращивания вычислительных мощностей выше если не на порядки, то как минимум в разы. Вместо того, чтобы устанавливать дополнительные серверы и возиться с их настройкой, либо останавливать работу и проводить апгрейд, пользователь просто может заказать дополнительные мощности для своей виртуальной машины и получить их в кратчайший промежуток времени.

    Выводы



    Конечно же, МВК не может тягаться в гибкости и широте возможностей с полноценным облачным хостингом. Эта услуга ориентирована на иную аудиторию, на проекты, имеющие, возможно, не самый большой масштаб, но оперирующие ценными данными и требовательные к отказоустойчивости хостинговой платформы. Основной фокус приходится на компании банковской сферы и розничной торговли. С одной стороны, у них не таких скачков посещаемости, как у крупных информационных ресурсов (основных клиентов облачного хостинга), а с другой стороны – высокие требования к отказоустойчивости и резервированию собственных систем. На мощностях МВК они могут развернуть полноценную копию собственной системы и прибегать к ней только в случае сбоев. Требования к работе банков, особенно международных, часто включают в себя подобные пункты, а строить собственную дублирующую систему обойдется в разы дороже, чем воспользоваться уже имеющимся решением.

    В материале использованы фотографии HP Brand Resource Center.
    Оверсан-Меркурий
    37,00
    Компания
    Поделиться публикацией

    Комментарии 72

      +1
      по поводу банков — как быть со всяческими регуляторами, стандартами и законами вроде PCI DSS и ЗПД? На кого ляжет ответственность по соблюдению комплаенса? Этот момент достаточно тонкий, поэтому на таких площадках банки вряд ли станут размещать сервисы, связанные с персональными данными и платежной информацией. Этот момент вам нужно хорошо проработать, если есть желание привлекать подобных клиентов.
      А ниша интересная, время покажет, насколько она востребована.
        +1
        соглашусь, что момент тонкий. на работу с персональными данными и транзакциями пока МВК не ориентируем, нужно накопить экспертизу по сертификации-стандартам-регламентам. но у банков и ритейлеров есть еще море не столь щепетильной информации, с которой нужно работать и где-то хранить-накапливать. а моменты, конечно же, проработаем.
          +1
          тогда пожелаю вам успеха в прохождении всех кругов ада для получения бумажек о соответствии всяческим требованиям — нелёгкое это дело и не быстрое. Но для некоторых задач/клиентов без них — никак.
            +3
            спасибо, постараемся набраться терпения )
            +1
            Стандартизация PCI DSS действительно очень важная вещь и надеюсь Вы ее пройдете. На сколько я знаю, то в Украине мало банков (единицы) получили положительный результат аудита. Если у Вас получится сделать все идеально — у вам могут потянуться много банков. Удачи Вам.
          0
          Ура! Как же я давно ждал этого «VMware vSphere» в ваших заголовках!
            +2
            рады порадовать! ))
            +4
            А почему iSCSI а не FC? :)
            Судя по схеме работы МВК — ни капли не отказоустойчивое решение. (надеюсь что просто картинка немного неточная).
              +1
              Дешевле, а быстродействия достаточно, например.
                +1
                Схема явно упрощена просто. LeftHand позволяет создавать действительно отказоустойчивые решения. А насчёт FC — проще и дешевле делать iSCSI решение на той же 10 Гб/с сети.
                  +1
                  Все это верно, я только хотел привлечь внимание к тому факту, что если хватает гигабита, то мет и не стоит замахиваться на десять?
                  Расширение неиспользуемой части полос пропускания никак не ускоряет собственно передачу данных по используемой части ее.
                  +1
                  Дешевле да.
                  Но ее стоит оценить на фоне стоимости всего аппаратного комплекса, вполне возможно что выигрыш получится минимальный.
                  Быстродействие — ну это покажет только практика насколько требовательны к быстродействию файловой системы будут крутящиеся на МВК проекты.
                  В любом случае думается для соединения СХД и серверных мощностей целесообразно использовать отдельно выделенные под эти задачи коммутаторы, чтобы трафик SAN не оказывал воздействие на LAN.
                  Так же как для соединения управляющих сетевых интерфейсов и VmWare VCenter, для оперативной миграции с ноды на ноду, при необходимости.
                    +1
                    > В любом случае думается для соединения СХД и серверных мощностей целесообразно использовать отдельно выделенные под эти задачи коммутаторы, чтобы трафик SAN не оказывал воздействие на LAN.

                    А это чаще всего так и делается, по крайней мере ни разу не видел ни одного совета смешивать трафик SAN с сетевым трафиком других использований.
                      –1
                      На картинке чётко виден SAS диск с частототой оборотов в 10k, а плюс это еще в RAID5, так что можно задуматься и насчёт 10Гб\с.
                      Ну а отдельная сеть для трафика СХД в данном проекте просто обязательна, иначе всё просядет при более-менее серьёзной нагрузке.
                        0
                        > На картинке чётко виден SAS диск с частототой оборотов в 10k, а плюс это еще в RAID5, так что можно задуматься и насчёт 10Гб\с.

                        Строго говоря все это ни о чем не говорит.
                        Это все имеет отношение к реальности не больше, чем цифра «120» на спидометре «горбатого запорожца».
                          –2
                            +2
                            Производительность системы определяется производительностью не самого быстрого, а самого медленного ее компонента.
                            Как и скорость эскадры — скоростью ее самого медленного корабля.
                            От того, что жесткий диск «по паспорту» имеет высокую производительность не следует, что использующая его, ну допустим, база данных, будет ограничена именно его быстродействием.
                            Хватает и других оганичений.

                            Быстродействие это штука такая. Не зря же я привел в пример спидометр «Запорожца» :)
                            0
                            Относительно скорости дисков — 10к rpm, это скорость дисков которые использутся в лезвиях. Виртуальные контейнеры находятся в хранилищах, там скорость дисков 15к.
                              0
                              Э-э… сказать-то что хотели?
                                0
                                То что для виртуальных контейнеров используются диски не 10 тысяч оборотов, а 15.
                            0
                            В полках стоят SAS 15K. Внутри полки диски в Raid5 + Hot Spare. Дополнительно идет дублирование самих полок в Raid 5. Это в базовом варианте, если клиенту необходим другой вариант, то без проблем предоставим. Вопрос цены. :-)
                            В материале использованы фотографии HP Brand Resource Center.
                    +1
                    Насколько я знаю — сдавать виртуальные машины на платформе VMware имеет право только сама VMware. Как у вас обстоят дела с этим?
                      +2
                      Это вопрос правильно приобретенной лицензии.
                      0
                      насколько мне известно, недавно VMware начала предоставлять лицензии. сейчас МВК находится в процессе ввода в эксплуатацию, и будет полноценно запущен ориентировочно в середине июня.
                      +1
                      Слабое место в вашей сети — это применение Cisco WS в качестве коммутаторов. При больших объемах может не потянуть нагрузки.
                        0
                        тем более, что iSCSI и IP ходят по одним и тем же свитчам
                          0
                          Ну они могут (должны) ходить по разным VLAN, правда я думаю, что вы напрасно делаете выводы о том, как на самом деле организована там сеть по схематичному рисунку.
                            0
                            Производительность коммутации не зависит от VLAN. Все определяется числом пакетов в секунду (pps) и используемыми софтовыми фичами.
                              0
                              Не в коем случаи не реклама. Google в своих дата-центрах используем «железо» от Force 10. А оверсану стоит присмотреть их S-серию www.force10networks.com/products/sseries.asp
                                0
                                а откуда инфа про гугл? У них на сайте в разделе Customers гугла нет.
                                  0
                                  Встречались с их пресейлами и представителями в России.
                                    0
                                    да уж. Знаем мы речи пресейлов. Продали два коммутатора на тест и смело могут заявить, что вся инфраструктура гугла на них держится. Хотелось бы более надежную информацию получить.
                                      –1
                                      Это были люди самого Force10.
                                        +1
                                        Об этом и речь. Вот если бы люди гугла были.
                                    0
                                    Очень часто такие компании как Google прямо запрещают упоминать такие вещи своим поставщикам.

                                    Из компаний, с которыми приходилось сталкиваться такой, например, Intel, у которого это «worldwide policy».
                            +1
                            Как только пропускная способность подойдет к теоретическому порогу в 70%, Cisco 3560 превратится в 6509. -)
                            +1
                            каким образом осуществляется коммутация на данной схеме? ведь в указанных коммутаторах всего по 2 X2 10GBASE-CX4… выбранные коммутаторы не относятся к разряду неблокируемых, как расчитывалась пиковая нагрузка?
                              +1
                              Нигде не нашел информации о стоимости услуг. По чем опиум для народа? Или это закрытая информация?
                              0
                              А что означает «Аренда лицензий VMware»? При заказе услуги обязательно еще арендовать лицензию?
                                0
                                Да, это обязательное условие от VMware.
                                0
                                и еще, в тарифах нет опции +N Mb памяти, или +N MHz процессора. Какой смысл в облачности, если все равно предлагаются фиксированные конфигурации?
                                  0
                                  Для небольших проектов, которым не требуются сверхмощности, но критична отказоустойчивость, предлагаются указанные тарифы. В случае превышения определенного порога мы можем предложить более вкусные кастомные цены. Можно заказать +N Mb RAM, +N MHz CPU, + N GB HDD.
                                  0
                                  Молодцы! Интересная статья.
                                    0
                                    спасибо! сейчас еще в пост нагрянут наши техспециалисты и развеют все сомнения )).
                                    0
                                    Про блэйды… Если я ничего не путаю, то при полной набивке, одно шасси кушает до 7кВт. При установке 3-х шасси в стойку, получаем до 21кВт. И это при обычном продуве стойки, когда согласно вычислениям АРС и их институту, более 5-ти кВт тепла от стойки таким образом не отвести и уж тем более больше 20-ти кВт.
                                    Как у вас перегревом? HPBL-ы, все таки, не назовешь бескапризными к температуре.

                                    Был как то на семинаре Cisco, где они рассказывали про свой ЦОД и свой опыт. В итоге, именно из-за температурных показателей и больших затрат на отвод тепла отказались от блейдов. Три года назад у низ было порядка 3000 серверов в головном ЦОД и на них крутилось порядка 5000 серверов витруальных. В качестве аппаратки были выбраны DL-севера 1U и 2U.
                                      0
                                      три блейд-шасси целесообразно устанавливать только в стойку с жидкостным или in-row-охлаждением. при установке в стойки с воздушным охлаждением вполне возможно разнести шасси по разным стойкам.
                                        +1
                                        По поводу перегрева. В самих шасси используется динамическое перераспределение нагрузки на источники питания. А в стойку ставим только по 2 шасси, при этом система охлаждения стоек спроектирована на эффективное отведение тепла.
                                          +1
                                          Blanking panels используете?
                                            0
                                            мы вообще идеологи и фанаты blanking plates, сами используем, и другим рекомендуем на каждом углу. решение дешевое, а в охлаждении помогает здорово.
                                        0
                                        >> Мы понимаем, что критерий довольно спорный, но нагляднее еще никто не придумал. Не FLOPSы же считать, в самом-то деле!
                                        Вот как раз пора бы переходить на более вменяемые и однозначные критерии определения выделяемой мощности. Здесь та же самая беда что и с каналом, который так же является ресурсом.

                                        Вот если бы мощность определялась в FLOPS и IOPS, что гораздо адекватнее и понятнее абстрактных мегагерцев, которые в зависимости от погоды могут давать разный результат (я все понимаю, можно указывать пару чисел — минимально гарантируемый за период и максимально доступные за другой период).
                                          –1
                                          возьмите меня к себе работать:)
                                            +2
                                            Пишите нам, мы формируем кадровый резерв, и при расширении штата рассматриваем наш банк резюме -)
                                            +1
                                            Почему-то увидев МВК, вспомнил про САЕ.
                                              0
                                              Из use case в нашем бизнесе:
                                              Из +: отличная масштабируемая платформа, все плюсы очевидны VMotion, HA, fault tolerance, кластеризация и другие вкусные технологии от VMWare.
                                              Из -: WMware vSphere 4 Enterprise Plus for 1 processor (Max 12 cores per processor) x 8 CPU = 35k $
                                              VMware vCenter Server 4 Standard for vSphere (Includes Orchestrator and Linked Mode) x 1 INSTANCE(s) = 8k $
                                              Нам этого хватило на 4 x HP BL 460c G6.

                                              Вообщем-то дороговато конечно, но ведет себя такая система мега безотказно и предсказуемо, что радует.

                                              Оверсан, крутая идея попробовать позиционировать VM как отдельный продукт со своей нишей! Так держать!
                                                0
                                                Там Lease license должна же быть…
                                                  0
                                                  Как таковой lease license нет, но есссноо есть лизинг, доступен ли он в России у наших реселлеров большой вопрос
                                                +3
                                                Ура, первый топик без идиотов упоминающих потерю доверия к оверсану и прочее.
                                                  +1
                                                  воистину ура! ))
                                                    +1
                                                    но теперь кто-то методично расставляет по всем комментариям минусы. есть еще порох в пороховницах! ))
                                                    0
                                                    Насколько я понимаю механизмы миграции и высокую надёжность декларируют многие услуги виртуализации. А в чём преимущества конкретно vSphere перед HyperV / Xen etc?
                                                      0
                                                      Мы ориентировались на корпоративный сектор, которому востребован такой высокий уровень отказоустойчивости.
                                                      А это банковский сектор, промышленный, компании FMCG, страховая и финансовая сфера. А в таких компаниях, как минимум 95%, если не больше, уже давно знают как управлять виртуальной инфраструктурой от VMWare.
                                                      В принципе, наша задача не придумать велосипед, а сделать доступной на рынке России услугу public cloud.
                                                      0
                                                      Чем обусловлен выбор НР, а не IBM блэйдов?

                                                      Почему Intel, а не AMD? У первого сейчас по 4 ядра на процессор (на подходе 6, в России еще не видел), у второго 12.
                                                        0
                                                        Очень давними партнерскими отношениями. Покупая такое высокотехнологичное оборудование, мы хотим быть уверенными не только на бумаге, но и на деле. -)
                                                        Не принципиально, Intel или AMD. У нас решение в достаточной степени кастомизируется под клиента, так что все зависит от предпочтений клиента. Пока на данный момент блейды комплектуются процессорами Intel.
                                                        0
                                                        Необходимость аренды лицензий VmWare несколько портит впечатление.
                                                          0
                                                          Наша политика не вводить в заблуждение клиента и предлагать только строго линейные решения, а построить вместе с нашим клиентом то решение, которое действительно будет решать его задачи. Например, более старшие лицензии позволяют отстроить своё облако с применением разных вкусностей, типа Fault Tolerance, Storage VMotion и т.п…
                                                          0
                                                          А до 5600 серии процов чуть-чуть не до терпели? :)
                                                            0
                                                            Следующая стойка как раз будет с ними :-)
                                                            0
                                                            Единственно что смущает, почему не взяли FC.
                                                            Или у вас мезанин на 10g?

                                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                            Самое читаемое