Cisco HyperFlex vs. конкуренты: тестируем производительность

    Мы продолжаем знакомить вас с гиперконвергентной системой Cisco HyperFlex.

    В апреле 2019 года компания Cisco в очередной раз проводит серию демонстраций нового гиперконвергентного решения Cisco HyperFlex в регионах России и в Казахстане. Записаться на демонстрацию можно через форму обратной связи, перейдя по ссылке. Присоединяйтесь!


    Ранее мы публиковали статью о нагрузочных тестах, выполненных независимой лабораторией ESG Lab в 2017-ом году. В 2018 году характеристики решения Cisco HyperFlex (версия HX 3.0) значительно улучшились. Кроме того, конкурентные решения тоже продолжают совершенствоваться. Именно поэтому мы публикуем новую, более свежую версию сравнительных нагрузочных тестов от ESG.

    Летом 2018-ого года лаборатория ESG провела повторное сравнение Cisco HyperFlex с конкурентами. Учитывая современную тенденцию использования Software-defined-решений, в сравнительный анализ были также добавлены производители подобных платформ.

    Тестовые конфигурации


    В рамках тестирования HyperFlex сравнивался с двумя полностью программными гиперконвергентными системами, которые устанавливаются на стандартные x86 серверы, а также с одним программно-аппаратным решением. Тестирование проводилось с использованием стандартного для гиперконвергентных систем ПО – HCIBench, которое использует инструмент Oracle Vdbench и автоматизирует процесс тестирования. В частности, HCIBench автоматически создает виртуальные машины, координирует нагрузку между ними и генерирует удобные и понятные отчеты.  

    Было создано 140 виртуальных машин на кластер (35 на ноду кластера). Каждая виртуальная машина использовала 4 vCPU, 4 ГБ RAM. Локальный диск ВМ был 16 ГБ и дополнительные диск 40 ГБ.

    В тестировании участвовали следующие конфигурации кластеров:

    • кластер из четырех узлов Cisco HyperFlex 220C 1 x 400 ГБ SSD для кэша и 6 x 1.2 ТБ SAS HDD для данных;
    • кластер конкурента Vendor A из четырех узлов 2 x 400 ГБ SSD для кэша и 4 x 1 ТБ SATA HDD для данных;
    • кластер конкурента Vendor B из четырех узлов 2 x 400 ГБ SSD для кэша и 12 x 1.2 ТБ SAS HDD для данных;
    • кластер конкурента Vendor C из четырех узлов 4 x 480 ГБ SSD для кэша и 12 x 900 ГБ SAS HDD для данных.

    Процессоры и оперативная память всех решений были идентичными.

    Тест на количество виртуальных машин


    Тестирование началось с рабочей нагрузки, предназначенной для эмуляции стандартного OLTP-теста: чтение/запись (RW) 70%/30%, 100% FullRandom с целевым значением 800 IOPS на одну виртуальную машину (ВМ). Тест проводился на 140 ВМ в каждом кластере в течение трех-четырех часов. Цель теста – сохранить задержки при записи на максимальном количестве ВМ на уровне 5 миллисекунд или ниже.

    В результате теста (см. график ниже) HyperFlex оказался единственной платформой, которая завершила этот тест с начальными 140 ВМ и при задержках ниже 5 мс (4,95 мс). Для каждого из других кластеров тест был перезапущен для того, чтобы опытным путем за несколько итераций подогнать количество ВМ под целевую задержку 5 мс.

    Vendor A успешно справился с 70-тью ВМ со средним временем отклика 4,65 мс.
    Vendor B обеспечил требуемые задержки в 5,37 мс. только с 36-тью ВМ.
    Vendor C смог выдержать 48 виртуальных машин со временем отклика 5,02 мс



    Эмуляция нагрузки SQL Server


    Далее ESG Lab эмулировала нагрузку SQL Server-а. В тесте использовались различные размеры блоков и соотношения чтения/записи. Тест был запущен также на 140 виртуальных машинах.

    Как показано на рисунке ниже, кластер Cisco HyperFlex почти вдвое превзошел по IOPS-ам вендора A и В, а вендора С более чем в пять раз. Среднее время отклика Cisco HyperFlex составило 8,2 мс. Для сравнения, среднее время ответа вендора А составило 30,6 мсек, вендора В — 12,8 мс, а вендора С — 10,33 мс.



    Интересное наблюдение было сделано во время всех тестов. Vendor B показал значительный разброс средней производительности в IOPS-ах на разных ВМ. То есть нагрузка распределялась крайне неравномерно, некоторые ВМ работали со средним значением 1000 IOPS+, а некоторые – со значением 64 IOPS. Cisco HyperFlex в данном случае выглядел значительно стабильнее, все 140 ВМ получали в среднем 600 IOPS от подсистемы хранения данных, то есть нагрузка между виртуальными машинами была распределена очень равномерно.



    Важно отметить, что такое неравномерное распределение IOPS по виртуальным машинам у вендора B наблюдалось в каждой итерации тестирования.

    В реальном продуктиве такое поведение системы может быть большой проблемой для администраторов, по сути, отдельные виртуальные машины случайным образом начинают «подвисать» и практически никакого способа для контроля этого  процесса не существует. Единственным, не очень удачным способом выравнивания нагрузки, при использовании решения от вендора B, является использование той или иной реализации QoS или балансировки.

    Вывод


    Давайте задумаемся, что такое 140 виртуальных машин у Cisco Hyperflex на 1 физический узел против 70-ти или меньше у других решений? Для бизнеса это означает, что для поддержания того же количества приложений на Hyperflex нужно в 2 раза меньше узлов, чем в решениях конкурентов, т.е. итоговая система будет сильно дешевле. Если добавить сюда еще уровень автоматизации всех операций по обслуживанию сети, серверов и платформы хранения HX Data Platform, становится ясно, почему решения Cisco Hyperflex так стремительно завоевывают популярность на рынке.

    В целом, лаборатория ESG подтвердила, что гибридные Cisco HyperFlex версии HX 3.0 обеспечивают более высокую и стабильную производительность, чем другие аналогичные решения.

    При этом гибридные кластеры HyperFlex еще и опережали конкурентов по показателям IOPS и Latency. Не менее важно и то, что производительность HyperFlex была обеспечена при очень хорошо распределенной нагрузке по всему хранилищу.

    Напомним, что увидеть решение Cisco Hyperflex и убедиться в его возможностях вы можете уже сейчас. Система доступна для демонстрации всем желающим:

    Cisco
    105,00
    Cisco – мировой лидер в области сетевых технологий
    Поделиться публикацией

    Комментарии 10

      +3
      Господа, остается только надеяться что вы хотя-бы реально верите и понимаете что пишете.

      Базовые моменты

      1) 5ms — это _очень много_, и тестировать решение «до 5ms» уже по сути глупость. Business-critical приложения (да хотя бы тут же на хабре почитайте статьи умные про зависимость скажем производительности SQL DB от latency) на 1-2ms уже проблемы.

      Речь идет о микросекундах для нормальных приложений.

      Вот конкретный пример более миллиона IOPS и микросекундные задержки на HCI платформе (еще в 2017 году показывали):

      600 IOPS на VM — это детский сад, так же как несчастные 70 виртуалок на узел.

      2) Не очень ясно какие «другие вендоры» вообще вы приводите в табличках, стыдливо «замазав».

      Как я понимаю — взяты все те 8% аутсайдеров (в которые входит и HyperFlex с 1-2% долей глобального рынка, т.е. в размере погрешности измерения), ибо и VSAN и Nutanix совершенно легко в разы (буквально) обходят Cisco HyperFlex по производительности на идентичном / сравнимом оборудовании.

      Cisco вообще не вошли в сегмент лидеров, хотя даже HPE Simplivity там.

      3) Фактически, выглядит как попытка обмана клиентов и инженеров — приведены какие-то левые данные совершенно левой конторы ESG Labs, которой в индустрии доверия в районе нуля. Детали тестов пожалуйста.

      Например — возьмите VMware HCIBench или Nutanix XRay (оба продукта открыты, бесплатны и четко понятно как они тестируют), и прогоните тесты.
      Что обычно клиенты и делают. В среднем — проигрыш Cisco HyperFlex по производительности просто коллосален (в разы).

      Точно могу сказать что Nutanix (лидер индустрии с огромным отрывом от Cisco) не тестировался например — ибо в Нутаникс нет SSD кэша, весь SSD уровень используется для хранения данных — а вы для всех вендоров пишете «SSD кэш». Ну, или опять же не понимаете что несете.

      По гартнеру (которому доверия на порядки больше) — для Cisco все очень грустно.

      image
        0
        Похоже Cisco тоже оптимизировали, тех кто думает заменили детским садом из telesales.
          0
          Уважаемый Максим, спасибо за Ваш комментарий!
          Хотелось бы напомнить, что еще в ноябрьском посте ( ссылка на пост), когда Вы поместили в комментариях тот же самый квадрант Гартнера от начала 2018-го года, мы обратили Ваше внимание на то, что с тех пор ситуация сильно изменилась. Вот смотрите, как обстоят дела сейчас.
          image

          Что же касается отчета – он составлен независимой компанией ESG (Enterprise Storage Group ) и причины, по которым не названы вендоры, скорее всего лежат в юридической плоскости. По нашим данным, в этом отчете тестировались все четыре лидера из верхнего правого угла квадранта Гартнера.

          Мы понимаем что Вы, как бывший сотрудник российского офиса компании Nutanix, уважительно относитесь к её продуктам.
          В любом случае конечный выбор всегда за заказчиками, наша задача, как вендоров, состоит в том, чтобы обеспечить его правдивой и непротиворечивой информацией.
            +2
            Зачем ты обманываешь людей, которые мало знакомы с реалиями рынка? Новый гартнер совсем другой image И Cisco там входит в топ 5 вендоров вендоров лидеров. Т.е. информацию ты выдал всем недостоверную, далее можно не обсуждать.
            У тебя постоянно какой-то негатив ко всем, кроме Nutanix, в котором ты собственно ты и работаешь. Мы не сомневаемся, что ты любишь свою компанию, но не надо смотреть на реальность так однобоко.
            По остальным пунктам коллеги из Cisco тебе обязательно ответят.
              +1
              ну если судить по гартнеру, то к ноябрю они подтянулись
              image
                0
                И в добавление к свежему квадранту еще немного подробностей о самом тестировании (сылка на обсуждаемый отчет ESG ). Хотелось бы обратить Ваше внимание, что этот отчет посвящен не вопросу достижения максимальной производительноcти на одну VM (ждем такую статью чуть позже), а тому, что в целом можно ожидать от гиперконвергентной платформы в весьма скромной аппаратной конфигурации. И речь идет не столько о миллисекундах и IOPS, сколько о том, что благодаря архитектуре HyperFlex его производительность в целом более «ровная», предсказуемая и прогнозируемая, что не просто «красиво звучит», а позволяет получить измеряемые бизнес-преимущества, разместив на том же оборудовании большее число виртуальных машин и обеспечив для них всех некий заданный приемлемый уровень производительности. Напомним, коллеги говорят про 140 одновременно работающих виртуальных машин, каждая из которых получает по 800 IOPS, попадая в заданный диапазон задержек, на системе начальной конфигурации на крутящихся дисках. При этом с работающими «инлайн» механизмами дедупликации и компрессии.
                0
                Шапа, нежнее надо, нежнее )
                Вот поинтересовался бы — последние версии Hyperflex уже пропатчили против «curl-уязвимости» или еще не успели?
                  0
                  Так «патч» же известен — nginx настройки поменять :)
                  0
                  Какова была эффективность компрессии?
                    0
                    При проведении обсуждаемых тестов HyperFlex работали функции «инлайн» дедупликации и компрессии, они включены в системе всегда. Поскольку этот конкретный тест проводили не мы, а внешняя компания, точных данных у нас нет, попробуем обратиться к коллегам за уточнениями. Из недавнего российского опыта – только что закончилось тестирование производительности у одного из Заказчиков, он тоже использовал прежде всего vdbench, общая итоговая эффективность компрессии – 39%, дедупликации – 33%. Суммарно – 59%, это означает что из 100 условных килобайт на диски пишется 41. Но, конечно же, реально получаемая эффективность сильно зависит от того, как именно формируются наборы данных, и в разных случаях будет разной.
                    Самый простой способ узнать, какая будет эффективность для ваших приложений — обратиться к партнеру Cisco или напрямую в офис. Мы поможем вам провести тестирование на ваших данных.

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое