Флеш-массив EMC XtremIO: коротко о главном

    Про флеш-массивы писать дело неблагодарное, этого не делал еще только ленивый. Но все-таки мы решили рискнуть и написать о нашем массиве XtremIO, потому что он действительно выделяется. И расскажем не надоевшие маркетинговые истории на тему флеш-массивов, а интересные подробности по технической части.



    Введение


    Флеш-массивы (обычно этим словом называют СХД, в которые нельзя поставить ничего, кроме флешек) сейчас тема популярная. Про них пишут много, но зачастую упирают лишь на производительность (время отклика и IOPS). А ведь это лишь одна сторона медали. Вообще, мало кому действительно необходимы сотни тысяч IOPS. И мы разрабатывали с нуля наш XtremIO не ради лабораторных IOPS (ну ладно, не только ради них), здесь-то как раз все довольно просто. У нас все намного интереснее. Мы старались сделать самый-самый флеш-массив, в котором бы использовались технологические особенности флеш-памяти, позволяющие организовать новую, недоступную ранее функциональность и модель использования массива.

    Исторический контекст


    XtremIO — устройство новое, идея его создания появилась в 2009 году. Как тогда выглядел рынок флеш-массивов? С одной стороны, всем стало окончательно ясно, что будущее за флеш-памятью, и ей нужно заниматься. На рынке присутствовали компании «первой волны», которые делали ставку на флеш-модули и контроллеры собственной разработки. Одновременно начало вырисовываться понимание, что и рынок требует, и технологии позволяют сделать кое-что поинтереснее, чем просто быстрые и примитивные хранилища. Необходимо было предложить более универсальные системы, но тут нужна и дедупликация, и продвинутая функциональность, и так далее. А в таком случае на «железке» с RAID далеко не уедешь. Так и родилась идея флеш-массива, приведшая к созданию XtremIO.

    Какие особенности ему присущи:
    • Построен на x86 и SSD, вся магия в софте;
    • Все вендоры любят говорить «разработан для флеш», но за этим скрываются разные вещи. Бывает, что и просто существующий массив переименовывают. У нас много ноу-хау, которые без флеш просто невозможны (схема размещения данных, работа с метаданными), подробнее об этом — ниже;
    • Простота;
    • Дедупликация и другие дата-сервисы.

    Разберем это поподробнее.

    Железо


    Базовый блок состоит из двух контроллеров (фактически это серверы стандартной архитектуры), полки с SSD и батарей UPS.

    На первый взгляд, странная конструкция. Но, помимо стандартизации, за таким дизайном стоит четкая логика. В сервере можно обеспечить большой объем памяти (256 или 512 Гб) и два многоядерных процессора с немаленьким теплопакетом. Что не всегда возможно в своем конструктиве.

    UPS применен потому, что NVRAM проигрывает оперативной памяти по времени доступа, а, как мы увидим далее, для нас это критично. В итоге получилась максимально унифицированная конструкция с огромным объемом быстрой памяти и кучей ядер. И для нового поколения достаточно взять новые серверы, где будет еще больше памяти и ядер — в этом заключается прелесть стандартной платформы.

    Такие кубики из двух контроллеров и полки с SSD называются X-Bricks, и могут соединяться друг с другом по Infiniband и формировать кластер (от 1 до 6 «бриков» с линейным ростом производительности). Об этом мы сейчас и поговорим.

    Scale-Out


    Изначально XtremIO рассчитан на кластерную (Scale-Out) архитектуру. Что это значит? В массиве может быть много контроллеров, все они равноправные и обеспечивают доступ к одному и тому же пулу данных. При этом нагрузка автоматически равномерно распределяется между ними.

    Что это дает по сравнению с привычным подходом с двумя «головами»? Очень многое: и отсутствие деградации производительности при отказе, и легкость наращивания количества «кубиков», и возможность управлять массивом любого масштаба как одной сущностью.

    Сделано это следующим образом. Изначально программный функционал разбит на модули, каждый из которых отвечает за свою часть обработки ввода/вывода. И выполнив работу, модули передают запросы дальше.

    Очень упрощенно «зоны ответственности» модулей можно описать так:
    • модуль R (Routing) отвечает за общение с хостом и считает хэши блоков,
    • модуль С (Control) отвечает за маршрутизацию запросов и журнал,
    • модуль D (Data) отвечает за метаданные (об этом чуть ниже) и запись на SSD.

    Каждый модуль также содержит внутри себя много потоков.

    Такие модули «живут» на всех контроллерах кластера и могут общаться между собой через очень быструю Infiniband-сеть с RDMA. То есть в обработке запроса могут участвовать модули с разных контроллеров, что позволяет осуществлять балансировку нагрузки внутри кластера.

    И это еще одно важное отличие от многих софтовых стеков традиционных СХД, которые в принципе не рассчитаны на Scale-Out. Данную возможность нужно закладывать в архитектуру с самого начала, «прикрутить» позже уже не выйдет.

    Метаданные


    Уже несколько раз упоминались какие-то таинственные метаданные, хэши и большой объем памяти. Речь вот о чем. Чтобы сделать простой в управлении, сбалансированный и кластерный массив, необходимо отвязать физическое расположение данных на SSD от их логического адреса. Тем более, что для SSD не имеет значения последовательность размещения данных, они идеальны для рандомной нагрузки.

    Для этого в XtremIO используется следующая схема. Есть две таблицы с метаданными. В первой хранится соответствие логического блока (например, блок с LBA 12345 с LUN 1) и его хэша. А во второй — соответствие хэша и адреса его физического размещения (грубо говоря, блок 6789 на SSD номер 5 во втором «брике»).

    То есть физическое расположение блока определяется его адресом.

    Еще одно приятное следствие — в массиве всегда используется принцип thin provisioning. Пока в логический блок ничего не записано, записи в таблицах метаданных для него не создаются и физический блок не выделяется.

    И все эти таблицы хранятся и обрабатываются целиком в оперативной памяти, так как нужно до минимума сократить задержки. Естественно, на случай отказа есть копия на SSD.

    Заложив такую архитектуру, можно получить множество преимуществ, в принципе невозможных с традиционными СХД, и важнейшее из них, как многие уже, наверное, догадались, это инлайн-дедупликация.

    Дедупликация


    Дедупликация (то есть поиск одинаковых блоков данных и хранение их лишь в одном экземпляре) во многих случаях работает отлично. Представьте виртуальную ферму, где внутри каждой виртуальной машины львиную долю пространства занимает одна и та же ОС. У многих она есть, но обычно пост-процессинговая. То есть после того, как данные сохранены, по ним пробегается специальный процесс и удаляет дубликаты. Это хорошо работает для архивных задач, но категорически не подходит в ситуациях, когда требуется самая высокая производительность.

    В случае с XtremIO, у нас уже есть механизм подсчета хэшей и возможность ссылаться на один физический блок нескольким логическим адресам. Причем все это делается до записи данных на диски.

    То есть у нас применена инлайновая дедупликация, на лету. Она не снижает, а увеличивает производительность — уменьшается объем записи на флеш, поэтому производительность ограничивается уже не дорогими SSD, а дешевыми и быстрыми процессорами.

    Снэпшоты


    Похожая история и со снэпшотами. В нашем случае снэпшот фактически ничем не отличается от самого LUN — это такой же набор логических ссылок на физические блоки из единого пула. Снэпшоты могут быть записываемыми, они иерархические, но не привязанные друг к другу, не требуется выделять специальное пространство для хранения изменений. Использование снэпшотов не создает дополнительной нагрузки на систему.

    XDP


    И последнее. Еще одну ноу-хау, невозможное без использования флеш: наша схема защиты данных. Как обычно защищают данные в привычных СХД (помните, речь идет про задачи, для которых нужна высокая производительность, в том числе не последовательный доступ с маленькими блоком)? RAID 10 — данные зеркалируются и страйпятся по дискам. Быстро, но слишком дорого при использовании SSD: двукратная избыточность хранения. Было бы здорово использовать широкий RAID-6, но он не подходит для «рандомных» нагрузок по причине высоких накладных расходов при записи не полного страйпа (partial updates). Например, каждая 4К-запись потребует трех чтений и трех записей для корректного обновления страйпа, что убивает производительность.

    Значит, нужно писать только полные страйпы целиком. Но у нас же есть две супер-вещи: «врожденная» способность SSD отлично работать с полностью «рандомной» нагрузкой, и архитектура, позволяющая отвязать физическое размещение данных от их логического адреса. Отсюда вытекает следующая идея — давайте сформируем в массиве набор широких страйпов с двойной четностью (см. рисунок, в действительности там 23+2, то есть k=23, а не 5), при записи будет накапливать данные (притом все, относящиеся к разным LUN) и потом записывать их «пачкой» в самый малозаполненный страйп. Так достигается экономия места (коэффициент полезной емкости около 80%), высокая производительность (минимальная паразитная нагрузка от partial updates) и хорошая работа даже при заполнении СХД.

    Есть еще много всего: и быстрейшее клонирование в VMware с использованием VAAI, так как при этом обновляются только метаданные, и компрессия данных «на лету», позволяющая сэкономить емкость даже для плохо дедуплицируемых данных, например, БД, и многое другое, но обо всем в одном посте не расскажешь.

    Что получилось и где это нужно


    Такой набор ноу-хау позволил сделать очень интересный продукт с инлайн-дедупликацией, scale-out, простотой и автоматической балансировкой нагрузки, «бесплатными» снэпшотами и многими другими преимуществами. И все это приносит совершенно реальную пользу.

    Притом это не нишевый продукт для небольших высоконагруженных баз или чего-то подобного. Это универсальное хранилище.

    Вот несколько примеров:
    • VDI-инфраструктура. Там, с одной стороны, высокие требования к производительности, а с другой — необходимо эффективно хранить тысячи одинаковых рабочих мест. Обычно емкость экономят с помощью Linked clones на уровне ПО, что привносит много сложностей. А с XtremIO можно использовать полные клоны, а о дедупликации позаботится сам массив.
    • Виртуальная инфраструктура. Здесь дедупликация тоже отличная, благодаря чему можно уместить в несколько юнитов тысячи виртуальных машин. Развертывание новых клонов практически моментальное, уровень производительности по сравнению с традиционными массивами потрясающий.
    • Или массив для СУБД, в котором производительности всегда достаточно, и можно делать снэпшоты без влияния на производительность. Это может полностью изменить способ построения тестовых ландшафтов. Вместо сложной конструкции с пересозданием клонов и репликацией на массив для test/dev, можно собрать все в одной маленькой коробке.

    Конкуренты


    Такого набора ноу-хау нет ни у кого. И именно такая архитектура и функциональность — это то, что отличает XtremIO от всех остальных игроков на рынке. И таким набором функционала (дедупликация «на лету», компрессия, scale-out, снэпшоты, и все это в едином массиве без дополнительных шлюзов и сложных конструкций), пожалуй, никто не обладает.

    Некоторые вендоры в качестве AFA используют привычные массивы, только заменяют диски на SSD. Но у них не получается добиться такой простоты, scale-out, inline-дедупликации и далее по списку.

    Кто-то предлагает собственные флеш-модули и микросхемы RAID-контроллеров, но в таких решениях дополнительная функциональность либо отсутствует, либо достигается с помощью внешних шлюзов, что очень усложняет систему и снижает производительность.

    А мы искренне верим, что выбрали правильный путь развития СХД и изначально правильную архитектуру.

    PS


    Как вы уже, наверное, поняли, мы – компания EMC – начали свой блог. Stay tuned!
    Dell EMC
    120,10
    Компания
    Поделиться публикацией

    Комментарии 41

      0
      Про Documentum напишете?
        0
        В ближайших планах не было, но вообще можем. А что именно интересно? Documentum — тема большая.
        0
        «UPS применен потому, что NVRAM проигрывает оперативной памяти по времени доступа»
        это что?
          0
          Со слов разработчиков, при создании XtremIO был выбор: для хранения большого объема метаданных (которые при потере питания массива, естественно, должны сохраняться) использовать какую-нибудь технологию энергонезависимой памяти или обычную оперативную память контроллера, добавив UPS. Выбор был сделан в пользу второго варианта из-за скорости доступа к памяти.
            0
            Надеюсь, ваш UPS позволяет менять батарейки на ходу?
              0
              Даже лучше — их там два
          0
          #
            0
            «Такого набора ноу-хау нет ни у кого. И именно такая архитектура и функциональность — это то, что отличает XtremIO от всех остальных игроков на рынке. И таким набором функционала (дедупликация «на лету», компрессия, scale-out, снэпшоты, и все это в едином массиве без дополнительных шлюзов и сложных конструкций), пожалуй, никто не обладает.»

            Скажите, а зачем прямо обманывать читателей?

            www.nutanix.com/2014/10/08/nx-9000-series/

            Nutanix NX-9000. All Flash. 20TB флеша в 2U. Доступна сейчас. По функционалу — коллосально впереди, один Metro Cluster на 400км чего стоит.

            www.nutanix.com/blog/2014/10/09/announcing-nutanix-metro-availability/

            Отмажетесь что «Nutanix это конвергентная система»? Так это хорошо, к XtremeIO надо еще сервера и прочее (и собственно получать упор в I/O).

            Вот уж…
              0
              Все названные вами «фичи» — в Nutanix есть, а так-же намного больше. Внутри сделано намного грамотнее (хранение метаданных в Cassandra), по VDI — тянет легко 2U коробка 400+ виртуальных машин, есть проекты на десятки тысяч VM, включая множество в гос. органах США и Европы.

              Собственно, Nutanix выносит из контрактов в США в первую очередь EMC. В том числе потому что клиенты устали когда им лапшу вешают на уши.

              Вот и (очень успешная) программа есть.

              www.nixvblock.com

              И да, Nutanix практически весь на opensource построен. Национальная безопасность.
                +1
                По крайней мере, EMC не бегает по чужим блогам, поливая авторов грязью и рекламируя свою продукцию. НЯМС, на любом другом ресурсе вас за такое поведение бы уже забанили с концами. Фи.

                Что до этого вашего нутаникса, то всем он хорош, но вот если я не хочу использовать виртуализацию? Ну вот ваще. А хочу обычный массив (но с возможностью масштабирования scale-out) под одну базу данных.

                Не трудитесь отвечать. Я достаточно хорошо представляю матчасть, и не готов здесь дискутировать о преимуществах и недостатках вашего продукта.

                  0
                  Вот честно, не стал бы писать в ваш блог, если бы вы откровенно не пытались обманывать — про функционал, уникальность и прочее.

                  Хотя в общем-то по миру везде ситуация примерно идентичная — дикие деньги на маркетинг и облапошивание клиентов.

                  Матчасть как раз я не уверен что вы хорошо представляете (если позволяете себе такие вещи про «уникальность»), хотя как я вижу — понимаете что дискуссия не приведет к желаемому вашим работодателем результату.

                  Кстати, а какой вы реально результат ожидали вообще?
                  На Habrahabr достаточно много грамотных инженеров, зачем им сказки рекламные рассказывать-то?
                    –1
                    Максим, ну остановитесь уже пожалуйста уже. Все прекрасно знают вашу точку зрения: Nutanix — rulezz, все остальное гавно!
                      0
                      iLexey,

                      Собственно Nutanix тут совершенно ни при чем (кроме того что я всегда говорю о том что точно знаю и в чем разбираюсь — поэтому я говорю о нем, являясь в т.ч. сертифицированным тренером, обучившим уже сотни инженеров в РФ — включая Ростелеком / Газпром и прочих).

                      В сущности, любой вендор другой точно так-же среагировал бы, если бы не было дурацких внутренних правил («не говорить плохого даже если врут»).
                      К счастью, у нас их нет — мы не играем по правилам, навязанным конторами, распиливающими рынок и раздевающими клиентов.

                      Как уже было написано, если бы в данной «джинсе» EMC откровенно не врали, в общем-то никто бы и не заметил.

                      Разбираем (опять-же, можно было бы говорить о других вендорах, замечательных решениях типа Hitachi G1000, или бесплатной Ceph, но я всегда говорю о том в чем реально разбираюсь):

                      Заявка не очень грамотного маркетолога из EMC:

                      «Такого набора ноу-хау нет ни у кого. И именно такая архитектура и функциональность — это то, что отличает XtremIO от всех остальных игроков на рынке. И таким набором функционала (дедупликация «на лету», компрессия, scale-out, снэпшоты, и все это в едином массиве без дополнительных шлюзов и сложных конструкций), пожалуй, никто не обладает.»

                      1) Дедупликация «на лету» — Nutanix делает не только на лету, но и отложенную (map / reduce), а так-же еще и дедупликацию RAM кэша (extremeio это не умеет делать).

                      2) Компрессия — «на лету» и отложенная сделана в Nutanix.

                      3) Снэпшоты (с аппаратной аккселерацией VAAI / VCAI / ODX для HyperV / KVM) — сделаны в Nutanix

                      4) Scale-out — масштабирование не ограничено в Nutanix (да хоть сотни тысяч нодов), но реально ограничено в ExtremeIO

                      5) Единый массив давно сделан в Nutanix, причем намного грамотнее чем в xtremeIO (см. Nutanix Bible — stevenpoitras.com/the-nutanix-bible/ ) — никаких шлюзов и сложных конструкций

                      Если реально устроить разбор полетов, то ExtremeIO «сливается» мгновенно, причем всем становится понятно что им пытаются продать плохое решение за дикие деньги.

                        0
                        Говорите Nutanix не при чем? А речь во все коменнтариях только о нем… Здесь речь про флеш массив.
                        Nutanix флеш массив? Просмотрел Gartner Magic Quadrant, нет не видел. ;)
                          0
                          1) Потому что имею компетенции по нему, засим могу квалифицированно сравнение проводить.

                          2) «Флеш масив» лишь маленькая часть того что он умеет. Ссылку на NX-9000 я уже прикладывал.

                          Гартнер вы смотрели не тот — надо смотреть конвергентные системы, по технологиям мы обошли всех (визионеры индустрии)

                          www.crn.com/news/data-center/300073165/gartner-converged-infrastructure-magic-quadrant-nutanix-top-visionary-vce-overall-leader.htm

                          Gartner Converged Infrastructure 'Magic Quadrant:' Nutanix Top Visionary
                            +1
                            Вот сами и ответили, что это конвергентная система. Чего сравниваем то? А отчет я правильный смотрел: pulseblog.emc.com/2014/09/04/leading-vendor-new-gartner-magic-quadrant-names-emc-solid-state-array-leader/
                              0
                              Нет, подход неверный.

                              Области примнения продуктов — пересекаются крайне высоко (IMHO более чем на 90%) — даже best practice ExtremeIO идут по виртуализации в основном и базам данных. Правда их кардинально меньше чем наших.

                              Когда решения предназначены решать идентичные задачи — их можно и нужно сравнивать.

                              Единственный вариант когда реально не пересекаются продукты — это bare metal инсталляции и нестандартные архитектуры (типа IBM P серии и тд), но этот рынок стремительно схлопывается.
                                0
                                Информирование читателей о неточностях и конкурирующих продуктах — хорошо.
                                Манера подачи этой информации — плохо. Вас минусуют исключительно за это.
                                Вам бы грамотного пиарщика найти, не типичного подлизу, и не хамло, а такого, с язвинкой — польза была бы в десять раз больше.

                                Btw, большая часть их «набора ноу-хау нет ни у кого», есть даже в банальной zfs.
                                Emc, конечно несколько дальше убежало, не не на столько, что бы размахивать флагом.
                                  0
                                  Не плохо бы названия конкурирующих продуктов писать все таки без ошибок, просто по правилам хорошего тона. Да и что бы проводить «квалифицированные» сравнения, как минимум, необходимо быть специалистом в обоих сравниваемых решениях. Мне в этом плане импонирует подход HDS, которая расширяя свой офис, набирала специалистов от всех своих основных конкурентов. Как раз, что бы новые сотрудники могли проводить квалифицированые сравнения :-).
                  +1
                  Есть пара вопросов:
                  1. Будет ли проблема с удалением данных при обновлении прошивки дальше? Проблема известна.
                  2. Имеется ли проблема аналогичная с VNX, касающаяся неравномерной загрузки CPU?
                  3. Будут ли проведены SPEC тесты?
                  4. Будут ли Best Practices для больших инсталяций, например вот таких, на 1.4 милиона пользователе exchange.
                    –1
                    Не расстраивайте парней, они свято верят что они «пожалуй, никто не обладает».

                    — «Туркмены изобрели письменность. Никто и не спорит, другие в это время летали на Луну.»
                      0
                      1. Все, что можно сказать про апгрейды, уже сказано вот тут.
                      2. В XtremIO как раз изначально все параллелится. При чем здесь старый кларион или VNX?
                      3. В смысле spec.org? У них же только SPECsfs для файловых хранилищ, их мы для Isilon и VNX публикуем, а у XtremIO доступ блочный.
                      4. Референсные архитектуры для разных задач есть на xtremio.com в разделе solutions, посмотрите, там много.
                        0
                        Только не надо отвечать в стиле «апгрейды с потерей данных — это хорошо». даже не смешно (особенно — клиентам). впрочем за потерю данных огромное спасибо, много на Nutanix переходят именно после таких приколов с EMC.

                        Вроде в 21 веке

                        Почему-то Nutanix при апгрейде данные не теряет, при том что изменения между ОС — колоссальные бывают (сотни новых фич).

                        Про референсы — забавно очень.

                        Иду в solutions, иду в серверную виртуализацию (где надеюсь найти например MS Exchange) — www.xtremio.com/virtualization

                        Вижу только жалкую писульку: www.xtremio.com/vmware-server-virtualization-reference-architecture

                        я что-то упустил? это — «много»? и где описание архитектур на HyperV и KVM?
                          0
                          А что же с результатами SPC-1? Когда сообщество увидит хоть один результат EMC в этом тестировании?
                          Еще вопрос, если позволите. Возможно ли на лету переносить данные с флеш-массива на VNX/VMAX и обратно?
                      +2
                      А только меня бесят технические обзоры, где не указывается даже ориентировочная цена?
                        0
                        Я помогу коллеге, видимо стесняются.

                        store.emc.com/us/Product-Family/EMC-XtremIO-Products/EMC-XtremIO-All-Flash-Scale-Out-Array/p/EMC-XtremIO-Flash-Scale-Out

                        Более-менее вменяемая железка (4 узла) — миллион долларов и больше. Ну, так в интернетах говорят.

                        Вот тут было обсуждение (28 миллионов рублей)

                        habrahabr.ru/company/croc/blog/214139/

                        Тогда курс был сильно ниже рубля
                          +1
                          Да, по мелочам никто не играется. Прикольно.
                            0
                            Ну почему. У нас с жадностью все нормально, младшая серия железок от 40$k мировой прайс стартует, причем готовый кластер под ключ с 3-я нодами.

                            Но тут все просто — EMC надо кормить десятки тысяч работников. Да еще и внутри бороться (контора разваливается похоже)

                            www.bloomberg.com/news/2014-10-08/emc-gets-public-call-from-elliott-to-spin-off-vmware-unit.html

                            Тобишь принцип «берем диск на заводе, добавляем в конце нолик к цене...»
                        +1
                        Зная, как жидко какается нетапп при удалении сильно дедуплицированных данных под нагрузкой, задам вам тот же вопрос.

                        Дано: утилизация по IO на 50% от возможного. Данные занимают 50% места. Уровень дедупликации — 1:1000. Внезапно, вас просят всю эту 1000 раз по 50% стереть. Сколько времени будет занимать удовольствие и какой лаг по IO это создаст?

                        Напомню: под нагрузкой.
                          0
                          Вопрос интересный. В XtremIO удаление данных — это исключительно обновление метаданных, которые специально обрабатываются целиком в оперативной памяти. То есть при удалении «лишнего» ввода-вывода к SSD не создается. Потому удовольствие быстрое и не напряжное. Кстати, попробую замерить при случае.
                            +1
                            Но метаданные все равно когда-то сохраняются на диск? Плюс, если изменения асинхронные, что происходит с массивом при отказе батарейки или даунтайме больше выдерживаемого?
                              0
                              Да, сохраняются, но асинхронно. То есть при нормальной работе нам никогда не нужно за метаданными к SSD ходить. Здесь, кстати, даже важнее, чем запись, то что их читать с дисков никогда не нужно. Батарейки дублированы, при отключении все сохраняется на диск.
                          0
                          Совершенно согласен с пользователем shapa. За многие годы работы с EMC вывел уникальную формулу подхода EMC — недосказанное враньем не считается. Яркий пример — VPlex, которым до сих пор не возможно управлять без ViPR, но почему-то EMC об этом начинает рассказывать только после того как втюхали VPlex.

                          Теперь по поводу «уникального» и «неповторимого» XtremIO:
                          1. Какова интеграция с инфраструктурой? Есть ли софт для создания консистентных снапшотов (Oracle, MS SQL и т.п.)? Можно ли мониторить XtremIO не только при помощи продуктов EMC? Есть ли API, PowerShell модули для управления и т.п.(а не убогий SMI-S)?
                          2. CLI работает на хосте управления или на самой железке? В ней есть табличные выводы и grep(или аналог)?
                            0
                            Про невозможность управления VPLEX без ViPR — весьма странно. Хотя бы потому, что ViPR значительно позже, чем VPLEX появился.

                            В XtremIO есть полноценный RESTful API, через него можно и управлять, и статистику собирать, и с разными инфраструктурными продуктами по управлению и мониторингу интегрировать. Есть плагин для vCenter (кстати, единый для разных массивов EMC), Cinder драйвер для OpenStack, для PowerShell тоже что-то видел.

                            CLI полноценный и пригодный для скриптинга. Кроме того, что можно зайти по SSH на интерфейс управления, можно поставить CLI в виде отдельной утилитки на любой хост, и на нем уже использовать любые grep'ы и awk'и.
                              0
                              Если нужен только мониторинг, старый добрый SNMP поможет — он, естественно, поддерживается. MIB можно бесплатно скачать с нашего сайта технической поддержки.

                              Для интеграции продуктов EMC в среды Microsoft, в том числе и для предоставления интерфейса PowerShell, у нас есть бесплатный плагин — EMC Storage Integrator. В текущей версии (3.5) ESI не поддерживает XtremIO. Следите за анонсами.
                              Есть набор модулей, созданный энтузиастами. Он в своей основе как раз использует вызовы REST API.

                              По поводу VPLEX. Скажите, Вы используете этот продукт в своей компании? У Вас есть какие-то конкретные вопросы, с которыми мы можем Вам помочь? Честно говоря, ни от кого из пользователей VPLEX, с кем я общался, не доводилось слышать подобных отзывов.
                                0
                                Сегодня вышла новая версия EMC Storage Integrator (3.6). Кроме прочего, добавлена поддержка работы с XtremIO через GUI или PowerShell.
                                Утилита по-прежнему доступна для бесплатной загрузки с нашего сайта.
                                +1
                                За долгие работы вывел уникальную формулу — процентов 95 продавцов не компетентны и не достаточно знают продукт, который продают. И EMC тут далеко не уникально :-). Точно такой же вывод можно сделать про любого ИТ вендора и не только :-).

                                Если переходить в частности, то Nutanix тоже не спешит техническую документацию в свободный доступ выложить. А без нее что-то кому-то доказывать достаточно сложно и бесперспективно.

                                А если уж говорить про альтернативы XtremIO, то они есть. Но называть их в блоге EMC не считаю уместным. Ну и врятли к ним можно отнести Nutanix, IMНO решения все таки разноплановые.
                                0
                                В случае с XtremIO, у нас уже есть механизм подсчета хэшей и возможность ссылаться на один физический блок нескольким логическим адресам. Причем все это делается до записи данных на диски.

                                А как решается (и решается ли вообще) вопрос потенциальной коллизии хэшей?
                                  0
                                  Немного математики.

                                  Мы гарантированно получим коллизию, если мы уже записали 2^160 блоков (кол-во всех возможных вариантов дайджестов в SHA-1) по 4КБ и хотим записать еще один.

                                  2^160 это 1.4615016e+48 блоков данных по 4КБ, то есть на массиве у нас хранится 5.8460065e+48 КБ данных. Таким образом, поместив на массив 5.2e+33 экзабайт данных мы гарантированно получим коллизию из-за того, что у нас кончились дайджесты.

                                  Теперь перейдем к реальности. Например, система XtremIO из восьми XBrick 10ТБ будет иметь полезный объем 8.33*8 ~ 67 ТБ. Даже с учетом дедупликации 1:10 это будет всего лишь 670 терабайт. Ежедневная полная перезапись всего этого объема данных в течение 5 лет дает суммарно порядка 1.1 экзабайта данных.

                                  Цифры несколько несопоставимые.

                                  Да, вероятность коллизии имеется. Однако на этих объемах данных эта вероятность настолько мала, что при аккуратной оценке всех рисков, риск потери данных из-за коллизии будет стоять далеко не на первом месте.
                                    0
                                    Согласен, да, вероятность весьма мала. Но сравнивать конечно стоит не с гарантированной коллизией — кому нужна система хранения, которая гарантированно не хранит данные? :) Сравнение с вероятностью ошибки чтения диска или ленты гораздо интереснее. Но позицию я понял, спасибо.
                                    Интересно ваше мнение — не секрет, что есть «альтернативные» решения, в которых системы занимаются дополнительной верификацией блоков (после сравнения хэша), не напрасно ли? Ведь для AFA лишняя операция будет заметна — если можно снизить латентность ценой ошибки, вероятность которой стремиться к нулю, то почему бы так не поступить? Или может быть кто-то из «альтернативных» производителей выскажется…
                                  0
                                  С почином

                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                  Самое читаемое