Масштабируемые NAS

За последние три года человечество произвело информации больше, чем за всю историю своего существования до 2010 года. Накопление данных продолжается экспоненциально и уже никого не удивляют требования заказчиков хранить петабайты данных. Использование традиционных массивов в таких случаях часто нерационально, а иногда и невозможно. Конечно, системы хранения старшего уровня при использовании низкопроизводительных SATA дисков смогут обеспечить заказчику объем данных более петабайта, но такое решение будет дорогим и медленным. Для ускорения обработки соответсвующих объемов информации наиболее оптимально использовать параллельную обработку. По этому пути уже давно идут проектировщики вычислительных систем. Если взять список самых производительных систем — это будет кластер из сотен и тысяч небольших серверов. То же самое происходит и в системах хранения — обеспечение приемлимого ввода-вывода при объемах более петабайта возможно обеспечить только с помощью кластера систем хранения. Поэтому неудивительно, что практически все производители оборудования имеют в своей линейке продуктов масштабируемые системы хранения NAS (scale-out NAS).

В статье произведен независимый обзор существующих масштабируемых NAS.

В таблице показано сравнение характеристик Scale-NAS систем. Результаты по производительности размещены на сайте www.spec.org/sfs2008/results/sfs2008nfs.html



Gluster
Проект gluster базируется на свободно распространяемом программном обеспечении. Преимущество такого подхода — отсутствие привязки к каким-либо определенным системам хранения. Кроме этого, в решении проблемы при сбое программного обеспечения могут быть задействованы тысячи участвующих в проекте программистов, что в конечном итоге приводит к ее более быстрому решению по сравнению с коммерческими системами.
Благодаря распределению файлов по серверам с помощью определенного алгоритма кластеру серверов NAS нет требуется выделенного сервера для хранения метаданных.
Gluster не имеет практического ограничения на количество узлов, поддерживаемый объем данных и на данный момент является самым масштабируемым NAS решением.

Red hat storage server
Red hat storage server основывается на разработке с открытым кодом (проект gluster). Лицензии на Red hat storage server, как и на gluster, бесплатны. Заказчик платит только за поддержку. В связи с тем, что Red hat берет на себя определенные обязательства по поддержке, заказчик может поставить только протестированные Rad hat конфигурации оборудования.
Стоит отметить, что в случае с Red hat storage server преимущество использования открытого кода сохраняется. При сбое программного обеспечения в решении проблемы, помимо специалистов Red hat, могут быть задействованы участвующие в проекте Gluster программисты.
Red hat storage server поддерживает до 64 узлов с общим дисковым пространством до 8ПБ.

Netapp Clustere Data Ontap
Компания Netapp одной из первых начала предлагать NAS решения и, конечно, она не могла обойти нишу масштабируемых NAS. Устройства серии FAS/V 62XX могут быть объеденены в NAS кластер с общим пространством имен, состоящий из 24 устройств.
Максимальный объем дискового пространства кластера составляет 69ПБ, что является рекордом среди коммерческих систем. Емкость одного тома (infinite volume) может составлять 20ПБ и одновременно использовать до 10 система хранения Netapp.
Результаты тестов (http://www.spec.org/sfs2008/results/sfs2008nfs.html) показали хорошую производительность. Более того, при сравнении результатов в 16, 20 и 24х узловой конфигурации, виден линейный рост производительности с увеличением количества узлов кластера.

EMC Isilon
Компания EMC решила не разрабатывать собственный продукт, а приобрести уже готовое решение по масштабируемым NAS. Такое решение было у компании Isilon systems, ныне предлагаемое как EMC Isilon. Решение масштабируется до 144 узлов и поддерживает до 15ПБ. Из преимуществ системы — возможность распределения одного файла по нескольким узлам и настройка политики хранения для каждого файла. Обратная сторона этого преимущества заключается в том, что информация о расположении отдельных частей сохраненных файлов требует увеличенный размер метаданных, дальнейшая обработка которых снижает производительность системы. И действительно, даже в максимальной конфигурации с 140 узлами кластера EMC Isilon показывает посредственные результаты как по количеству обработанных запросов, так и по времени обработки (http://www.spec.org/sfs2008/results/sfs2008nfs.html).

Huawei

Согласно тестам производительности (http://www.spec.org/sfs2008/results/sfs2008nfs.html) Huawei на кластере из 24-х NAS систем N8500 показывает рекордную для масштабируемых NAS систем производительность 3064602 ops/sec. Это в три раза лучше, чем 140 узловой кластер Isilon.
В максимальной конфигурации кластер Huawei поддерживает до 24 узлов суммарной емкостью 15ПБ. Кроме этого, NAS обеспечивает возможность динамического перераспределения расположения файлов в зависимости от нагрузки DST(dynamic storage tiering). Помимо рекордной производительности, в случае отсутствия нагрузки на диски система отключает их энергопотребление (функция drive speed down), что очень актуально для систем хранения с дисковыми объемами от петабайта и выше.

Заключение

Практически каждый производитель ИТ оборудования имеет в своем портфеле масштабируемые NAS решения. Помимо перечисленных, масштабируемые NAS решения решения есть у HP, IBM и других.
Компания IBM предлагает IBM Scale Out Network Attached Storage (SONAS) с поддержкой до 60 узлов в кластере и 28ПБ данных. HP предлагает HP Irbix с возможностью маштабирования до 16 Петабайт и 1024 узлов в кластере. Мы не будем рассматривать эти решения подробно, так как они не обладают выдающимися характеристиками по производительности, поддерживаемому пространству и т.п.
Рассмотрение перечисленных систем показывает, что в зависимости от требований заказчика выбор наиболее оптимального NAS кластера может быть разным. Конечно, самый бюджетный вариант будет при использовании Gluster. Помимо отсутствия платы за программное обеспечение, использование уже существующих в компании систем хранения позволит сохранить ранее сделанные инвестиции и сократить затраты на приобретение нового оборудования. Использование Red hat storage server ограничивает использование существующего оборудования, но в тоже время обеспечивает гарантированную поддержку от вендора. Использование EMC Isilon имеет смысл рассматривать при работе с файлами большого объема, когда требуется распределение одного файла между несколькими узлами кластера. Если же необходима максимальная производительность — то это Huawei. Если же заказчику законодательно запрещено использовать Huawei (например, ограничения наложены в США), то в этом случае наиболее оптимальным выбором будет масштабируемый NAS кластер от Netapp.

Комментарии 11

    +1
    Зачем это здесь?
      +1
      Если же необходима максимальная производительность — то это Huawei


      Не знаю как СХД, а вот сетевое оборудование у них еще тот глюкодром причем вся линейка начиная от SOHO заканчивая энтерпрайзом.
        +3
        Есть автомобиль «Рено». Емкость багажника — 320 литров, крайняя цифра на спидометре — 220 километров в час, а мощность двигателя — 55 лошадиных сил.
        Есть автомобиль «Шевроле». У него емкость багажника — 240 литров, крайняя цифра на спидометре 240 километров в час, а мощность двигателя — 68 лошадиных сил.
        Есть автомобиль «Мерседес». У него емкость багажника 150 литров, крайняя цифра на спидометре — 320 километров в час, а мощность двигателя — 150 лошадиных сил.
        А еще есть такой роторный двигатель Ванкеля. Он вообще крутой.

        Если нужно много вещей возить, то лучший выбор — Рено. А если быстро гонять — Мерседес. Ну а вообще самый лучший — роторный двигатель Ванкеля, потому что он крутой, и у него нет вообще никаких ограничений ни по емкости багажника, ни по скорости, по крайней мере я не нашел.

        Автор, лучше надо посты на хабре готовить!
          –2
          Вообще то спидометр и протестированная скорость на треке это разные вещи. Про Huawei написано, так как он на данный момент является лидером по реально протестированной производительности ( www.spec.org/sfs2008/results/sfs2008nfs.html) т.е. реально замеренная скорость на треке, а если говорить про спидометр с теоретической скоростью, то это будет Gluster
        • НЛО прилетело и опубликовало эту надпись здесь
            –2
            Так как статья предназначена для технических специалистов, то здесь не найти маркетингового шума типа «мы в два раза лучше, чем обычные масштабируемые NAS». Тут даны реальные цифры, а специалистам самим решать, что им подходит лучше.
              +1
              Технические специалисты, в моем лица, с недоумением прочли этот, с позволения сказать текст.
              И увидел в нем в основном как раз «маркетинговый шум» в виде перепечаток цифр из проспектов и википедий, не имеющий никакого отношения к жизни, более того, нет даже попытки понять их.

              И если вы считаете, что «бенчмаркетинг» (это так называется) в виде сравнения размеров чисел в таблицах есть то, чем должен заниматься на работе технический специалист, то у меня для вас разочаровывающие новости.
                –2
                Track, судя по ответам Вы все таки являетесь маркетинговым специалистом. В качестве контраргумента сначала привели автомобили, а потом википедию перепутали с spec.org. Можете пригласить технического спеца, который знает и может сравнивать функционал масштабируемых NAS и беспристрастно анализировать результаты независимых тестов?
                  +1
                  Вы бы, вместо того, чтобы обижаться и дуться, лучше бы над текстом поработали. Например нет ответа на вопрос, почему это производительность, показанная по тесту SPECsfs2008 должна быть релевантна моей бизнес-задаче? И вообще какое отношение «рекорды производительности» имеют к практической задаче, решаемой такими системами?
                  Переводя снова на автомобили: Если скорость — самое важное, то отчего все не покупают болиды Формулы-1, ведь они — самые быстрые?
                  • НЛО прилетело и опубликовало эту надпись здесь
                      0
                      Если провести аналогию по автомобилям, то я бы не брал Ванкеля, а рассмотрел доступные на нашем рынке варианты:
                      Gluster — Жигули. Стать владельцем реально за 500 долларов (две виртуалки на компе), куча каталогов по ремонту и в каждом гараже готовы оказать сервис (открытый код). А возможность расточить двигатель и добавить закись азота не ограничивает теоретическую максимальную скорость.
                      Red hat storage server — Новая Lada Priora. Полно документации, любой гараж готов оказать сервис, но что бы сразу после приобретения не слетела гарантия — соблюдаются требования ВАЗа (Red Hat)
                      EMC Isilon — грузовичок Scania. Хороший официальный сервис. По скорости уступает легковушкам, но зато легко справляется с большими грузами (файлами).
                      Huawei — китайский автомобиль. Еще 10 лет назад никто не воспринимал в серьез, но последнее время все чаще встречается у таксистов-частников (интернет компаний). Для первоначальной разработки привлекли Bertone (Symantec)
                      Netaap — Folkswagen. Старожил рынка. Хорошо себя зарекомендовал.
                      Видно, что как и в автомобилях, среди масштабируемых NAS нет идеального решения. Каждый занимает свою нишу.

            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

            Самое читаемое