За последние три года человечество произвело информации больше, чем за всю историю своего существования до 2010 года. Накопление данных продолжается экспоненциально и уже никого не удивляют требования заказчиков хранить петабайты данных. Использование традиционных массивов в таких случаях часто нерационально, а иногда и невозможно. Конечно, системы хранения старшего уровня при использовании низкопроизводительных SATA дисков смогут обеспечить заказчику объем данных более петабайта, но такое решение будет дорогим и медленным. Для ускорения обработки соответсвующих объемов информации наиболее оптимально использовать параллельную обработку. По этому пути уже давно идут проектировщики вычислительных систем. Если взять список самых производительных систем — это будет кластер из сотен и тысяч небольших серверов. То же самое происходит и в системах хранения — обеспечение приемлимого ввода-вывода при объемах более петабайта возможно обеспечить только с помощью кластера систем хранения. Поэтому неудивительно, что практически все производители оборудования имеют в своей линейке продуктов масштабируемые системы хранения NAS (scale-out NAS).
В статье произведен независимый обзор существующих масштабируемых NAS.
В таблице показано сравнение характеристик Scale-NAS систем. Результаты по производительности размещены на сайте www.spec.org/sfs2008/results/sfs2008nfs.html
Gluster
Проект gluster базируется на свободно распространяемом программном обеспечении. Преимущество такого подхода — отсутствие привязки к каким-либо определенным системам хранения. Кроме этого, в решении проблемы при сбое программного обеспечения могут быть задействованы тысячи участвующих в проекте программистов, что в конечном итоге приводит к ее более быстрому решению по сравнению с коммерческими системами.
Благодаря распределению файлов по серверам с помощью определенного алгоритма кластеру серверов NAS нет требуется выделенного сервера для хранения метаданных.
Gluster не имеет практического ограничения на количество узлов, поддерживаемый объем данных и на данный момент является самым масштабируемым NAS решением.
Red hat storage server
Red hat storage server основывается на разработке с открытым кодом (проект gluster). Лицензии на Red hat storage server, как и на gluster, бесплатны. Заказчик платит только за поддержку. В связи с тем, что Red hat берет на себя определенные обязательства по поддержке, заказчик может поставить только протестированные Rad hat конфигурации оборудования.
Стоит отметить, что в случае с Red hat storage server преимущество использования открытого кода сохраняется. При сбое программного обеспечения в решении проблемы, помимо специалистов Red hat, могут быть задействованы участвующие в проекте Gluster программисты.
Red hat storage server поддерживает до 64 узлов с общим дисковым пространством до 8ПБ.
Netapp Clustere Data Ontap
Компания Netapp одной из первых начала предлагать NAS решения и, конечно, она не могла обойти нишу масштабируемых NAS. Устройства серии FAS/V 62XX могут быть объеденены в NAS кластер с общим пространством имен, состоящий из 24 устройств.
Максимальный объем дискового пространства кластера составляет 69ПБ, что является рекордом среди коммерческих систем. Емкость одного тома (infinite volume) может составлять 20ПБ и одновременно использовать до 10 система хранения Netapp.
Результаты тестов (http://www.spec.org/sfs2008/results/sfs2008nfs.html) показали хорошую производительность. Более того, при сравнении результатов в 16, 20 и 24х узловой конфигурации, виден линейный рост производительности с увеличением количества узлов кластера.
EMC Isilon
Компания EMC решила не разрабатывать собственный продукт, а приобрести уже готовое решение по масштабируемым NAS. Такое решение было у компании Isilon systems, ныне предлагаемое как EMC Isilon. Решение масштабируется до 144 узлов и поддерживает до 15ПБ. Из преимуществ системы — возможность распределения одного файла по нескольким узлам и настройка политики хранения для каждого файла. Обратная сторона этого преимущества заключается в том, что информация о расположении отдельных частей сохраненных файлов требует увеличенный размер метаданных, дальнейшая обработка которых снижает производительность системы. И действительно, даже в максимальной конфигурации с 140 узлами кластера EMC Isilon показывает посредственные результаты как по количеству обработанных запросов, так и по времени обработки (http://www.spec.org/sfs2008/results/sfs2008nfs.html).
Huawei
Согласно тестам производительности (http://www.spec.org/sfs2008/results/sfs2008nfs.html) Huawei на кластере из 24-х NAS систем N8500 показывает рекордную для масштабируемых NAS систем производительность 3064602 ops/sec. Это в три раза лучше, чем 140 узловой кластер Isilon.
В максимальной конфигурации кластер Huawei поддерживает до 24 узлов суммарной емкостью 15ПБ. Кроме этого, NAS обеспечивает возможность динамического перераспределения расположения файлов в зависимости от нагрузки DST(dynamic storage tiering). Помимо рекордной производительности, в случае отсутствия нагрузки на диски система отключает их энергопотребление (функция drive speed down), что очень актуально для систем хранения с дисковыми объемами от петабайта и выше.
Заключение
Практически каждый производитель ИТ оборудования имеет в своем портфеле масштабируемые NAS решения. Помимо перечисленных, масштабируемые NAS решения решения есть у HP, IBM и других.
Компания IBM предлагает IBM Scale Out Network Attached Storage (SONAS) с поддержкой до 60 узлов в кластере и 28ПБ данных. HP предлагает HP Irbix с возможностью маштабирования до 16 Петабайт и 1024 узлов в кластере. Мы не будем рассматривать эти решения подробно, так как они не обладают выдающимися характеристиками по производительности, поддерживаемому пространству и т.п.
Рассмотрение перечисленных систем показывает, что в зависимости от требований заказчика выбор наиболее оптимального NAS кластера может быть разным. Конечно, самый бюджетный вариант будет при использовании Gluster. Помимо отсутствия платы за программное обеспечение, использование уже существующих в компании систем хранения позволит сохранить ранее сделанные инвестиции и сократить затраты на приобретение нового оборудования. Использование Red hat storage server ограничивает использование существующего оборудования, но в тоже время обеспечивает гарантированную поддержку от вендора. Использование EMC Isilon имеет смысл рассматривать при работе с файлами большого объема, когда требуется распределение одного файла между несколькими узлами кластера. Если же необходима максимальная производительность — то это Huawei. Если же заказчику законодательно запрещено использовать Huawei (например, ограничения наложены в США), то в этом случае наиболее оптимальным выбором будет масштабируемый NAS кластер от Netapp.
В статье произведен независимый обзор существующих масштабируемых NAS.
В таблице показано сравнение характеристик Scale-NAS систем. Результаты по производительности размещены на сайте www.spec.org/sfs2008/results/sfs2008nfs.html
Gluster
Проект gluster базируется на свободно распространяемом программном обеспечении. Преимущество такого подхода — отсутствие привязки к каким-либо определенным системам хранения. Кроме этого, в решении проблемы при сбое программного обеспечения могут быть задействованы тысячи участвующих в проекте программистов, что в конечном итоге приводит к ее более быстрому решению по сравнению с коммерческими системами.
Благодаря распределению файлов по серверам с помощью определенного алгоритма кластеру серверов NAS нет требуется выделенного сервера для хранения метаданных.
Gluster не имеет практического ограничения на количество узлов, поддерживаемый объем данных и на данный момент является самым масштабируемым NAS решением.
Red hat storage server
Red hat storage server основывается на разработке с открытым кодом (проект gluster). Лицензии на Red hat storage server, как и на gluster, бесплатны. Заказчик платит только за поддержку. В связи с тем, что Red hat берет на себя определенные обязательства по поддержке, заказчик может поставить только протестированные Rad hat конфигурации оборудования.
Стоит отметить, что в случае с Red hat storage server преимущество использования открытого кода сохраняется. При сбое программного обеспечения в решении проблемы, помимо специалистов Red hat, могут быть задействованы участвующие в проекте Gluster программисты.
Red hat storage server поддерживает до 64 узлов с общим дисковым пространством до 8ПБ.
Netapp Clustere Data Ontap
Компания Netapp одной из первых начала предлагать NAS решения и, конечно, она не могла обойти нишу масштабируемых NAS. Устройства серии FAS/V 62XX могут быть объеденены в NAS кластер с общим пространством имен, состоящий из 24 устройств.
Максимальный объем дискового пространства кластера составляет 69ПБ, что является рекордом среди коммерческих систем. Емкость одного тома (infinite volume) может составлять 20ПБ и одновременно использовать до 10 система хранения Netapp.
Результаты тестов (http://www.spec.org/sfs2008/results/sfs2008nfs.html) показали хорошую производительность. Более того, при сравнении результатов в 16, 20 и 24х узловой конфигурации, виден линейный рост производительности с увеличением количества узлов кластера.
EMC Isilon
Компания EMC решила не разрабатывать собственный продукт, а приобрести уже готовое решение по масштабируемым NAS. Такое решение было у компании Isilon systems, ныне предлагаемое как EMC Isilon. Решение масштабируется до 144 узлов и поддерживает до 15ПБ. Из преимуществ системы — возможность распределения одного файла по нескольким узлам и настройка политики хранения для каждого файла. Обратная сторона этого преимущества заключается в том, что информация о расположении отдельных частей сохраненных файлов требует увеличенный размер метаданных, дальнейшая обработка которых снижает производительность системы. И действительно, даже в максимальной конфигурации с 140 узлами кластера EMC Isilon показывает посредственные результаты как по количеству обработанных запросов, так и по времени обработки (http://www.spec.org/sfs2008/results/sfs2008nfs.html).
Huawei
Согласно тестам производительности (http://www.spec.org/sfs2008/results/sfs2008nfs.html) Huawei на кластере из 24-х NAS систем N8500 показывает рекордную для масштабируемых NAS систем производительность 3064602 ops/sec. Это в три раза лучше, чем 140 узловой кластер Isilon.
В максимальной конфигурации кластер Huawei поддерживает до 24 узлов суммарной емкостью 15ПБ. Кроме этого, NAS обеспечивает возможность динамического перераспределения расположения файлов в зависимости от нагрузки DST(dynamic storage tiering). Помимо рекордной производительности, в случае отсутствия нагрузки на диски система отключает их энергопотребление (функция drive speed down), что очень актуально для систем хранения с дисковыми объемами от петабайта и выше.
Заключение
Практически каждый производитель ИТ оборудования имеет в своем портфеле масштабируемые NAS решения. Помимо перечисленных, масштабируемые NAS решения решения есть у HP, IBM и других.
Компания IBM предлагает IBM Scale Out Network Attached Storage (SONAS) с поддержкой до 60 узлов в кластере и 28ПБ данных. HP предлагает HP Irbix с возможностью маштабирования до 16 Петабайт и 1024 узлов в кластере. Мы не будем рассматривать эти решения подробно, так как они не обладают выдающимися характеристиками по производительности, поддерживаемому пространству и т.п.
Рассмотрение перечисленных систем показывает, что в зависимости от требований заказчика выбор наиболее оптимального NAS кластера может быть разным. Конечно, самый бюджетный вариант будет при использовании Gluster. Помимо отсутствия платы за программное обеспечение, использование уже существующих в компании систем хранения позволит сохранить ранее сделанные инвестиции и сократить затраты на приобретение нового оборудования. Использование Red hat storage server ограничивает использование существующего оборудования, но в тоже время обеспечивает гарантированную поддержку от вендора. Использование EMC Isilon имеет смысл рассматривать при работе с файлами большого объема, когда требуется распределение одного файла между несколькими узлами кластера. Если же необходима максимальная производительность — то это Huawei. Если же заказчику законодательно запрещено использовать Huawei (например, ограничения наложены в США), то в этом случае наиболее оптимальным выбором будет масштабируемый NAS кластер от Netapp.
