В июле 2001 года инвестиционная компания Taco Ventures, принадлежащая Ларри Эллисону, инвестировала в создание Pillar Data Systems — компании-производителя сетевых систем хранения данных для среднего и крупного бизнеса. Компания зарекомендовала себя на рынке продуктовой линией Axiom, она непосредственно конкурировала с EMC Corporation, Hitachi Data Systems и другими производителями сетевых хранилищ и оборудования для сетей хранения данных.
После того, как компания проработала на рынке 10 лет, компания Oracle приобрела Pillar, чтобы перенести ее интеллектуальную собственность на собственное промышленное оборудование. Получилась система хранения данных Oracle FS1 (рис. 1) — многоцелевое сетевое флэш-хранилище. И это настолько крутая вещь, что она достойна отдельной статьи.
Текущая версия системы — FS1-2 (один кластер, два контроллера). В целом, система FS1 может состоять из 1–8 кластеров, то есть из 2–16 контроллеров. Контроллеры масштабируются как горизонтально, с точки зрения увеличения их числа, так и вертикально — по количеству накопителей, устанавливаемых в систему.
Контроллеры текущей версии FS1-2 бывают двух версий — базовые и высокопроизводительные. Каждая контроллерная пара обеих версий, построена на базе четырех процессоров Intel Xeon E5-2620 (24 ядра, тактовая частота 2,0 ГГц), и могут иметь 4–12 портов: FC 16 Гбит/с, NAS 10 Гбит/с и iSCSI 10 Гбит/с. Пары HBA-адаптеров могут быть установлены в любой комбинации — по выбору пользователя. Базовый контроллер стандартно несет четыре порта 6 Гбит/с SAS-2, опционально — восемь; высокопроизводительный — 12. Что касается памяти, используемой для кеширования данных — в базовой версии контроллеров ее может быть до 80 ГБ (64 ГБ DDR3 DRAM и 16 ГБ DDR3 NVDIMM), в высокопроизводительной — 416 ГБ (384 ГБ и 32 ГБ соответственно).
Комбинация таких мощностей позволяет системе в высокопроизводительной конфигурации из 16 контроллеров достигать производительности до 2 млн IOPS и скорости передачи данных до 80 ГБ/с, причем поддерживаются полный комплект функциональности для работы с данными не требующий отдельного лицензирования, а также синхронная и асинхронная репликации с поддержкой журналирования CDP, как уровне временных точек, так и с поддержкой приложений.
Все это замечательное «железо» может поставляться заказчику как в стойке (в этом случае компоненты устанавливают в стойку, соединяют кабелями, тестируют и отгружают в виде полностью укомплектованной, готовой к работе системы), так и не в стойке (после того, как все компоненты установлены, соединены кабелями и протестированы в стойке, их извлекают из стойки и поставляют в индивидуальной упаковке для установки в собственную стойку заказчика).
Для оптимизации затрат на операции ввода-вывода используется, разработанный Oracle, механизм QoS Plus — системное ПО на основе политик с функциями виртуализации, управляющее очередью на выполнение операций ввода-вывода с учетом бизнес-приоритетов и использующая автоматическое разделение на уровни логических томов (LUN) на основе простых шаблонов. QoS Plus собирает подробную информацию об использовании системы хранения, оценивает, какие элементы данных необходимо перенести на тот или иной уровень хранения, и автоматически переносит данные на самый эффективный носитель (флэш-накопитель или жесткий диск), чтобы оптимизировать затраты на одну операцию ввода-вывода с учетом профиля использования и важности этих данных для бизнеса. Сегодня это самая эффективная система на рынке.
Система может работать режимах «только SAN» (при этом используется 16 Гбит-соединение Fibre Channel), «только NAS», а также в промежуточных режимах (см. табл. 1).
FS1 – интеллектуальная система хранения данных, она использует специальные профили, оптимальные для различных приложений и их частей. Часть профилей для Oracle Database и ключевых корпоративных приложений, включая приложения других производителей, в том числе Microsoft, преднастроена заранее — всего около 30 различных профилей. Можно выбрать, на какой уровень накопителей будут изначально ориентированы приложения, и определить уровень сервиса. Система позволяет разделять компоненты базы данных, например индексные файлы, таблицы баз данных, журналы архивов, журналы транзакций, контрольные файлы и временные файлы, чтобы при выделении ресурсов производительность Oracle Database автоматически оптимизировалась без детального анализа компонентов базы данных. Пользователи могут создавать новые профили, модифицировать имеющиеся, экспортировать все профили в другие системы, чтобы стандартизовать выделение ресурсов по ЦОДам. Система позволяет группировать различные профили по степени приоритета, тем самым разграничивая ввод-вывод между различными системами.
Еще одна сильная черта системы FS1 — домены хранения данных, или виртуальные системы хранения данных в рамках одной физической системы FS1. Каждый домен хранения данных представляет собой «контейнер данных», который изолирует данные от других доменов хранения данных. Это обеспечивает их независимость в разделяемых средах частных или публичных облаков, соблюдение нормативных требований или реализацию моделей с возвратом платежей. Домены хранения данных состоят из RAID-групп SSD\HDD накопителей в любых комбинациях. Домен хранения данных физически изолирует данные и избавляет их от необходимости разделения ресурсов накопителей с другими данными. Таким образом устраняется часто встречающаяся проблема «шумных соседей». Можно выделить до 64 доменов хранения данных на систему FS1-2. RAID-группы и классы дисков можно легко переконфигурировать, так что оптимизировать производительность домена хранения данных можно, как вручную, так и предоставив эту задачу собственно системе присваивая на каждый LUN нужный профиль хранения. Присвоение профиля хранения делается буквально одним кликом мышки, избавляя админстраторов от существенных временных затрат и частой рутинной деятельности.
Домены хранения данных позволяют индивидуально настроить программное обеспечение QoS Plus для различных сред, при этом все домены хранения данных по-прежнему будут располагаться на одной физической системе FS1. Можно выделить определенные ресурсы накопителей для критичных приложений, тем самым защищая их производительность. Для архивов можно выделить отдельные накопители с меньшей удельной стоимостью за 1 ТБ, отдельные типы накопителей, и даже отдельные домены хранения.
Что касается накопителей — я не буду утомлять вас полной информацией о количестве и параметрах твердотельных устройств и жестких дисков, которые помещаются на дисковую полку FS1. Буду краток — поддерживаются разнообразные сочетания высокпроизводительных SSD накопителей емкостью 400 ГБ и емких 1,6 ТБ, быстрых дисков емкостью 300 ГБ и 900 ГБ (скорость вращения шпинделя — 10 тыс. об./мин.), а также жестких дисков емкостью 4 ТБ (7200 об./мин.).
В итоге система масштабируется до 912 ТБ флэш накопителями и до 2,9 ПБ дискового пространства. По емкости и скорости накопители FS1 делятся на высокопроизводительные флэш SSD, флэш SSD с высокой емкостью, высокопроизводительные жесткие диски и жесткие диски с высокой емкостью. Эту классификацию использует ПО QoS Plus, когда выбирает уровни хранения для тех или иных данных. Таким образом, допустимо до 4-х физических уровней для любого LUN-а. Кроме этого, учитывая применение механизма онлайн изменения уровня RAID в зависимости от требований производительности, каждая RAID группа может быть в двух состояниях RAID5\ RAID10 или RAID6\RAID10, то логических уровней на которых может быть расположен единичный том, может быть до 8-ми. Формат данных, выбранный Oracle для системы FS1, использует блоки данных по 640 КБ, и это в сотни раз меньше, чем у конкурентов — чем например, блоки объемом 42 МБ или даже гигабайтные блоки в массивах ряда других производителей. Малые блоки гораздо более эффективны для переноса и размещения данных. Размер блока в 640 К даже значительно эффективней подхода предлагаемого рядом иных производителей использующих блоки размером 4К (напомним, что размер страницы диска 64К, а размер страницы флеш для записи 128К).
Разберемся, как это работает (рис. 2). Чтобы перенести данные, нужно провести анализ и пометить данные для переноса. Когда работает много приложений на разных серверах, и все данные необходимо консолидировать, система хранения данных меняет приоритеты выполнения заявок на ввод-вывод и выстраивает очереди блоков данных в соответствии с одним из пяти приоритетов — Premium, High, Medium, Low и Archive, присвоенных каждому логическому тому и соответственно каждому приложению. Соответственно, вы можете в простейшем случае разбить одну физическую систему на два домена хранения данных — высокопроизводительный домен, содержащий только накопители SSD, для критичных приложений, и низкоприоритетный домен, состоящий из любых жестких дисков, как архив для различных систем.
Разумеется, система FS1 спроектирована для работы с Oracle Database и приложениями Oracle, она позволяет использовать уникальные функции Oracle Database такие, как, например, гибридное колоночное сжатие HCC, и имеет функциональность быстрого выделения ресурсов хранения для приложений Oracle Database. Также система совместима с HP UX, AIX, Windows, Solaris, Linux, VMware, то есть, фактически со всеми существующими де-факто стандартными для рынка операционными средами.
Таким образом, система Oracle FS1 предназначена для того, чтобы выжимать из существующих технологий максимальную производительность, в максимальной степени используя возможности всех технологий, связанных с хранением и обработкой данных. Благодаря концепциям доменов хранения данных, уровня сервиса и производительности флэш-памяти достигается целевой уровень SLA. При масштабировании до FS1-16 контроллеры будут соединяться через высокоскоростную коммутируемую компьютерную шину InfiniBand, соответственно, работа контроллеров будет проходит в режиме Active-Active.
FS1 идеально встраивается в систему с приложениями Oracle и Oracle Database. Подготовлены профили для разных приложений, включая Fusion, Siebel, прикладные серверы Microsoft. Мобильные версии приложений для администрирования FS1-2 выпущены для iOS и Android.
В целом FS1 — это объективно одно из лучших решений такого класса в мире. Уверен, что те, кто будет ее администрировать, получат подлинное удовольствие от работы.
После того, как компания проработала на рынке 10 лет, компания Oracle приобрела Pillar, чтобы перенести ее интеллектуальную собственность на собственное промышленное оборудование. Получилась система хранения данных Oracle FS1 (рис. 1) — многоцелевое сетевое флэш-хранилище. И это настолько крутая вещь, что она достойна отдельной статьи.
Текущая версия системы — FS1-2 (один кластер, два контроллера). В целом, система FS1 может состоять из 1–8 кластеров, то есть из 2–16 контроллеров. Контроллеры масштабируются как горизонтально, с точки зрения увеличения их числа, так и вертикально — по количеству накопителей, устанавливаемых в систему.
Контроллеры текущей версии FS1-2 бывают двух версий — базовые и высокопроизводительные. Каждая контроллерная пара обеих версий, построена на базе четырех процессоров Intel Xeon E5-2620 (24 ядра, тактовая частота 2,0 ГГц), и могут иметь 4–12 портов: FC 16 Гбит/с, NAS 10 Гбит/с и iSCSI 10 Гбит/с. Пары HBA-адаптеров могут быть установлены в любой комбинации — по выбору пользователя. Базовый контроллер стандартно несет четыре порта 6 Гбит/с SAS-2, опционально — восемь; высокопроизводительный — 12. Что касается памяти, используемой для кеширования данных — в базовой версии контроллеров ее может быть до 80 ГБ (64 ГБ DDR3 DRAM и 16 ГБ DDR3 NVDIMM), в высокопроизводительной — 416 ГБ (384 ГБ и 32 ГБ соответственно).
Комбинация таких мощностей позволяет системе в высокопроизводительной конфигурации из 16 контроллеров достигать производительности до 2 млн IOPS и скорости передачи данных до 80 ГБ/с, причем поддерживаются полный комплект функциональности для работы с данными не требующий отдельного лицензирования, а также синхронная и асинхронная репликации с поддержкой журналирования CDP, как уровне временных точек, так и с поддержкой приложений.
Все это замечательное «железо» может поставляться заказчику как в стойке (в этом случае компоненты устанавливают в стойку, соединяют кабелями, тестируют и отгружают в виде полностью укомплектованной, готовой к работе системы), так и не в стойке (после того, как все компоненты установлены, соединены кабелями и протестированы в стойке, их извлекают из стойки и поставляют в индивидуальной упаковке для установки в собственную стойку заказчика).
Для оптимизации затрат на операции ввода-вывода используется, разработанный Oracle, механизм QoS Plus — системное ПО на основе политик с функциями виртуализации, управляющее очередью на выполнение операций ввода-вывода с учетом бизнес-приоритетов и использующая автоматическое разделение на уровни логических томов (LUN) на основе простых шаблонов. QoS Plus собирает подробную информацию об использовании системы хранения, оценивает, какие элементы данных необходимо перенести на тот или иной уровень хранения, и автоматически переносит данные на самый эффективный носитель (флэш-накопитель или жесткий диск), чтобы оптимизировать затраты на одну операцию ввода-вывода с учетом профиля использования и важности этих данных для бизнеса. Сегодня это самая эффективная система на рынке.
Система может работать режимах «только SAN» (при этом используется 16 Гбит-соединение Fibre Channel), «только NAS», а также в промежуточных режимах (см. табл. 1).
| Наименование конфигурации |
SAN |
NAS |
| SAN Only |
100% |
0% |
| SAN Biased |
70% |
30% |
| NAS Biased |
30% |
70% |
| NAS Only |
0% |
100% |
FS1 – интеллектуальная система хранения данных, она использует специальные профили, оптимальные для различных приложений и их частей. Часть профилей для Oracle Database и ключевых корпоративных приложений, включая приложения других производителей, в том числе Microsoft, преднастроена заранее — всего около 30 различных профилей. Можно выбрать, на какой уровень накопителей будут изначально ориентированы приложения, и определить уровень сервиса. Система позволяет разделять компоненты базы данных, например индексные файлы, таблицы баз данных, журналы архивов, журналы транзакций, контрольные файлы и временные файлы, чтобы при выделении ресурсов производительность Oracle Database автоматически оптимизировалась без детального анализа компонентов базы данных. Пользователи могут создавать новые профили, модифицировать имеющиеся, экспортировать все профили в другие системы, чтобы стандартизовать выделение ресурсов по ЦОДам. Система позволяет группировать различные профили по степени приоритета, тем самым разграничивая ввод-вывод между различными системами.
Еще одна сильная черта системы FS1 — домены хранения данных, или виртуальные системы хранения данных в рамках одной физической системы FS1. Каждый домен хранения данных представляет собой «контейнер данных», который изолирует данные от других доменов хранения данных. Это обеспечивает их независимость в разделяемых средах частных или публичных облаков, соблюдение нормативных требований или реализацию моделей с возвратом платежей. Домены хранения данных состоят из RAID-групп SSD\HDD накопителей в любых комбинациях. Домен хранения данных физически изолирует данные и избавляет их от необходимости разделения ресурсов накопителей с другими данными. Таким образом устраняется часто встречающаяся проблема «шумных соседей». Можно выделить до 64 доменов хранения данных на систему FS1-2. RAID-группы и классы дисков можно легко переконфигурировать, так что оптимизировать производительность домена хранения данных можно, как вручную, так и предоставив эту задачу собственно системе присваивая на каждый LUN нужный профиль хранения. Присвоение профиля хранения делается буквально одним кликом мышки, избавляя админстраторов от существенных временных затрат и частой рутинной деятельности.
Домены хранения данных позволяют индивидуально настроить программное обеспечение QoS Plus для различных сред, при этом все домены хранения данных по-прежнему будут располагаться на одной физической системе FS1. Можно выделить определенные ресурсы накопителей для критичных приложений, тем самым защищая их производительность. Для архивов можно выделить отдельные накопители с меньшей удельной стоимостью за 1 ТБ, отдельные типы накопителей, и даже отдельные домены хранения.
Что касается накопителей — я не буду утомлять вас полной информацией о количестве и параметрах твердотельных устройств и жестких дисков, которые помещаются на дисковую полку FS1. Буду краток — поддерживаются разнообразные сочетания высокпроизводительных SSD накопителей емкостью 400 ГБ и емких 1,6 ТБ, быстрых дисков емкостью 300 ГБ и 900 ГБ (скорость вращения шпинделя — 10 тыс. об./мин.), а также жестких дисков емкостью 4 ТБ (7200 об./мин.).
В итоге система масштабируется до 912 ТБ флэш накопителями и до 2,9 ПБ дискового пространства. По емкости и скорости накопители FS1 делятся на высокопроизводительные флэш SSD, флэш SSD с высокой емкостью, высокопроизводительные жесткие диски и жесткие диски с высокой емкостью. Эту классификацию использует ПО QoS Plus, когда выбирает уровни хранения для тех или иных данных. Таким образом, допустимо до 4-х физических уровней для любого LUN-а. Кроме этого, учитывая применение механизма онлайн изменения уровня RAID в зависимости от требований производительности, каждая RAID группа может быть в двух состояниях RAID5\ RAID10 или RAID6\RAID10, то логических уровней на которых может быть расположен единичный том, может быть до 8-ми. Формат данных, выбранный Oracle для системы FS1, использует блоки данных по 640 КБ, и это в сотни раз меньше, чем у конкурентов — чем например, блоки объемом 42 МБ или даже гигабайтные блоки в массивах ряда других производителей. Малые блоки гораздо более эффективны для переноса и размещения данных. Размер блока в 640 К даже значительно эффективней подхода предлагаемого рядом иных производителей использующих блоки размером 4К (напомним, что размер страницы диска 64К, а размер страницы флеш для записи 128К).
Разберемся, как это работает (рис. 2). Чтобы перенести данные, нужно провести анализ и пометить данные для переноса. Когда работает много приложений на разных серверах, и все данные необходимо консолидировать, система хранения данных меняет приоритеты выполнения заявок на ввод-вывод и выстраивает очереди блоков данных в соответствии с одним из пяти приоритетов — Premium, High, Medium, Low и Archive, присвоенных каждому логическому тому и соответственно каждому приложению. Соответственно, вы можете в простейшем случае разбить одну физическую систему на два домена хранения данных — высокопроизводительный домен, содержащий только накопители SSD, для критичных приложений, и низкоприоритетный домен, состоящий из любых жестких дисков, как архив для различных систем.
Разумеется, система FS1 спроектирована для работы с Oracle Database и приложениями Oracle, она позволяет использовать уникальные функции Oracle Database такие, как, например, гибридное колоночное сжатие HCC, и имеет функциональность быстрого выделения ресурсов хранения для приложений Oracle Database. Также система совместима с HP UX, AIX, Windows, Solaris, Linux, VMware, то есть, фактически со всеми существующими де-факто стандартными для рынка операционными средами.
Таким образом, система Oracle FS1 предназначена для того, чтобы выжимать из существующих технологий максимальную производительность, в максимальной степени используя возможности всех технологий, связанных с хранением и обработкой данных. Благодаря концепциям доменов хранения данных, уровня сервиса и производительности флэш-памяти достигается целевой уровень SLA. При масштабировании до FS1-16 контроллеры будут соединяться через высокоскоростную коммутируемую компьютерную шину InfiniBand, соответственно, работа контроллеров будет проходит в режиме Active-Active.
FS1 идеально встраивается в систему с приложениями Oracle и Oracle Database. Подготовлены профили для разных приложений, включая Fusion, Siebel, прикладные серверы Microsoft. Мобильные версии приложений для администрирования FS1-2 выпущены для iOS и Android.
В целом FS1 — это объективно одно из лучших решений такого класса в мире. Уверен, что те, кто будет ее администрировать, получат подлинное удовольствие от работы.