ONTAP Select это логическое развитие линейки Data ONTAP-v, т.е. Software Defined Storage. Софт ONTAP (Операционную систему или прошивку по-народному, если хотите) можно использовать на специализированной аппаратной плтформе FAS или в виде виртуальной машины: в публичных облаках или на комодити оборудовании.
Два последних варината называют ONTAP for Cloud и ONTAP Select соответственно.
Как и предшественник ONTAP Select, этот продукт, который живёт в виде виртуальной машины и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере. Поддерживаются NAS (CIFS, NFS) и IP SAN (iSCSI) протоколы и отсутствует поддержка FCP. В документах NetApp можно встретить внутренее название ONTAP Select — sDOT, это одно и тоже.
Из ожидаемых новшеств:
На ряду с High Availability и кластеризацией по-прежнему поддерживаются однонодовые конфигурации.
Для обеспечения функционала High Availability используется технология SyncMirror (такая же как в MetroCluster) которая работает как RAID1: есть два плекса, основной и резервный. С основного происходит чтение и запись, а в резервный происходит синхронная реплика. Если одна нода из двух в HA конфигурации с основным плексом умирает, вторая нода использует резервный плекс, приложения прозрачно переключаются и не замечают потерю ноды. На рисунке у каждой ноды по два набора данных (два плекса): свой (основной) и соседа (резервный).
ONTAP Select может выступать как источник, так и как получатель реплик. На базе SnapMirror можно построить DR решение SVM. Если использовать ONTAP только как хранилище файлов, то для репликации нет необходимости обеспечивать консистентность данных сторонним ПО. Если же используется IP SAN или приложения виртуализации, БД и других, то понадобится ПО резервного копирования, для обеспечения консистентности информации.
Самый простой способ снять консистентный снепшот — потушить приложение. Что такое консистентность данных? Под консистентностью понимается требования к резервному копированию, которые обеспечивают гарантию восстановления данных на момент их резервного копирования. Это если объяснять сухим, совершенно техническим языком. А если по-простому и понятному, то это лучше объясняется и понимается от обратного: представьте что у вас есть БД живущая в среде виртуализации или на СХД, которые умеет делать снепшоты и они настроены, так что снимаются каждый день в 12 ночи. Сможете ли вы при повреждении бызы восстановиться к одному из таких снепшотов? Ответ — «может да, а может нет», даже «скорее нет чем да». Потому, что сами по себе снепшоты безо всякого взаимодействия с приложением лепяться, невзирая на то, завершились ли транзакции БД и все ли данные из памяти очутились на диске. Другими словами вам нужно каким-то образом интегрировать и «дружить» ваши снепы и ваше приложение, чтобы оно сбрасывало данные из кеша на диск, завершало все накопившиеся транзакции, замирало, следом снимался снепшот и только в конце приложение «отмирало». А чтобы это происходило незаметно для пользователей, снепшот должен сниматься мгновенно. И только при таком условии вы гарантированно сможете откатываться к такому сепшоту.
Все современные гипервизоры, при помощи агентов установленных внутрь виртуальных машин могут добиваться консистентности и далее выполнять консистентный снепшот, это очень удобно для небольших компаний, которые имеют не очень нагруженные виртуальные машины. Если не устанавливать агент гипервизора, то консистентности не будет.
До поры до времени, пока организация и нагрузки на ваируальные машины не большие, консистентные снепшоты гипервизоров и решения бэкапирования построенные на этом вполне будут подходить таким компаниям. Но компании и нагрузки могут выростать и вот здесь наступает переломный момент:
Снепшоты Hyper-V или того же VMware устроены, к сожалению таким образом, что чем больше они существуют, тем больше этот снепшот становится. Чем больше снепшот, тем дольше он удаляется. Чем больше он удаляется тем больше он нагружает дисковую подсистему. Чем долше он удаляется, тем больше вероятность того, что старый снеп не успеет удалиться из-за возросшей дополнительной нагрузки, и создастся ещё один новый снеп, для нового процесса бэкапирования. Чем больше снепшотов, тем ещё больше нагрузки на дисковую подсистему.
Как VMware, так и Microsoft открыто говорят, о том, что снепшоты гипервизора не рекомендуется использовать на высоко нагруженных приложениях. Я лично наблюдал два раза на практике, что процесс удаления снепшота (консолидация) приводила к краху системы, в обоих случаях это было связано с тем, что дисковая подсистема не успевала справляться с дополнительной нагрузкой, блочное устройство из-за излишней нагрузки всё увеличивало и увеличивало время отклика, пока не превысило таймаут и виртуальная машина не успев доконсолидироваться ушла в офлайн с последующим её повреждением. Один раз даже получилось её восстановить.
В общем в определённый момент становится понятно, что снепшоты гипервизоров не подходят как парадигма резервного копирования.
Снепшоты выполненые на ONTAP совершенно не влияют на производительность системы хранения. Так устроенна внутрення архитектура ONTAP. Но снепшоты СХД, это снепшоты СХД. И чтобы они могли взаимодействовать с гипервизором, необходимо использовать какое-то специализированное программное решение для взаимодействия. Примерами таких решений могут быть Veeam B&R, технология vVOL и другие. Важно отдельно отметить решение компании NetApp SnapCreator, которое способно обеспечить эту связку, так как ONTAP Select рассчитан для не больших организаций, а SnapCreator бесплатный продукт.
Это бесплатный фреймворк с веб-интерфейсом для управления и интеграции с ONTAP и различными приложениями, в том числе гипервизорами Hyper-V, VMware и KVM. Благодаря своей модульности фрейморк может быть интегрирован со множеством других софтверных продуктов при помощи плагинов, а при необходимости расширен при помощи скриптов. Подробнее про SnapCreator здесь и здесь.
Гипервизоры
Оборудование:
Лицензирование
Потерабайтное. Максимальный размер 400ТБ.
В ONTAP Select влючены лицензии: CIFS, NFS, iSCSI, FlexClone, SnapRestore, SnapVault, SnapMirror, Virtual Storage Console.
Лицензия на SnapCenter не включена и покупается для каждого отдельного хоста.
Отличительные черты
Перечисленное ниже входит в базовую поставку при покупке ONTAP Select, дополнительно этот функционал покупать не нужно:
SDS ONTAP хорошо подходит для средних и небольших компаний, и компаний с филиальной структурой, где может быть необходимость реплицировать данные на другие ONTAP. Продукт позволяет кластеризироваться для онлайн миграции ваших данных по нодам кластера, имеет богатый функционал и широкую интеграцию с разнообразными приложениями и позволяет построить высокодостуное хранилище используя комодити сервера. Продукты резервного копирования, которые интегрируют ONTAP с виртуальными окружениями KVM и ESXi будут весьма востребованы в таких схемах так как позволяют качественно улучшить процесс резервного копирования. Так Veeam Backup & Replication и бесплатный SnapCreator позволяют выполнять консистентные резервные копии в связке с гипервизорами и умеют управлять SnapMirror репликацией, что делает эти, и другие подобные продукты, оптимальным тандемом в такой инфраструктуре. Технология SnapMirror for SVM поможет построить DR решение на базе ONTAP. Отдельно стоит выделить технологию VMware vVOL, которая нативно обеспечивает консистентные снепшоты на ONTAP из-за чего также будет весьма интересна для подобных инсталляций.
Здесь могут содержаться ссылки на Habra-статьи, которые будут опубликованы позже.
Сообщения по ошибкам в тексте прошу направлять в ЛС.
Замечания, дополнения и вопросы по статье напротив, прошу в комментарии.
Два последних варината называют ONTAP for Cloud и ONTAP Select соответственно.
Как и предшественник ONTAP Select, этот продукт, который живёт в виде виртуальной машины и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере. Поддерживаются NAS (CIFS, NFS) и IP SAN (iSCSI) протоколы и отсутствует поддержка FCP. В документах NetApp можно встретить внутренее название ONTAP Select — sDOT, это одно и тоже.
Из ожидаемых новшеств:
- Поддержка High Avalability
- Поддержка кластеризации до 4 нод
- Максимальный полезный объем 400 ТБ (по 100ТБ на ноду в 4х нодовом кластере)
На ряду с High Availability и кластеризацией по-прежнему поддерживаются однонодовые конфигурации.
High Availability
Для обеспечения функционала High Availability используется технология SyncMirror (такая же как в MetroCluster) которая работает как RAID1: есть два плекса, основной и резервный. С основного происходит чтение и запись, а в резервный происходит синхронная реплика. Если одна нода из двух в HA конфигурации с основным плексом умирает, вторая нода использует резервный плекс, приложения прозрачно переключаются и не замечают потерю ноды. На рисунке у каждой ноды по два набора данных (два плекса): свой (основной) и соседа (резервный).
SnapMirror репликация
ONTAP Select может выступать как источник, так и как получатель реплик. На базе SnapMirror можно построить DR решение SVM. Если использовать ONTAP только как хранилище файлов, то для репликации нет необходимости обеспечивать консистентность данных сторонним ПО. Если же используется IP SAN или приложения виртуализации, БД и других, то понадобится ПО резервного копирования, для обеспечения консистентности информации.
Point-in-time consistency
Самый простой способ снять консистентный снепшот — потушить приложение. Что такое консистентность данных? Под консистентностью понимается требования к резервному копированию, которые обеспечивают гарантию восстановления данных на момент их резервного копирования. Это если объяснять сухим, совершенно техническим языком. А если по-простому и понятному, то это лучше объясняется и понимается от обратного: представьте что у вас есть БД живущая в среде виртуализации или на СХД, которые умеет делать снепшоты и они настроены, так что снимаются каждый день в 12 ночи. Сможете ли вы при повреждении бызы восстановиться к одному из таких снепшотов? Ответ — «может да, а может нет», даже «скорее нет чем да». Потому, что сами по себе снепшоты безо всякого взаимодействия с приложением лепяться, невзирая на то, завершились ли транзакции БД и все ли данные из памяти очутились на диске. Другими словами вам нужно каким-то образом интегрировать и «дружить» ваши снепы и ваше приложение, чтобы оно сбрасывало данные из кеша на диск, завершало все накопившиеся транзакции, замирало, следом снимался снепшот и только в конце приложение «отмирало». А чтобы это происходило незаметно для пользователей, снепшот должен сниматься мгновенно. И только при таком условии вы гарантированно сможете откатываться к такому сепшоту.
Виртуализация и консистентность
Все современные гипервизоры, при помощи агентов установленных внутрь виртуальных машин могут добиваться консистентности и далее выполнять консистентный снепшот, это очень удобно для небольших компаний, которые имеют не очень нагруженные виртуальные машины. Если не устанавливать агент гипервизора, то консистентности не будет.
Почему снепшоты гипервизоров это зло?
До поры до времени, пока организация и нагрузки на ваируальные машины не большие, консистентные снепшоты гипервизоров и решения бэкапирования построенные на этом вполне будут подходить таким компаниям. Но компании и нагрузки могут выростать и вот здесь наступает переломный момент:
Снепшоты Hyper-V или того же VMware устроены, к сожалению таким образом, что чем больше они существуют, тем больше этот снепшот становится. Чем больше снепшот, тем дольше он удаляется. Чем больше он удаляется тем больше он нагружает дисковую подсистему. Чем долше он удаляется, тем больше вероятность того, что старый снеп не успеет удалиться из-за возросшей дополнительной нагрузки, и создастся ещё один новый снеп, для нового процесса бэкапирования. Чем больше снепшотов, тем ещё больше нагрузки на дисковую подсистему.
Как VMware, так и Microsoft открыто говорят, о том, что снепшоты гипервизора не рекомендуется использовать на высоко нагруженных приложениях. Я лично наблюдал два раза на практике, что процесс удаления снепшота (консолидация) приводила к краху системы, в обоих случаях это было связано с тем, что дисковая подсистема не успевала справляться с дополнительной нагрузкой, блочное устройство из-за излишней нагрузки всё увеличивало и увеличивало время отклика, пока не превысило таймаут и виртуальная машина не успев доконсолидироваться ушла в офлайн с последующим её повреждением. Один раз даже получилось её восстановить.
В общем в определённый момент становится понятно, что снепшоты гипервизоров не подходят как парадигма резервного копирования.
Снепшоты ONTAP
Снепшоты выполненые на ONTAP совершенно не влияют на производительность системы хранения. Так устроенна внутрення архитектура ONTAP. Но снепшоты СХД, это снепшоты СХД. И чтобы они могли взаимодействовать с гипервизором, необходимо использовать какое-то специализированное программное решение для взаимодействия. Примерами таких решений могут быть Veeam B&R, технология vVOL и другие. Важно отдельно отметить решение компании NetApp SnapCreator, которое способно обеспечить эту связку, так как ONTAP Select рассчитан для не больших организаций, а SnapCreator бесплатный продукт.
SnapCreator
Это бесплатный фреймворк с веб-интерфейсом для управления и интеграции с ONTAP и различными приложениями, в том числе гипервизорами Hyper-V, VMware и KVM. Благодаря своей модульности фрейморк может быть интегрирован со множеством других софтверных продуктов при помощи плагинов, а при необходимости расширен при помощи скриптов. Подробнее про SnapCreator здесь и здесь.
Поддерживаемые конфигурации ONTAP Select
Гипервизоры
- VMware VSphere 5.X или 6.X, Enterprise или Enterprise Plus
- KVM hypervisor
Оборудование:
- Intel Haswell CPU (Xeon E5 v3)
- ONTAP Select virtual machine: 4 virtual
- CPUs/16GB memory
- Storage:
- SAS, NL-SAS disk support
- Hardware RAID controller with writeback cache
- Network: minimum 2 x 10GbE ports
Лицензирование
Потерабайтное. Максимальный размер 400ТБ.
В ONTAP Select влючены лицензии: CIFS, NFS, iSCSI, FlexClone, SnapRestore, SnapVault, SnapMirror, Virtual Storage Console.
Лицензия на SnapCenter не включена и покупается для каждого отдельного хоста.
Отличительные черты
Перечисленное ниже входит в базовую поставку при покупке ONTAP Select, дополнительно этот функционал покупать не нужно:
- Поддержка SAN (iSCSI) & NAS (CIFS & NFS)
- CIFS (SMB) поддерживается как в интеграции с AD, так и используя Workgroup
- High Availability
- Кластеризация с возможностью онлайн миграции данных SAN/NAS по нодам кластера
- Снепшоты и клоны не влияющие на производительность СХД — лицензии FlexClone и SnapRestore идут в базовой комплектации
- QoS — на уровне файла, луна, вольюма
- MS ODX & Copy Offload (SAN/NAS), SMB 3.1
- NFS 4.X, pNFS
- NDMP с поддержкой расширения 0x2050
- Thing provisioning, SCSI-3 UNMAP (Space Reclamation)
- resource exhaustion reporting — уведомление хоста об окончании пространства в тонком луне
- Compression
- Deduplication
- Storage Virtual Machine (Multi Tenancy) — Возможность создавать выделенные «виртуальные» СХД на базе кластера, которые могут работать независимо друг от друга и управляться различными администраторами, подразделениями или даже компаниями
- Интеграция с передовым софтом резервного копирования
- Поддержка vVol (NFS/iSCSI), VASA, VAAI (NFS/iSCSI)
- Возможность создания Disastar Recovery решения на нескольких площадках
- Поддержка тонкого реплицирования данных на удалённый ONTAP (не важно FAS, ONTAP Select или ONTAP for Cloud) — лицензии SnapMirror и SnapVault идут в базовой комплектации
- Бесплатный SnapCreator — софт интеграции снепов с приложениями (БД, виртуализация и т.д.)
- Бесплатный OnCommand Unified Manager & Performance Manager — софт для слежения за производительностью, защищённостью и заполненностью СХД
Выводы
SDS ONTAP хорошо подходит для средних и небольших компаний, и компаний с филиальной структурой, где может быть необходимость реплицировать данные на другие ONTAP. Продукт позволяет кластеризироваться для онлайн миграции ваших данных по нодам кластера, имеет богатый функционал и широкую интеграцию с разнообразными приложениями и позволяет построить высокодостуное хранилище используя комодити сервера. Продукты резервного копирования, которые интегрируют ONTAP с виртуальными окружениями KVM и ESXi будут весьма востребованы в таких схемах так как позволяют качественно улучшить процесс резервного копирования. Так Veeam Backup & Replication и бесплатный SnapCreator позволяют выполнять консистентные резервные копии в связке с гипервизорами и умеют управлять SnapMirror репликацией, что делает эти, и другие подобные продукты, оптимальным тандемом в такой инфраструктуре. Технология SnapMirror for SVM поможет построить DR решение на базе ONTAP. Отдельно стоит выделить технологию VMware vVOL, которая нативно обеспечивает консистентные снепшоты на ONTAP из-за чего также будет весьма интересна для подобных инсталляций.
Здесь могут содержаться ссылки на Habra-статьи, которые будут опубликованы позже.
Сообщения по ошибкам в тексте прошу направлять в ЛС.
Замечания, дополнения и вопросы по статье напротив, прошу в комментарии.
