SDS от NetApp: ONTAP Select

    ONTAP Select это логическое развитие линейки Data ONTAP-v, т.е. Software Defined Storage. Софт ONTAP (Операционную систему или прошивку по-народному, если хотите) можно использовать на специализированной аппаратной плтформе FAS или в виде виртуальной машины: в публичных облаках или на комодити оборудовании.
    Два последних варината называют ONTAP for Cloud и ONTAP Select соответственно.

    Как и предшественник ONTAP Select, этот продукт, который живёт в виде виртуальной машины и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере. Поддерживаются NAS (CIFS, NFS) и IP SAN (iSCSI) протоколы и отсутствует поддержка FCP. В документах NetApp можно встретить внутренее название ONTAP Select — sDOT, это одно и тоже.

    Из ожидаемых новшеств:
    • Поддержка High Avalability
    • Поддержка кластеризации до 4 нод
    • Максимальный полезный объем 400 ТБ (по 100ТБ на ноду в 4х нодовом кластере)

    На ряду с High Availability и кластеризацией по-прежнему поддерживаются однонодовые конфигурации.


    High Availability


    Для обеспечения функционала High Availability используется технология SyncMirror (такая же как в MetroCluster) которая работает как RAID1: есть два плекса, основной и резервный. С основного происходит чтение и запись, а в резервный происходит синхронная реплика. Если одна нода из двух в HA конфигурации с основным плексом умирает, вторая нода использует резервный плекс, приложения прозрачно переключаются и не замечают потерю ноды. На рисунке у каждой ноды по два набора данных (два плекса): свой (основной) и соседа (резервный).

    SnapMirror репликация


    ONTAP Select может выступать как источник, так и как получатель реплик. На базе SnapMirror можно построить DR решение SVM. Если использовать ONTAP только как хранилище файлов, то для репликации нет необходимости обеспечивать консистентность данных сторонним ПО. Если же используется IP SAN или приложения виртуализации, БД и других, то понадобится ПО резервного копирования, для обеспечения консистентности информации.

    Point-in-time consistency


    Самый простой способ снять консистентный снепшот — потушить приложение. Что такое консистентность данных? Под консистентностью понимается требования к резервному копированию, которые обеспечивают гарантию восстановления данных на момент их резервного копирования. Это если объяснять сухим, совершенно техническим языком. А если по-простому и понятному, то это лучше объясняется и понимается от обратного: представьте что у вас есть БД живущая в среде виртуализации или на СХД, которые умеет делать снепшоты и они настроены, так что снимаются каждый день в 12 ночи. Сможете ли вы при повреждении бызы восстановиться к одному из таких снепшотов? Ответ — «может да, а может нет», даже «скорее нет чем да». Потому, что сами по себе снепшоты безо всякого взаимодействия с приложением лепяться, невзирая на то, завершились ли транзакции БД и все ли данные из памяти очутились на диске. Другими словами вам нужно каким-то образом интегрировать и «дружить» ваши снепы и ваше приложение, чтобы оно сбрасывало данные из кеша на диск, завершало все накопившиеся транзакции, замирало, следом снимался снепшот и только в конце приложение «отмирало». А чтобы это происходило незаметно для пользователей, снепшот должен сниматься мгновенно. И только при таком условии вы гарантированно сможете откатываться к такому сепшоту.

    Виртуализация и консистентность


    Все современные гипервизоры, при помощи агентов установленных внутрь виртуальных машин могут добиваться консистентности и далее выполнять консистентный снепшот, это очень удобно для небольших компаний, которые имеют не очень нагруженные виртуальные машины. Если не устанавливать агент гипервизора, то консистентности не будет.

    Почему снепшоты гипервизоров это зло?


    До поры до времени, пока организация и нагрузки на ваируальные машины не большие, консистентные снепшоты гипервизоров и решения бэкапирования построенные на этом вполне будут подходить таким компаниям. Но компании и нагрузки могут выростать и вот здесь наступает переломный момент:
    Снепшоты Hyper-V или того же VMware устроены, к сожалению таким образом, что чем больше они существуют, тем больше этот снепшот становится. Чем больше снепшот, тем дольше он удаляется. Чем больше он удаляется тем больше он нагружает дисковую подсистему. Чем долше он удаляется, тем больше вероятность того, что старый снеп не успеет удалиться из-за возросшей дополнительной нагрузки, и создастся ещё один новый снеп, для нового процесса бэкапирования. Чем больше снепшотов, тем ещё больше нагрузки на дисковую подсистему.
    Как VMware, так и Microsoft открыто говорят, о том, что снепшоты гипервизора не рекомендуется использовать на высоко нагруженных приложениях. Я лично наблюдал два раза на практике, что процесс удаления снепшота (консолидация) приводила к краху системы, в обоих случаях это было связано с тем, что дисковая подсистема не успевала справляться с дополнительной нагрузкой, блочное устройство из-за излишней нагрузки всё увеличивало и увеличивало время отклика, пока не превысило таймаут и виртуальная машина не успев доконсолидироваться ушла в офлайн с последующим её повреждением. Один раз даже получилось её восстановить.
    В общем в определённый момент становится понятно, что снепшоты гипервизоров не подходят как парадигма резервного копирования.

    Снепшоты ONTAP


    Снепшоты выполненые на ONTAP совершенно не влияют на производительность системы хранения. Так устроенна внутрення архитектура ONTAP. Но снепшоты СХД, это снепшоты СХД. И чтобы они могли взаимодействовать с гипервизором, необходимо использовать какое-то специализированное программное решение для взаимодействия. Примерами таких решений могут быть Veeam B&R, технология vVOL и другие. Важно отдельно отметить решение компании NetApp SnapCreator, которое способно обеспечить эту связку, так как ONTAP Select рассчитан для не больших организаций, а SnapCreator бесплатный продукт.

    SnapCreator


    Это бесплатный фреймворк с веб-интерфейсом для управления и интеграции с ONTAP и различными приложениями, в том числе гипервизорами Hyper-V, VMware и KVM. Благодаря своей модульности фрейморк может быть интегрирован со множеством других софтверных продуктов при помощи плагинов, а при необходимости расширен при помощи скриптов. Подробнее про SnapCreator здесь и здесь.


    Поддерживаемые конфигурации ONTAP Select


    Гипервизоры
    • VMware VSphere 5.X или 6.X, Enterprise или Enterprise Plus
    • KVM hypervisor

    Оборудование:
    • Intel Haswell CPU (Xeon E5 v3)
    • ONTAP Select virtual machine: 4 virtual
    • CPUs/16GB memory
    • Storage:
    • SAS, NL-SAS disk support
    • Hardware RAID controller with writeback cache
    • Network: minimum 2 x 10GbE ports


    Лицензирование
    Потерабайтное. Максимальный размер 400ТБ.
    В ONTAP Select влючены лицензии: CIFS, NFS, iSCSI, FlexClone, SnapRestore, SnapVault, SnapMirror, Virtual Storage Console.
    Лицензия на SnapCenter не включена и покупается для каждого отдельного хоста.

    Отличительные черты
    Перечисленное ниже входит в базовую поставку при покупке ONTAP Select, дополнительно этот функционал покупать не нужно:
    • Поддержка SAN (iSCSI) & NAS (CIFS & NFS)
    • CIFS (SMB) поддерживается как в интеграции с AD, так и используя Workgroup
    • High Availability
    • Кластеризация с возможностью онлайн миграции данных SAN/NAS по нодам кластера
    • Снепшоты и клоны не влияющие на производительность СХД — лицензии FlexClone и SnapRestore идут в базовой комплектации
    • QoS — на уровне файла, луна, вольюма
    • MS ODX & Copy Offload (SAN/NAS), SMB 3.1
    • NFS 4.X, pNFS
    • NDMP с поддержкой расширения 0x2050
    • Thing provisioning, SCSI-3 UNMAP (Space Reclamation)
    • resource exhaustion reporting — уведомление хоста об окончании пространства в тонком луне
    • Compression
    • Deduplication
    • Storage Virtual Machine (Multi Tenancy) — Возможность создавать выделенные «виртуальные» СХД на базе кластера, которые могут работать независимо друг от друга и управляться различными администраторами, подразделениями или даже компаниями
    • Интеграция с передовым софтом резервного копирования
    • Поддержка vVol (NFS/iSCSI), VASA, VAAI (NFS/iSCSI)
    • Возможность создания Disastar Recovery решения на нескольких площадках
    • Поддержка тонкого реплицирования данных на удалённый ONTAP (не важно FAS, ONTAP Select или ONTAP for Cloud) — лицензии SnapMirror и SnapVault идут в базовой комплектации
    • Бесплатный SnapCreator — софт интеграции снепов с приложениями (БД, виртуализация и т.д.)
    • Бесплатный OnCommand Unified Manager & Performance Manager — софт для слежения за производительностью, защищённостью и заполненностью СХД


    Выводы


    SDS ONTAP хорошо подходит для средних и небольших компаний, и компаний с филиальной структурой, где может быть необходимость реплицировать данные на другие ONTAP. Продукт позволяет кластеризироваться для онлайн миграции ваших данных по нодам кластера, имеет богатый функционал и широкую интеграцию с разнообразными приложениями и позволяет построить высокодостуное хранилище используя комодити сервера. Продукты резервного копирования, которые интегрируют ONTAP с виртуальными окружениями KVM и ESXi будут весьма востребованы в таких схемах так как позволяют качественно улучшить процесс резервного копирования. Так Veeam Backup & Replication и бесплатный SnapCreator позволяют выполнять консистентные резервные копии в связке с гипервизорами и умеют управлять SnapMirror репликацией, что делает эти, и другие подобные продукты, оптимальным тандемом в такой инфраструктуре. Технология SnapMirror for SVM поможет построить DR решение на базе ONTAP. Отдельно стоит выделить технологию VMware vVOL, которая нативно обеспечивает консистентные снепшоты на ONTAP из-за чего также будет весьма интересна для подобных инсталляций.

    Здесь могут содержаться ссылки на Habra-статьи, которые будут опубликованы позже.
    Сообщения по ошибкам в тексте прошу направлять в ЛС.
    Замечания, дополнения и вопросы по статье напротив, прошу в комментарии.
    Share post
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 27

      0
      Ещё у решения приятная цена в $249 за терабайт, хотя с текущими скидками на FAS2500 железка в сборе может оказаться выгодней.
        0
        Я бы рекомендовал узнавать цены у партнёра/дистрибютора/вендора
        Потому-что они могут отличаться от страны к стране.
        А также могут отличаться уровни скидок от партнёра к партнёру.
          +1
          Само собой, но прятать цены из прайс-листа тоже нехорошо.
            0
            При чём тут прятать?
            Потому-что они могут отличаться от страны к стране.
            А также могут отличаться уровни скидок от партнёра к партнёру.


            Есть голд партнёры, есть уровня Diamand, есть сильвер, есть «просто» и для них разные уровни скидок действуют.
            В разных странах разное законодательство и разные цены.
          0
          Обратите нимение, что в ONTAP Select входят лицензии
          FlexClone, SnapRestore, SnapVault, SnapMirror
          Которые покупаются для FAS2500 отдельно.
          0
          Как оно в сравнении с миллионом конкурентов на рынке выглядит в итоге? Цена/удобство/производительность/ништяки?
            0
            КМК, никак по сравнению с VSAN — это просто дешевые приёмник для нетаповский снепшотов.
              0
              Вот в общем то у меня сложилось аналогичное мнение после конференции. Но интересуют и продукты других вендоров
                0
                Хочу обратить ваше внимание на немаловажный фактор возможности широкой интеграции сторонних софтов резервного копирования. Опять таки vVOL для iSCSI/NFS.
                Это вам не просто iSCSI/CIFS/NFS
                Возможности НА и онлайн миграции по кластеру тоже есть далеко не у всех.

                Цельная статья об этом, и похоже вы её ещё не прочли.
                  0
                  Возможности НА и онлайн миграции по кластеру тоже есть далеко не у всех.
                  Одного предложения мне было мало, по этому я и спросил
                    +1
                    Очень удобная вещь в данном случае SVM DR.
                    Не придется покупать СХД, можно разместиться на более дешевом железе и с меньшими затратами.
                    +1
                    Автор забыл еще упомянуть о поддержке дедупликации и компрессии.
                      0
                      Да, дедупликация, тонкий провиженинг и снепшоты традиционно также входят в ONTAP, а еще VASA, VAAI, MS ODX, CIFS 3.1.1, QoS и многое другое
                +1
                В общем в определённый момент становится понятно, что снепшоты гипервизоров не подходят как парадигма резервного копирования.

                Есть и другие парадигмы, сейчас всё популярней защита на уровне приложений, которая обеспечивает лучший RPO с меньшим влиянием на производительность (сброс кэшей совсем не бесплатен).

                этот продукт живёт и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере

                Причем тут SDS и какой оверхед у HA-кластера? Дисков надо в два раза больше, как с MetroCluster?
                  0
                  Да, для обеспечения HA нужно в два раза больше пространства, как вы правильно заметили там используется технология плексов, как в MetroCluster

                  Парадигма выгрузки средствами приложения имеет, как правило, следующие существенные минусы:
                  • данные копируются в виде FullBackup — это долго и соответственно долго нагружает дисковую подсистему
                  • нагружается не толко дискоая подсистема но и порты и CPU хоста (или гипервизора)


                  У снепов и консистентности нет таких накладных расходов.
                    0
                    Я имел ввиду AlwaysOn, DAG и т.п., там данные копируются на уровне транзакций и оверхед закладывается на этапе проктирования системы.
                      –1
                      Если оверхед закладывается в самом начале, это не значит что его там нет :)
                      По сравнению со снятием консистентного снепа это существенное влияние на производительность (заложенное в самом начале).
                      В нетаповских снепах такой проблемы нет.
                        +1
                        AlwaysON, DAG, RAC и т.д. — это решения для обеспечения High Availability приложений. При этом они не спасают от порчи данных из-за человеческих ошибок и не только. Например, дропнутая таблица на одном сайте будет дропнутой и на другом. Так что не стоит путать резервное копирование и HA.
                          +1
                          Я в одном банке принимал участие в разворачивании инфраструктуры, у нас там база жила в зеркале и плюс каждые 15 минут бэкапились транзакции, но это всё средствами встроенного ПО. Всё было хорошо пока при очередном обновлении ПО не поломали зеркало и пришлось восстанавливаться из бэкапа. И тут мы прочувствовали разницу. Бэкап раз в 15 минут занимал несколько секунд, мы даже хотели гранулярность до 5 минут сократить. Но когда начали восстанавливать базу, на это ушло больше часа и как для банка, это было очень существенно, т.к. закрытые по всей стране кассы по причине неработающих терминалов — это прямые убытки. Если бы была в тот момент возможность откатиться на снэпшот, всё было бы намного оперативней.

                          Недавно была похожая ситуация в другой организации и с другим ПО. Там уже использовались снэпшоты на уровне стора, но эти снэпшоты доступны только для чтения и когда утром пришла «благая весть» о том что базу уронили, восстанавливать (а фактически копировать) её из снэпшота пришлось больше трёх часов.

                          Так что тут я соглашусь с топикстартером, т.к. уже на личном опыте понял:
                          1. Снэпшоты на уровне стора — вещь полезная для оперативного бэкапа.
                          2. Снэпшоты на уровне стора должны быть доступны в полноценном read/write режиме для оперативного рестора.
                            +1
                            Кстати в ONTAP Select (и All Flash FAS — AFF) лицензия FlexClone (для клонирования снепа — тот же снеп только RW) включена в базовую поставку, докупать не нужно.
                            В FAS системах необходимо докупать отдельно.
                      0
                      SnapCreator бесплатный, а вот плагины к нему нет.
                        0
                        Все известные мне плагин для SC бесплатные.
                        Есть один плагин, который бесплатен сам по себе, он интегрирует SnapManager в SnapCreator. Так вот SnapManager сам по себе платный и он один такой.
                          +1
                          Блин. Перепутал со SnapCenter :)
                        –1
                        Тихо падал летний снег.
                        Netapp смог сделать кластер из 4-х узлов.

                        На дворе стоял 2017-й год…
                          +1
                          Как-то у вас всё с преувеличением получилось, даже год 2017 :)
                          И в перемушку — всё со всем.
                          Netapp смог сделать кластер из 4-х узлов.

                          Не стоит обобщать: если мы говорим про SDS ONTAP Select, то да, там 4 ноды.
                          Если мы говорим о FAS платформах, то там 24 ноды максимум, но у самой архитектуры, по числу нод, ограничения технического, на самом деле, нет.
                          Т.е. в будущем это число может вырости.

                          Что же касается числа нод то не стоит меряться «нодовостью», не в этом счастье.
                          Вот возьмите сравните перфоменс NFS у EMC Isilon из 140 нод и 24 ноды FAS на SPEC SFS 2008.
                            0
                            Если говорить о кластеризации СХД, то компания Spinnaker разработавшая кластеризацию Spinfs была основаня в 1999 году, эта компания потом была куплена NetApp 2003 году, а её технологии лягли в основу кластеризации ONTAP.
                            0
                            Опубликовал продолжение темы SDS, теперь в контексте публичного облака.
                            https://habrahabr.ru/post/279907/

                            Only users with full accounts can post comments. Log in, please.