NetApp AltaVault: Резервное копирование и архивирование данных в облаке

    В октябре 2014 года компания NetApp приобрела продуктовую линейку SteelStore у компании Riverbed Technology’s. Этот продукт давно пользовался популярностью в корпоративных средах благодаря своей простоте и возможности собирать бэкапы (быть таргетом для складывания бэкапов) почти, со всех возможных продуктов резервного копирования и возможности складывать эти данные в облако. Этот продукт отлично дополнил портфолио компании NetApp и вписался в видение компании о будущем гибридных, частных и публичных облаков. После приобретения этот продукт получил новое имя AltaVault и несколько новшеств, о которых пойдет речь ниже.


    Первое новшество — это то, что продукт «сменил железо», теперь он переехал на ту же самую платформу, на которой сейчас живет ONTAP, известной под названием FAS, соответственно применяются те же дисковые полки. Это был весьма логичный шаг, так как компания недавно завершила отладку и выпустила обновлённую платформу FAS8000 на базе PCI Express Gen 3, в ходе которой было проделано много работы и, что важно, найдены и исправлены хардварные баги, связанные с производительностью именно самой архитектуры PCIe gen 3. Плюс это экономически более целесообразно не плодить множество платформ. Другими словами, платформа, для продуктов FAS и AVA (AltaVault) одна и та же, а чтобы люди не путались, на изображениях этих продуктов появился маленький фиолетовый значок с надписью «AVA» справа в верхнем углу шасси с контроллерами.

    NetApp давно зарекомендовала себя как компания, которая глубоко интегрирует все свои продукты, не исключением стала и платформа AltaVault. Второе важное новшество — это добавление поддержки NetApp StorageGrid Web Scale в качестве объектного хранилища данных. Это позволило строить схему резервного копирования не только в публичное, но и частное облако. Возможно, уже в ближайшем будущем будут добавлены и другие фичи для ещё более глубокой интеграции с другими продуктами NetApp.

    Форма выпуска продукта


    Продукт доступен в виде физического устройства и представлен моделями AVA400 (48-288TB локального хранилища) и AVA800 (72-576TB локального хранилища), а также в виде виртуальной машины AVA-v (2-32TB локального хранилища), которая поставляется в виде виртуального аплаенса для гипервизоров Hyper-V (2012 R2), ESXi (vSphere/ESXi 5.5 or 6.0: VMFS-5 или на RDM volume) или KVM (RedHat Enterprise Linux OS 6.5 or higher). Бывают 2TB, 8TB, 16TB и 32TB версии. Виртуальный аплаенс AVA-с также доступен в публичных облаках Amazon (EC2 Marketplace) и Azure, что весьма удобно при разворачивании резервной площадки в публичном облаке. Локальное хранилище здесь — это физическое пространство на дисках, без учёта сжатия. Т.е. если ваши бэкапы будут очень хорошо жаться, то на локальном хранилище можно будет держать намного больше данных, нежели физически есть пространства. Подробнее на официальном сайте.

    Системные требования сервера для запуска AVA-v


    AVA400 и AVA800

    На AVA400 и AVA800 присутствуют 10GB интерфейсы, которые могут быть агрегированы при помощи 802.3ad mode. Поддерживается VLAN тегирование. AVA400 может подключать дисковые полки только с дисками 4TB, а AVA800 может подключать дисковые полки только с дисками 6TB.

    Устройство работы


    AltaVault представляет собой обычную файловую шару CIFS/NFS, куда ПО резервного копирования направляет бэкапы. Поддерживается NFS v3/v4, SMB v2/v3 (поддерживается SMB multi channel connections) и Veritas OpenStorage API (Veritas OST: NetBackup 6.5 and 7.7). Благодаря этой простоте продукт интегрируется с таким широким кругом ПО резервного копирования, в том числе и конкурирующих вендоров, таких как IBM Tivoli, EMC NetWorker, HP Data Protector и Dell vRanger. Данные, которые поступают на AVA, в онлайне дедублицируются (используется варьируемая длинна блока, что позволяет увеличить степень сжатия данных). Все самые последние копии данных храняться локально, а более старые данные отправляются в частное или публичное облако. Все данные перед отправкой шифруются при помощи сертификата шифрования.

    Режимы работы: Cold & Hot Backup

    Существует два режима работы: Cold Backup или Cold Storage mode (локальное кеширование не работает) и Hot Backup (локальное кеширование включено).
    В режиме Cold Backup данные, попадающие на AVA дедублицируются, шифруются и сразу после этого отправляются в облако, локальные диски хранят только совсем небольшой набор мета-информации о бэкапах, и соответственно необходимы хорошие каналы связи, чтобы бэкапы заливались в облако.
    В режиме с включённым кешированием данные, поступающие в AVA, дедублицируются, шифруются и потом попадают на локальные диски, далее из дисков отправляются в облако по мере возможности, это позволяет наиболее новые бэекапы восстанавливать намного быстрее и иметь менее требовательный канал связи с облаком, нежели для режима Cold Backup. Т.е. в режиме кеширования наиболее свежие бэкапы хранятся и на локальных дисках, и в облаке. Более старые данные из кеша постепенно вытесняются новыми данными, которые просто удаляются (ведь их копия есть в облаке).

    Размер бэкапа в облаке

    Как правило, размер архива, который может быть залит в облако, в 5 раз (Backup mode) больше, чем локальный кеш на дисках у AVA. В режиме работы Cold Storage mode локальный кеш используется только для хранения мета-информации, что позволяет превышать объем хранимых данных в облаке больше чем в 5 раз по отношению к локальному кешу. Подробнее.

    SnapMirror

    SnapMirror — это тип репликации, основывающийся на снепшотах. После покупки SteelStore NetApp активно взялся за его интеграцию со своим флагманским продуктом ONTAP. Так как возможность репликации данных из ONTAP напрямую в AVA было бы логичным решением, что позволило бы выполнять бэкап намного эффективнее благодаря передачи только изменений данных, а не полного набора данных каждый раз во время бэкапа. Репликация из ONTAP напрямую в AVA также очень удобна тем, что устраняется необходимость вытягивание бэка из хоста (не нагружен CPU хоста и его сетевые порты), а также устраняется промежуточный Proxy сервер, который необходим был для переливки бэкапов-файлов из хоста на бэкап-таргет (AVA, облако). Репликация снепшотов происходит следующим образом: сначала отправляется «базовый набор данных», а потом к нему докатываются а-ля инкременты. Каждый такой снепшот (вместе с уже отреплицированным базовым набором данных и более старыми снепшотами) являет собой полный набор данных, с которыми, в отличие от инкрементов, нет нужды выполнять операцию «склеивания», чтобы что-то восстановить. В такой конфигурации AltaVault сможет выступать таргетом для принятия этих реплик с OS ONTAP, это позволит более экономно расходовать ресурсы пространства AltaVault, передавать меньший объем данных по сети и меньше по сравнению с операцией FullBackup нагружать СХД, с которой выполняется резервирование. Подробнее о снепшотах в продукте NetApp ONTAP. SnapMirror доступен в новой версии прошивки AVA 4.3 в рамках концепции DataFabric.

    Интерфейс и софт резервного копирования


    У системы есть как Web GUI с очень простым и понятным расположением объектов, так и SSH консоль, синтаксисом, конфиг файлом и своим устройством очень похожа на Cisco роутер. Можно использовать одновременно множество разнообразных продуктов резервного копирования, которые складывают свои бэкапы на одну AltaVault, рекомендуется иметь для каждого приложения отдельную файловую шару.

    Внешний вид коммандной строки и конфиг-файла


    Официально поддерживаемые системы резервного копирования
    Backup apps:
    Amanda Network Backup (Community and Enterprise)
    Arcserve
    Commvault Simpana
    Dell vRanger
    EMC NetWorker
    HP Data Protector
    IBM Spectrum Protect (Tivoli Storage Manager)
    NetApp SnapProtect
    Veeam
    Veritas (Symantec) Backup Exec
    Veritas (Symantec) Enterprise Vault
    Veritas (Symantec) NetBackup
    CA BrightStor ARCServe Backup
    OpenStack Cinder NFS Backup Driver

    Бэкапы из БД
    Microsoft SQL Server
    Oracle RMAN

    Этот список может дополняться|изменяться, уточняйте у авторизированных партнёров NetApp


    Публичные и частные облака


    AltaVault не может работать сам по себе в режиме хранения бэкапов только на внутренних дисках. Система нуждается в наличии или специализированного ПО, установленного в приватном облаке или в публичном облачном провайдере, поддерживающих объектное хранение данных. Поддерживается очень широкий список публичных провайдеров и ПО для частного хранения данных, в том числе OpenStack Swift и конкурентов, такие как EMC Atmos, IBM Cleversafe и Dell NetVault. AltaVault позволяет подключить какой-то один из облачных сервисов. Также поддерживается режим миграции из одного на второй облачный сервис.


    Официально поддерживаемые облачные сервисы
    Public cloud storage providers
    Amazon Glacier
    Amazon GovCloud
    Amazon S3
    AT&T Synaptic Storage as a Service
    Cloudwatt
    Dunkel Cloud Storage
    EVault LTS2 (Seagate)
    Google Cloud Platform
    HP Cloud Services
    IBM SoftLayer Object Storage
    IIJ
    Microsoft Azure Blob
    Orange Cloud for Business
    Outscale
    Rackspace
    Swisscom
    Telefonica
    TELUS
    Verizon
    и ещё ~20 других.

    Private cloud storage providers
    NetApp StorageGRID Webscale
    Cleversafe
    Cloudian HyperStore
    EMC Atmos
    OpenStack Swift
    Scality RING
    Dell NetVault

    Этот список может дополняться|изменяться, уточняйте у авторизованных партнеров NetApp

    Нагрузка на Back-End и Front-End




    Шифрование


    Данные, отправляемые в облако, уже сжаты и зашифрованы при помощи сертификата шифрования с использованием алгоритма AES 256-bit. Это позволяет не беспокоиться о вопросе, где находятся резервные копии, даже если они будут скопированы персоналом облачного провайдера. Поддерживается KMIP для обмена ключами, RBAC для доступа пользователей, Аутентификация AD/LDAP, TACACS, RADIUS, NFSv4 c Kerberos. AVA соответствует уровню безопасности FIPS 140-2 Lavel 1.


    DR и восстановление настроек


    AltaVault позволяет выгрузить конфиг-файл, который может быть использован для восстановления всей конфигурации на новой системе, а функция Re-Population затянет на локальные диски новой системы самые свежие данные из облака.
    Repopulation data from the Cloud




    Выводы


    Продукт AltaVault имеет простой и интуитивно понятный интерфейс, хорошо дополняет портфолио резервного копирования и архивирования NetApp, был интегрирован с существующим продуктами StorageGrid и SnapProtect, поддерживает широкий список ПО для резервного копирования и множество облачных провайдеров и систем хранения. Продукт уже заслужил хорошую репутацию на рынке и является корпоративным стандартом для резервного копирования множества компаний.

    Здесь могут содержаться ссылки на Habra-статьи, которые будут опубликованы позже.
    Сообщения по ошибкам в тексте прошу направлять в ЛС.
    Замечания, дополнения и вопросы по статье напротив, прошу в комментарии.

    Similar posts

    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 9

      +1
      В обзоре нет главного — скорости резервного копирования и восстановления, особенно с учётом врождённого порока FAS в виде низкой скорости линейного чтения и записи.
      А софт для бекапа (TSM, CommVault) сам прекрасно работает с облачными провайдерами и умеет принимать снепшоты через SnapMirror.
        0
        navion AVA абсолютно другой продукт нежели ONTAP.
        В то время как ONTAP заточен на случайный доступ небольшими блоками (Виртуализация/БД и др. приложения)
        AVA заточена на последовательную запись/чтение для обеспечения высокой скорости линейной записи бэкапов.

        В Backup режиме скорость чтения/записи
        • AVA800 9.2TB/hr
        • AVA400 6TB/hr

        По CommVailt/TSM: не все заказчики могут себе позволить лить в публичное облако, плюс в AVA есть встроенная функция аппаратного онлайн дедупа/сжатия, шифрования и DR функционал в публичном/частном облаке. продукты TSM, CommVault не умеют принимать SnapMirror, так как это функция исключительно оборудования NetApp. Указанные продукты умеют управлять репликой SnapMirror между двумя хранилищами NetApp, в этом свете поддержка SnapMirror на стороне AVA будет весьма полезна: бекап будет литься с основного хранилища NetApp напрямую в AVA минуя собственно хост который бэкапируется и минуя Proxy-сервер, что позволит существенно ускорить процесс бэкапирования, в то время как софт резервного копирования будет только лишь управлять этим процессом.
          +1
          AVA800 9.2TB/hr
          AVA400 6TB/hr

          Это гарантированная скорость восстановления с учётом «гидрации» данных?
          не умеют принимать SnapMirror, так как это функция исключительно оборудования NetApp

          Все же умеют, но только полные бекапы для DR и тут AV выглядит интереснее.
            0
            SnapMirror, в том числе SnapMirror to Tape является торговой маркой и проприетарной технологией NetApp, которая доступна ТОЛЬКО с оборудованием NetApp.

            Указанные максимальные параметры производительности с включённым дедупом и компрессией и максимальной набивкой дисков. Максимумы здесь.
            Программы гарантирования скорости нет.
              +1
              Я к тому, что бекапить филеры можно не только на другие филеры, но спасибо за пояснения.
          0
          Кстати некоторые вендоры софта резервного копирования отказались от бэкапа напрямую в облако (в тот же Amazon S3). Хотя такая функция ранее поддерживалась.
          К примеру Veeam 9 B&R. Не знаю всех деталей почему, но одини из аргументов звучал так:
          • первый — не очень всё ок с безопасностью
          • второй — крайне мало заказчиков это юзали (наверное из-за пункта 1)
            0
            Может быть не занесли бабла смогли договориться?
            IBM наоборот обещает сделать поддержку S3 и Azure в следующей версии TSM, а в текущей через S3 API работает Cleversafe и чуть раньше сделали поддержку Softlayer и Swift в качестве хранилища. Я наоборот завёл RFE, чтобы они сделали возможность копировать на кассеты данные из объектных пулов, так как в роадмапе этого нет.

            Про безопасность тоже странная претензия, ведь данные пишутся в зашифрованном виде.
              0
              по чём купил — по том продал.
              Если у вас будет какая-то инфа, пишите, мне самому будет интересно услышать «за и против».
          0
          В версии прошивки 4.3 уже поддерживается SnapMirror репликация между FAS системами и AltaVault.

          Only users with full accounts can post comments. Log in, please.