Дмитрий bbk

В этой статье я хотел поднять не стандартную для меня тему о сетевом маршрутизаторе VyOS. Впервые я познакомился с этим проектом благодаря Нилу Андерсону (Neil Anderson) который составил гайд как у себя дома развернуть мини-лабораторию с NetApp симулятором и VyOS.

Ключевые проекты

VyOS это opensource проект на базе Debian Linux, который родился как форк от проекта Vyatta Core Edition of the Vyatta Routing software. Как и любой роутер VyOS оперирует на третьем уровне OSI и маршрутизирует North-South трафик. VyOS включает в себя следующие ключевые проекты:

• Debian 8, ядро 4.19
• FRRouting (в версии 1.1 и более древних использовался Quagga)
• ISC-DHCP
• Keepalived
• StrongSwan
• OpenVPN
• PowerDNS
• Wireguard
• OpenNHRP
• Accel-ppp
• xL2tpd
• Squid
• mDNS-repeater
• IGMP-Proxy
• iPerf
• более детальный список в Release notes

Каждый год осенью компания NetApp проводит свою конференцию NetApp Insight в двух локациях: первая, в США и вторая в Европе.

В США конференция исторически всегда проходит в Las Vegas, в этом году это октябрь 22-24 числа. И спустя какое-то время в Европе, в 2018 году пройдёт в Барселоне 3-5 декабря. Да, не совсем осень получилась, а начало зимы.



Естественно, далеко не все желающие могут в силу тех или иных причин попасть на неё и задать свои вопросы представителям NetApp. Поэтому я подумал, что могу немного помочь и собрать вопросы желающих через эту форму. В связи с моим переездом в США, в этом году я посещу Insight в Las Vegas. Да, начало конференции в Las Vegas уже сегодня 22 октября 2018, по этому не ждите, а задайте ваш вопрос прямо сейчас.

Вирусы-шифровальщики уже не первый год сотрясают ИТ-рынок последствиями своей подпольной работы. Скрываясь за ссылкой в email или в JavaScript коде на странице веб сайта, они молчаливо инсталлируются на рабочие компьютеры или сервера и начинают тихо зашифровывать всю информацию. После окончания шифрования, одни просто удаляют ключ шифрования, другие требуют выкуп, но далеко не все пользователи, заплатившие его получают ключ шифрования. Как же с ними можно бороться? Самое главное средство борьбы – быть подготовленным к наихудшему.

Пытаться защититься от вирусов и других хакерских атак только средствами антивирусов и межсетевых экранов, это все равно что навесить замков на двери, поставить сигнализацию\видеонаблюдение и рассчитывать на то, что не найдется кто-то, кто это сможет обойти. Как показывает практика, даже самые сложные замки, самые умные системы защиты можно обойти. Нужно иметь «План Б» и быть готовым к наихудшему. Единственный выход — иметь возможность быстро и гарантированно восстановить данные. На примере решений NetApp рассмотрим такие возможности.

Эта статья будет полезна в первую публичным облачным провайдерам, а также конечным пользователям, владельцам СХД NetApp ONTAP у которых есть SSD накопители.

В этой статье я поговорю о репликации между СХД, SSD технологиях, All Flash хранилищах, куда движется рынок СХД, об объектных СХД, о технологии СХД FabricPool, видении DataFabric, снэпшотах и о новой прошивке ONTAP для СХД. СХД, СХД, СХД — это все системы, которые ставятся, у заказчика в ЦОД для построения классической инфраструктуры или частного облака, это заказчики, которые держат свой собственный ЦОД, свою систему хранения и основная часть их инфраструктуры работает на их собственном оборудовании. Какое вообще отношение эти хранилища, и все перечисленные темы, имеют к облаку и публичным провайдерам? Я расскажу об всех этих технологиях, которые, казалось бы, не имеют к публичным облачным провайдерам никакого отношения. Но по ходу рассказа станет понятно, как все они образуют тренд и помогают двигаться в сторону гибридного облака: Частное + Публичное и как NetApp поможет перенести часть данных заказчика, которые ранее всегда жили только у заказчика на его собственном оборудовании в публичное облако.

Я хочу, чтобы за технологиями вы увидели картину ближайшего будущего из которых оно, состоит. Не для того, чтобы вы увидели «какой же олень северный», будущее нужно видеть, чтобы понимать в какую сторону двигаться и развиваться.

В этой статье хотел бы сделать обзор новшеств, которые появились в версии прошивки ONTAP 9.2 которая вышла спустя девять месяцев после выхода версии 9.0. Как обычно NetApp радует большим количеством нового функционала и возможностей в своих системах хранения данных, давайте их разберем.


Релизы ONTAP 9.1 и новее теперь будут выходить регулярно каждые 6 месяцев. Ранее релизы оттягивались чтобы вместить невероятно большое число новых фич, теперь их будет меньше в каждом релизе, но они начнут выходить регулярнее и не будут оттягивать выход других фич. Появились релизы с долговременной и коротко временной поддержкой. Поймите правильно, оба релиза полностью production-ready, general avalability, оттестированы, отлажены и работоспособны. Так как на некоторые новые системы появилась возможность покупать поддержку на 7 и более лет, чтобы мочь увеличить срок поддержки релизов ONTAP, было принято компромиссное решение выпускать часть релизов с длительной поддержкой, а часть с короткой, как это происходит, к примеру, в Ubuntu.

Постоянное движение в сторону упрощения

NetApp начинал выпускать свои системы простые как тостер, который готовил сэндвичи. Потом сэндвич вырос и стал влазить только в печь, а теперь ONTAP это полноценная целая кухня, со множеством встроенных возможностей, которые где-то есть, иногда спрятаны и их тяжело найти. ONTAP когда-то давно была очень простой ОС, но теперь она очень навороченная и имеет просто невероятную массу функционала, поэтому NetApp продолжает это постоянное движение в сторону упрощения, чтобы сделать крутое и навороченное ещё и простым в использовании.

Здесь хочу я коротко описать традиционную архитектуру ИТ-инфраструктуры для обеспечения отказоустойчивости БД и схему разработки, использующую эту архитектуру. И более подробно остановиться на том, как можно упростить жизнь тестировщикам и разработчикам при помощи технологии FlexClone, которые используют БД или любой другой большой набор данных необходимый для тестирования и разработки.

Традиционный подход заключается в том, что создаётся кластер БД: основная и запасная. Далее, время от времени эта БД (как правило, на Stand-By стороне) копируется для разработчиков. И чем больше такая БД, тем реже она копируется и удаляется и тем сильнее нагружается СХД от таких операций. С другой стороны, разработчики и тестировщики получают устаревшую БД, она как правило месячной или даже полугодичной давности. Когда же приходит время внедрять отлаженный код в продуктив, оказывается, что БД успела сильно измениться: появились новые дополнительные данные, таблицы, поля и возможно удалены старые. Это приводит к тому что отлаженный код для старой БД не работает на новой, что сильно усложняет разработку, тестирование, внедрение и эксплуатацию нового кода.

MetroCluster гео-распределённый, отказоустойчивый кластер построенный на базе систем хранения данных NetApp FAS, такой кластер можно представить себе, как одну систему хранения, растянутую на два сайта, где в случае аварии на одном из сайтов всегда остаётся полная копия данных. MetroCluster используется для создания высоко доступного (HA) хранилища и сервисов. Более подробно о MCC официальной документации.

MetroCluster работающий на старой ОС Data ONTAP 7-Mode (до версии 8.2.х) имел аббревиатуру «MC», а работающий на ClusteredONTAP (8.х и старше), чтобы не было путаницы, принято называть MetroCluster ClusteredONTAP (MCC).

MCC может состоять из двух и более контроллеров. Существует три схемы подключения MCC:

1. Fabric-Attached MetroCluster (FCM-MCC)
2. Bridge-Attached Stretch MetroCluster
3. Stretch MetroCluster

Различие в этих трех вариантах по сути только в сетевой обвязке. Сетевая обвязка влияет на два фактора: максимально возможное расстояние на которое можно растянуть кластер и на количество нод в кластере.

В этой статье я хотел бы рассмотреть внутреннее устройство и архитектуру технологии vVol, реализованную в системах хранения данных NetApp с прошивкой ONTAP.

Почему появилась эта технология и зачем она нужна, почему она будет востребована в современных ЦОД? На эти и другие вопросы я постараюсь ответить в этой статье.

Технология vVol предоставила профили, которые при создании ВМ создают виртуальные диски с заданными характеристиками. В такой среде администратор виртуальной среды уже может с одной стороны у себя в интерфейсе vCenter легко и быстро проверить, какие виртуальные машины живут на каких носителях и узнать их характеристики на СХД: какой там тип носителя, включена ли для него технология кеширования, выполняется ли там репликация для DR, настроена ли там компрессия, дедупликация, шифрование и т.д. С технологией vVol, СХД стала просто набором ресурсов для vCenter, намного более глубже интегрировав их друг с другом, чем это было раньше.

Снепшоты

Проблема консолидации снепшотов и увеличение нагрузки на дисковую подсистему от снепшотов VMware может быть не заметна для небольших виртуальных инфраструктур, но даже они могут встречаться с их негативным влиянием в виде замедления роботы виртуальной машины или невозможности консолидации (удаление снепшота). vVol поддерживает аппаратный QoS для виртуальных дисков ВМ, а также Hardware-Assistant репликацию и снепшоты NetApp, так как они архитектурно устроены и принципиально по-другому работают, не влияя на производительность, в отличие от COW снепшотов VMware. Казалось бы кто пользуется этими снепшотами и почему это важно? Дело в том, что все схемы резервного копирования в среде виртуализации так или иначе архитектурно вынуждены использовать COW снепшоты VMware, если вы хотите получить консистентные данные.

Системы хранения NetApp с прошивкой ONTAP поддерживают интеграцию NAS с антивирусом, для того чтобы файлы перед чтением/записью сначала проверялись, эта функция называется Off-box Anti-Virus Scanning. Она позволяет повысить уровень защиты корпоративных сред и сгрузить лишнюю нагрузку с рабочих станций. Так как поддержка антивирусных баз всех рабочих станций в актуальном состоянии может быть не выполнимой задачей. Поддерживаются продукты от:

• Kaspersky
• Symantec
• Trend Micro
• Computer Associates
• McAfee
• Sophos

Кроме этого поддерживается расширенный функционал файл-скрининга (FPolicy), позволяющий ограничивать работы с файлами не только на основе их расширения, но и типа файла основываясь на заголовке внутри этого файла.

Сегодня я хотел бы подробнее остановиться на интеграции ONTAP с CIFS(SMB) шарой и антивирусной системой McAfee. Которая в принципе похожим образом устроена и с другими антивирусными системами.

С увеличением числа хакерских атак, в последнее время в Украине, нацеленных на шифрование и уничтожение данных, сохранность и целостность данных для многих компаний становится не просто требованием, а их жизненной необходимостью.

Только 6% компаний продолжает существовать более чем 2 года в результате потери данных, согласно отчёту Gartner. В этом отношении решения линейки NetApp FAS становятся спасательным кругом не только для информации, но и самих организаций, подверженных атакам, поскольку позволяют существенно сократить риски потери и уничтожение данных.

По оценкам экспертов, количество хакерских атак, совершаемых в Украине с целью шифрования или уничтожения данных в 2016 году увеличилось в разы. Редкая деловая неделя обходится без сообщений о фактах уничтожения данных. Cтоит обратить внимание на профиль организаций, на которые чаще всего совершаются нападения: финансовые и государственные структуры, а также ИТ-компании. С учетом украинских реалий, наиболее незащищенным выглядит государственный сектор.

Команда UNMAP стандартизирована в рамках набора команд T10 SCSI и используется для высвобождения пространства из тонких лунов назад хрнилищу данных в SAN окружении. Как я писал ранее, протоколы SAN и NAS понемногу заимствуют друг у друга всё лучшее. Одна из полезных вещей которая появилась достаточно давно, это возможность обратной связи СХД и хоста, для того чтобы «возвращать» удалённые блоки в тонкий лун, чего раньше так не хватало в SAN. Функцией UNMAP по-прежнему мало кто пользуется в SAN окружении, хотя она очень полезна в сочетании как с виртуализированными так и не виртуализированными средами.

Без поддержки команды UNMAP любой тонкий лун созданный на стороне СХД всегда мог только увеличиваться в размере. Его рост был вопросом времени, который безоговорочно всегда заканчивался тем, что такой тонкий лун в конце концов станет занимать свой полный объём, который ему положен, т.е. в конце концов он станет толстым.

В продолжение темы об оптимизации ESXi хоста для взаимодействия с СХД NetApp ONTAP, эта статья будет просвещена оптимизации производительности VMWare ESXi 6.X, предыдущие статьи были посвящены тюнингу ОС Linux, Windows и VMware ESXi 5.X в среде SAN. Компания NetApp давно тесно сотрудничает с VMware, подтверждением тому может стать тот факт, что нашумевшая технология vVOL была реализована одной из первых ещё в релизе Clustered Data ONTAP 8.2.1 (Август 2014), в то время как vSphere 6.0 ещё даже не был выпущен. Компания NetApp первой объявила поддержку vVol c NFS (Возможно NetApp по-прежнему здесь единственный, не слежу). В связи с чем системы хранения ONTAP крайне популярны в этом окружении.

Эта статья будет полезна владельцам систем хранения с ONTAP, а часть про Disk Alignment будет полезна не только владельцам NetApp`а.

Настройки VMWare ESXi 6.X можно разделить на следующие части:

• Оптимизация гипервизора
• Оптимизация гостевой ОС (GOS)
• Оптимальные настройки SAN (FC/FCoE и iSCSI)
• Настройки NAS (NFS)
• Проверка совместимости оборудования, прошивок и ПО

Для поиска узкого места обычно выполняют методику последовательного исключения. Предлагаю перво-наперво начать с СХД. А дальше двигаться СХД -> Сеть (Ethernet / FC) -> Хост ( Windows / Linux / VMware ESXi ) → Приложение.

Преимуществом любой облачной услуги является то, что это собственно услуга. Вы не заморачиваетесь где живёт оборудование, кто его обслуживает и т.д. Но это же является и его тёмной стороной: кто имеет доступ к вашим данным, сколько копий ваших данных хранится в резервных копиях и резервных ЦОД’ах и где? Все эти вопросы долгое время отталкивали некоторые большие компании и государственные структуры.

Решив эти вопросы, множество компаний смогли бы начать пользоваться облачными сервисами. Для решения этой проблемы и была разработана облачная Система Хранения Данных ONTAP Cloud — виртуальная машина живущая в публичном облаке Amazon или Azure со встроенной функцией шифрования. Теперь вы владеете и управляете своими данными и только вы. Подробнее на официальном сайте NetApp и официальной документации по самому продукту и по OnCommand Cloud Manager.

Релиз версии прошивки 8.3 был, наверное, самым важным среди всех предыдущих версий софта ONTAP для СХД NetApp FAS. Который включал множество нового функционала и знаменовал переход от 7-Mode к Clustered ONTAP. Недавно анонсированная версия 9.0 (уже доступна для загрузки), тоже содержит множество новых функций и улучшений, давайте разберем самые важные из них.

В этой статье я хочу рассмотреть внутреннее устройство работы памяти СХД NetApp FAS и как она умеет собирать тетрис.

NetApp AutoSupport On Demand (ранее этот функционал был в виде Remote Support Agent или RSA) — это агент в системах ONTAP, позволяющий в случае обращения к техподдержке, ей самой запускать команды на вашей СХД. Устроено это так: AOD конектиться к облаку NetApp и запрашивает команды на выполнение от техподдержки — всё секьюрно, дыр в файерволе открывать не нужно, соединение всегда происходит только от СХД на сайт support.netapp.com, а не наоборот.

Команды которые запрашивает техподдержка не могут что-то менять на СХД, а только просматривать состояние вольюмов, лунов, контроллеров и т.д. Естественно содержимое вольюмов и лунов не может быть скопировано в облако NetApp. В облако NetApp отправляются только логи системы.

Внутреннее устройство Management подключения в FAS платформах

Каждый контроллер NetApp FAS имеет на борту менеджмент-порт с изображением ключика, который так и называется Wrench port. Не путать с ACP (ключик + замочек).

Начиная с версии 8.3.1 в софте (прошивке) Data ONTAP был презентован новый функционал под названием SnapMirror for SVM. SnapMirror for SVM это возможность отреплицировать все данные на СХД и все настройки или только часть данных или настроек на запасную площадку (Disaster Recovery).

Чтобы мочь запустить все ваши сервисы на резервной системе, логично чтобы основная и запасная системы были более-менее одинаковые по производительности. Если же на резервной площадке система слабее, стоит заранее задаться вопросом, какие самые критичные сервисы необходимо будет запустить, а какие остануться не запущены. Можно реплицировать как весь SVM со всеми его вольюмами, так и исключить из реплики часть вольюмов и сетевых интерфейсов (начиная с ONTAP 9).

Существует два режима работы SnapMirror for SVM: Identity Preserve и Identity Discard.

ONTAP Select это логическое развитие линейки Data ONTAP-v, т.е. Software Defined Storage. Софт ONTAP (Операционную систему или прошивку по-народному, если хотите) можно использовать на специализированной аппаратной плтформе FAS или в виде виртуальной машины: в публичных облаках или на комодити оборудовании.
Два последних варината называют ONTAP for Cloud и ONTAP Select соответственно.

Как и предшественник ONTAP Select, этот продукт, который живёт в виде виртуальной машины и полностью опирается на традиционный RAID контроллер, установленный в вашем сервере. Поддерживаются NAS (CIFS, NFS) и IP SAN (iSCSI) протоколы и отсутствует поддержка FCP. В документах NetApp можно встретить внутренее название ONTAP Select — sDOT, это одно и тоже.

Из ожидаемых новшеств:

• Поддержка High Avalability
• Поддержка кластеризации до 4 нод
• Максимальный полезный объем 400 ТБ (по 100ТБ на ноду в 4х нодовом кластере)

На ряду с High Availability и кластеризацией по-прежнему поддерживаются однонодовые конфигурации.

В продолжение темы об оптимизации ESXi хоста для взаимодействия с СХД NetApp ONTAP, эта статья будет просвещена оптимизации производительности VMWare ESXi 6.X, предыдущие статьи были посвящены тюнингу ОС Linux, Windows и VMware ESXi 5.X в среде SAN. Компания NetApp давно тесно сотрудничает с VMware, подтверждением тому может стать тот факт, что нашумевшая технология vVOL была реализована одной из первых ещё в релизе Clustered Data ONTAP 8.2.1 (Август 2014), в то время как vSphere 6.0 ещё даже не был выпущен. Компания NetApp первой объявила поддержку vVol c NFS (Возможно NetApp по-прежнему здесь единственный, не слежу). В связи с чем системы хранения ONTAP крайне популярны в этом окружении.
Эта статья будет полезна владельцам систем хранения с ONTAP, а часть про Disk Alignment будет полезна не только владельцам NetApp`а.


Для поиска узкого места обычно выполняют методику последовательного исключения. Предлагаю перво-наперво начать с СХД. А дальше двигаться СХД -> Сеть (Ethernet / FC) -> Хост ( Windows / Linux / VMware ESXi ) -> Приложение.

Компания NetApp впервые в мире реализовала и запатентовала технологию снепшотирования в 1993 г. С тех пор технология естественным образом развивалась и отлаживалась. Спустя 23 года можно с полной уверенностью сказать, что снепшотирование NetApp отлично работает, не влияя на производительность, независимо от протокола: блочного или файлового. С приходом Flash технологий ИТ индустрия обратила свой взор на использование снепшотов и тонкого клонирования из-за того, что Flash пока что – дорогая технология, и её ресурсы необходимо экономить. Компания NetApp долгие годы единолично вырабатывала и несла на своих плечах парадигму резервного копирования, построенную на сшепшотах, где снепшоты были не временной необходимостью, а основой всей этой идеи, и наконец-то получила признание того, что это эффективный и правильный подход для резервного копирования и разработки. А с появлением Thing Propositioning и UNMAP снепшоты стало действительно удобно использовать и хранить как резервные копии прямо на основную, продуктивную СХД, что позволяет крайне быстро восстанавливать данные после логической ошибки. А для резервирования и защиты от выхода из строя основной СХД использовать технологии репликации данных, основанные на снепшотах, чтобы реплицировать только изменения, а не полный набор данных.