Как стать автором
Обновить

Комментарии 37

Спасибо за обзор!
Эта технология совместно с другими технологиями эффективности использования пространства, гарантировано уменьшит использование дискового пространства для AFF систем от 4 раз к одному и выше. Для существующих заказчиков с ONTAP 8.3.2+ есть калькулятор позволяющий оценить сколько получится сэкономить, перейдя на ONTAP 9 и включив все механизмы экономии пространства.

А сколько мы потеряем в производительности?
Спасибо за вопрос.
Могу вам ответить из практики но к сожалению не могу раскрывать некоторых деталей о ходе тестирования.
Тестировалась система
  • AFF8040
  • прошивка ONTAP9 RC1
  • с базой данных 6ТБ
  • и включёнными и выключенными механизмами инлайн компрессии, инлайн дедупа и дата компакции
  • пост компрессия и пост дедуп были всегда выключены.
  • в ходе тестирования запускали набор бизнес процессов использующих БД на All Flash


Критерием оценки скорости работы системы хранения, для заказчика, было суммарное время выполнения этих бизнес процессов. Ранее на High End системе хранения с 15к дисками это занимало 6-9 часов. На ряду с системой AFF тестировалось ещё несколько All Flash систем.

AFF8040 с выключенной инлайн компрессией и выключенным инлайн делупом показывали 2 часа 30 минут, тест был проведён множество раз, результат повторялся.
AFF8040 с включенной инлайн компрессией и включенным инлайн делупом показывали 2 часа 45 минут, тест был проведён множество раз, результат повторялся. Сжатие БД было в два раза.
С точки зрения нагрузки ЦПУ на системе хранения, она никогда не прыгала выше 15%.

Ближайший конкурент с технологией «MicroLatency», специальными Flash модулями (там используются не SSD диски) и последней моделью All Flash системой хранения показывал 3 часа и не имел компрессии и дедупа в принципе.

С точки зрения стоимости AFF была в разы дешевле системы со специализированными MicroLatency Flash модулями. Сразу предупреждаю по вопросам цен на оборудование NetApp я вам не помогу.
Inline data compaction «нагрузит» CPU на 1%-2%. Алгоритм адаптивный, если это как-то начинает влиять на скорость обслуживания данных, то ресурсы у compaction отбираются.
Вообще в ONTAP 9 опять поработали под капотом и производительность по сравнению с Data ONTAP 8.3.2 выросла даже с учётом включенных inline compression, compaction и deduplication.
Есть вот такое сравнение на коленке в симуляторе ONTAP.
А есть документ посерьезнее с тестами MS SQL на AFF8080.
Спасибо за ссылки, очень полезная информация!
А для обычных дисковых и гибридных систем оно имеет смысл?
Да имеет, но у меня нет данных по реальному тестированию производительности и влиянии на перфоменс от инлайн компрессии.
Дата компакшн имеет смысл особенно если есть много мелких файлов.
Подробнее про компакцию здесь https://alikulov.me/blog/all/inline-data-compaction/
Имеет. Все inline процессы происходят на контроллере до того как данные попадут на диски.
Странно читать такое:
с гарантированным уменьшением используемого пространства 4:1… Гарантированно сжиматься данные будут не все

Извините, очень напоминает маркетинг от сотовых компаний («трафик безлимитный, но по достижению лимита объема»), или обещания Пенсионного фонда («деньги ваши, только как бы и не ваши»). В чем тогда состоят «гарантии», и что за их невыполнение будет пообещавшему? Тут уже либо фраза «inline-сжатие с уменьшением используемого пространства до 4:1 для некоторых типов файлов», либо выглядит некрасиво.

При этом все понимают, что фильмы сжать в 4:1 раза сложновато, так что про некоторые типы данных вполне понятно. А вот фраза про гарантированность сжатия дарит необоснованные надежды.

P.S. Ссылка в коде
Подробнее <a href="https://alikulov.me/blog/all/volume-rehost/">здесь</a>.
наверное, должна бы в текст статьи перекочевать, вряд ли это вывод команды в консоли :)
У гарантии есть свои условия, рекомендую обратиться к представительству нетапа и запросить их.
Если в кратце, то чтобы работала «гарантия 4:1», нужно включать все механизмы эффективности.

В нашем тесте важно было получить лучший перфоменс, а сжатие в два раза был приятный бонус за которым никто не гнался ввиду того что система итак была существенно дешевле конкурентов. Обращу ваше внимение, что в нашем тесте не были включены пост дедуп и пост компрессия.
Да, с такой оговоркой понятно.
Хочу посмотреть, как в упомянутом вами кейсе (про видео и сжатые архивы) они 4:1 достигнут хоть с тремя дедупликациями )
Вы меня повеселили.
Вполне логично что видео и картинки не возможно сжать без потери качества, а СХД конечно же, этого делать не станет.

Другими словами в условиях программы экономии 4:1 прописано что на видео и картинки эта программа не расспространяется.
Так вы определитесь: либо вы пишете «чтобы работала «гарантия 4:1», нужно включать все механизмы эффективности», либо начинаете делать оговорки «в условиях программы экономии 4:1 прописано что на видео и картинки эта программа не расспространяется».

Честно говоря, всем и так понятно, что не всё содержимое может быть сжато и дедуплицировано, чудес в мире СХД не бывает, но с ваших слов я понял, что маркетологи Нетапа — не хуже, чем у Билайна: могут обещать одно, подразумевая другое. В данном случае имеем обещание чуда (сжатия в 4 раза (!!)) с таким списком оговорок, которые смысл чуда сводят на нет. В общем, еще одному обещанию можно будет не верить при выборе железа. )

Мне кажется, такой список «чему не верить» в отношении вендоров потянет не просто на пост, а на полный грусти обжегшихся технарей ежегодник )
Мне понятно, вам понятно — всем понятно.
А если так то смысла писать нет.

Я придирки каждого человека предугадать не могу да и не собираюсь.
Вы спросили о гарантии — я ответил.
Хотя если вы и так понимаете зачем спрашивать, мозг покомпостировать?
Спасибо за статью.
Headroom Manager очень полезная штука.
Меня всегда пугало сжатие, дедупликация на продакшен массивах, да мы экономим, да все отлично, да возможно почти не теряем производительность. Но вопрос если все рухнуло и надо восстанавливаться из бекапа, то сможет ли 4тб уместится в 1? Я вот сомневаюсь, что даже inline дедупликация сможет так. Про schedule дедупликацию даже думать не приходится. Вот и получаем ситуацию после дизастера, что бекап есть, в восстановиться некуда. Как ONTAP справится ли с такой ситуацией?
Тут зависит от того, что подразумевается под «всё рухнуло». Если проблемы с данными лежащими на сторе, а не с самим стором, то с inline-дедупликацией всё немного комфортней чем без неё. Разворачивание копии данных из бэкапа рядом с аналогичной повреджённой приведёт к тому, что места будет использовано совсем немного т.к. данные в бэкапе мало отличаются от тех, что повредились. Если это образ виртуалки или какая-то база данных, то данные в свежем бекапе будут максимум процентов на 10 отличаться, что приведёт к тому что под развёрнутые из бэкапа 4Тб будет фактически заюзано 400Гб (грубо).
Дело в том, что каждый производитель СХД А-класса продумывает такие моменты.
И у каждого из них, исходя из набора функционала в их массивах, есть свой подход и комплексное видение решения тех или иных проблем, в том числе вопроса бэкапа и восстановления. Это по-моему и является определением СХД А-класса.
Чего нельзя сказать о других, более дешевых СХД, у которых такого видения или вовсе нет или они обрывчастые, примитивное.

Я уже писал о парадигме резарвного копирования данных на нетапе.
Если отвечать на ваш конкретный вопрос, то у нетапа свой подход к решению этого вопроса:
Подход заключается в репликации оригинального набора данных (с сохранением дедупа и компрессии) на второй DR сайт, где должна стоять СХД с софтом ONTAP. Это может быть схема, когда на основном сайте стоит AFF, а на резервной FAS с обычными дисками или ONTAP Select (VSA SDS) или даже ONTAP Cloud (Статью опубликую позже).

В таких схемах, при передаче (И ВОССТАНОВЛЕНИИ) данных сохраняется сжатие + дедуп, заданный вами вопрос в принципе не стоит.
Если же пробовать микроскопом забить гвоздь, то и гвоздь может погнуться и микроскоп повредится.
Правильно ли я понял:
Пример:
Почтовая база 4тб в дедуплицированном сжатом виде на полке с полезным объемом 1тб.
Налетел вирус шифровальщик и зашифровал все, то есть разница между данными 100%.
Как мне восстановить бекап размером 4тб в 1тб на ONTAP?
Или мне надо резервную FAS с ONTAP на 4тб реальной емкости, что бы восстановиться туда и потом реплицироваться на продакшен AFF?
В данном примере, как вы корректно заметили, вам для защиты от подобной ситуации стоит иметь вторую систему FAS, ONTAP Select или Cloud ONTAP, на которой будет храниться бэкап для восстановления с данными которые уже сжаты/дедуплицированны.
При восстановлении на основе SnapMirror данные будут переданы в сжатом/дедублицированном виде.

Важно кстати отметить, что если данные начнут зашифровываться вирусом, то такие данные крайне плохо компрессируются/жмуться. Другими словами если на системе всего 1ТБ пространства, сжатие давало вам 4х кратную экономию на 4ТБ базе, то полезное пространство закончиться крайне быстро после начала шифрования вирусом так как по-сути пройзойдёт распаковка данных с точки зрения занятого пространства.

Как общее правило в любых системах (не только СХД): чем выше степень защищённости и чем от больших потенциальных угроз бизнес требует защиты, тем дороже получается решение.
Вот сижу я на 8.1, смотрю на все эти прелести и облизываюсь :)
Переехать на 9-ку хочется, но всё что удалось выжать из вендора — это пракат бюджетной железки на время переезда и прокат естесственно не бесплатный (весьма и весьма небесплатный). Ладно бы они дали аналогичную полку на время, а они предлагают мне бытовой одноголовый QNap, забитый ёмкими SSD-хами.
Вы ещё на 7-моде? Если вы уже на Clustered ONTAP, то обновление прошивки (если есть действующий сапорт) совершенно не проблема: обновление можно выполнить без миграции и простоя накатывая прошывки до самой последней. Ваш FAS поддерживает 9ку?

Вендор или дистрибютор могут пойти на встречу и дать железо для миграции бесплатно. У меня на практике было масса таких примеров.
Но это исключительно на их рассуждение и добрую волю, они этого делать не обязаны…
Опять таки всё познаётся в сравнении: многие вендоры вообще не дали бы такой возможности, а предложили бы просто купить новое железо.
На этом фоне оплата за аренду временного хранилища для апгрейда не такая уж и большая проблема…

Поймите дистрибьютора и вендора тоже: они это железо не бесплатно получили. Как ни крути они его тоже покупают и тратят на это деньги, оно им не бесплатно достаётся. Попробуйте связаться с вендором напрямую и попросить вам помочь. У вас много данных?
Да, на 7-моде. FAS2240-2 с дополнительной полкой. С 9-кой железо совместимо и для апгрейда нужно полностью переразбить диски, потому и встал вопрос. До этого я пару апдейтов накатывал на горячую, но тут уже так не получится. Данных порядка 15Тб. С вендором уже пол года общаемся :)
Просто странная позиция с их стороны. Мы платим за саппорт, а когда появилась необходимость в этом саппорте, они за прокат бытового стора хотят примерно такую же сумму, как мы заплатили за три года саппорта (фактически больше стоимости этого прокатного стора без учёта дисков). Тут даже не вопрос цены, тут вопрос принципиальный. У них есть демопарк железок, но делиться они им не хотят. Одноголовый стор у меня и так есть, но переезжать на него и перетягивать рабочие данные даже временно не айс. Есть и многоголовый, но очень неторопливый. Так что мы в раздумьях, возможно вместо проката сделаем апгрейд многоголовому :)
Ничего странного в их позиции нет. Если вы хотите мигрировать на сDOT вы можете сделать это:
  1. Сами, бесплатно. Скачиваете прошивку и обновляетесь. Повторюсь, другие вендоры вам этого вообще не дали бы сделать, а сказали бы что новый функционал доступен на новом железе — покупайте новое железо.
  2. Привлекая NetApp Professional Support


Привлечение Professional Support это платная услуга, не относящаяся к Technical Support о котором вы говорите.
Кстати говоря за Technical Support очень часто заказчик вообще ничего не платит: Точнейе базовый сапорт стоит 0$ на 3 года, в таком случае сапорт оказывает ТОЛЬКО удалённые консультации без выезда инженера.

Что же касается парка железа, повторюсь, они им «делиться» ни с кем не обязаны, вообще. Но иногда это делают:
Вендор или дистрибютор могут пойти на встречу и дать железо для миграции бесплатно. У меня на практике было масса таких примеров. Но это исключительно на их рассуждение и добрую волю, они этого делать не обязаны…

Поймите дистрибьютора и вендора тоже: они это железо не бесплатно получили. Как ни крути они его тоже покупают и тратят на это деньги, оно им не бесплатно достаётся.
Я не спорю что никто не обязан, но по сути, всё железо что стоит, апдейтится параллельно и нигде не возникает проблем с совместимостью с новыми прошивками. То что у НетАппа заявлена поддержка до трёх поколений — это хорошо, но это не говорит о том, что у других вендоров ситуация существенно отличается. Тут больше вопрос к аппетитам конкретного драгдиллера. Считается нормальным, когда аренда стоит порядка 5-10% стоимости оборудования в месяц. Но когда просят 30% — это перебор. При такой стоимости аренды вполне логично вложить средства в одну из уже имеющихся систем, чем выбрасывать их на ветер.

Но это всё лирика…

По сути ститьи — хорошие новости, спасибо :)
Всё познаётся в сравнении. У других производителей каждое поколение — новое железо, не совместимое с предыдущими дисковыми полками. А в рамках поколения конечно же обновляться можно, но существенного добавления/изменения функционала там нет.

По поводу кто сколько за аренду железа просит и много это или мало прокомментировать не могу.

Спасибо что читаете!

Хочу довести свою мысль до конца, мне кажется я не достаточно чётко выразился. По этому решил привести пример с конкретикой, чтобы было понятнее суть моей мысли в предыдущем посте. Для этго возьмём продукты компании EMC как самого известного конкурента нетапу и их линейки продуктов и даты их выпуска, которые заменяли одна другую со временем и тоже самое сделаем с FAS и сравним.

2008 CLARiiON
2011 VNX (5100,5300,5500,5700,7500), VNXe (3100)
2013 VNX2 (5200,5400,5600,5800,7600,8000), VNXe (3200)
2016 Unity
CLARiiON, VNXe, VNX, VNX2, Unity — разные не совместимые прошивки. Дисковые полки не совместимы.
Между VNX и VNX2 вроде дисковые полки совместимы (не уверен поправьте), но данные там скорее всего будут не совместимы (нужно переформатировать диски) так как изменилась логика работы с дисками в VNX2.

2006 FAS6030 < — поддерживает только 7-Mode, но дисковые полки DS14 (и данные на них) совместимы с самыми последними FAS
2010 FAS6210
2013 FAS6220
2014 FAS8040
6210,6220,8040 — Поддерживают обе прошивки 7-Mode & Cluster Mode. Дисковые полки совместимы между моделями (в обе стороны: вверх и вниз). Данные совместимы: можно переподключить полки с дисками между моделями (в том числе и самыми младшими моделями) и даже с 7-Mode на Cluster Mode с сохренением информации.

Вот что я имел ввиду под фразами «всё познаётся в сравнении», «Конкуренты предложили бы вам купить новое железо» и «Сохранение инвестиций у нетапа».
А есть какие-нибудь подводные камни при обновлении с 8.3.2 с ADP, кроме описанного в релизнотах? И с какими версиями ESXi совместима ONTAP 9?
В HCL у VMware последняя версия 8.3.2, а в нетаповской матрице мне не удалось найти совместимость по NFS, только iSCSI.
При переходе от 8.3.2 с ADP к 9.0 никаких особых проблем быть не должно.
Если в матрицах вы не нашли, то я вам точно не помогу — тоже ими пользуюсь как и вы.

Можно поискать другие документы типа TR или Configuration Guides в которых описана настройка, там же может быть и версионность.
Или задайте вопрос в поддержку на mysupport.netapp.com

Обычно Ethernet (и NFS поверх него) не выдвигают каких-то особенных требований СХД к приложениям, ОС, серверам и NIC по их совместимости, как это делают блочные протоколы типа iSCSI и FCP, возможно в связи с этим этой информации нет в матрице.
Спасибо, буду пробовать в часы простоя.
А в матрице что для NFS, что для SMB по одной короткой статье со сносками.
Все же прекрасно находит.
Скриншот VMware HCL
image

Когда писал ещё не было.
Конфигурацию MetroCluster можно будет собрать без подменной системы?
Существует два варианта миграции Copy Free и Copy Based. Copy Based требует наличия подменной системы. В варианте Copy Free не требуется подменная система, но в нём подразумевается замена контроллеров с 7-mode на контроллеры c Cluster Mode, т.е. требуется наличие двух дополнительных контроллеров.

Конфигурация MetroCluster не поддерживает Copy Free, а только Copy Based.
https://transition.netapp.com/copy-free-transition
А нет новостей про VSC в формате ova?
Раньше его было логично ставить на виндовый vCenter, но все правильные админы давно переехали на VCSA и приходится держать виртуалку с виндой только ради консоли.
Пока новостей нет.
Спасибо за статью и развернутые комментарии, интересно!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации