Pull to refresh

Дедупликация данных — подход NetApp

NetApp corporate blog
image
Дедупликация данных — это технология, при помощи которой обнаруживаются и исключаются избыточные данные в дисковом хранилище. В результате это позволяет сократить объёмы физических носителей для хранения тех же объёмов данных.
Дедупликация данных это одна из самых «горячих» тем в области систем хранения данных последних двух-трех лет. Ведь очевидно, что в том гигантском объеме данных, который сейчас приходится хранить современным системам хранения, неизбежно встречаются дубликаты и идентичные данные, за счет устранения которых можно было бы значительно сократить объемы хранения.
Пожалуй наибольшего успеха снискали реализации технологий дедупликации в области систем дискового резервного копирования (например EMC Avamar, Data Domain), однако компания NetApp первой объявила о возможности использования дедупликации для так называемых «primary storage», то есть основного, «боевого» хранилища активных данных, так как смогла предложить технологию дедупликации, практически не снижающую производительность его работы.
Сегодня я бы хотел рассказать как и за счет чего это удалось, и почему пока не получается у других.
Читать дальше →
Total votes 38: ↑35 and ↓3 +32
Views 25K
Comments 36

Система хранения файлов с дедупликацией между пользователями

Self Promo
Начало этому проекту положила очень простая идея, о которой, я год назад писал на страницах хабрахабра. Именно тогда, я задумался, почему все сервисы хранения файлов такие жадные? Почему они зарабатывают на том, что несколько различных пользователей, хранят один и тот же файл? Почему мы должны платить дважды, трижды, а иногда и в сотни раз больше, чем реально это стоит? По-моему это несправедливо.

Вторая проблема всех платных сервисов хранения файлов – абонентская плата. Нас заставляют постоянно платить за хранение наших файлов. Если не заплатить, файлы удалят. Больше похоже на вымогательство, чем на удобный сервис, особенно в свете вот этого исследования на тему стоимости хранения данных. Поэтому я решил, что настала пора создать проект, который лишен этих недостатков.

Так появилась идея, а что из этого получилось можно прочитать под хабракатом.
Читать дальше →
Total votes 25: ↑21 and ↓4 +17
Views 6.3K
Comments 111

Опыт эксплуатации Nexenta, или 2 месяца спустя

HOSTKEY corporate blog
Пару месяцев назад мы запустили у себя СХД на базе Нексенты для нужд массовой виртуализации. Поставили ее под хорошую нагрузку и не все пошло как по маслу и по книжке. Кому интересны шокирующие детали и опыт эксплуатации, прошу под кат.
Читать дальше →
Total votes 25: ↑23 and ↓2 +21
Views 30K
Comments 38

All-flash массив HP и еще 10 больших изменений в системах хранения 3PAR (часть 2)

Hewlett Packard Enterprise corporate blog
Прошедший год выдался очень интересным для компании HP в системах хранения данных.
В декабре 2012 года были анонсированы модели mid-range систем 3PAR 7200 и 7400, в мае 2013 года была анонсирована модель 3PAR 7450.
Об этом анонсе вы можете почитать в обзоре «All-flash массив HP и еще 10 больших изменений в системах хранения 3PAR».
Какие интересные нововведения появились в массивах 3PAR за прошедший год?
Подробнее
Total votes 12: ↑12 and ↓0 +12
Views 7.3K
Comments 0

Парадигма резервного копирования NetApp

IT Infrastructure *Data recovery *Backup *Data storage *Data storages *
В этом посте я хотелбы рассмотреть подход к резервному копирования данных на СХД NetApp серии FAS.


Архитектура резервного копирования

WAFL


И начну я издали — со снепшотов. Технология снепшотов впервые была изобретена (и запатентирована) в 1993 году компанией NetApp, а само слово Snapshot™ является её торговой маркой. Технология снепшотирования логически проистекала из механизмов работы файловой структуры WAFL. Почему WAFL не файловая система смотрите здесь. Дело в том, что WAFL всегда пишет новые данные «в новое место» и просто переставляет указатель на содержимое новых данных в новое место, а старые данные не удаляются, эти блоки данных, на которые нет указателей, считаются высвобожденными для новых записей. Благодаря этой особенности записи, «всегда в новое место», механизм снепшотирования был легко интегрирован в WAFL, из-за чего такие снепшоты называют Redirect on Write (RoW). Подробнее про WAFL.
Читать дальше →
Total votes 5: ↑4 and ↓1 +3
Views 13K
Comments 41

Импортозамещение Часть 2. Huawei OceanStor Family

SAN *
На сегодняшний день на рынке дисковых массивов от компании Hauwei существует легкая неразбериха. Связано это с тем, что за неполный год Huawei анонсировал целых 2 новых поколения СХД, оставляя при этом на рынке ряд решений из предыдущих линеек. При этом разница между поколениями достаточно значима.

Поэтому, я решил рассказать о текущих предложениях компании Huawei для прояснения данного вопроса.
Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 29K
Comments 10

NetApp ONTAP c Veeam Backup & Replication

SAN *
Компания NetApp впервые в мире реализовала и запатентовала технологию снепшотирования в 1993 г. С тех пор технология естественным образом развивалась и отлаживалась. Спустя 23 года можно с полной уверенностью сказать, что снепшотирование NetApp отлично работает, не влияя на производительность, независимо от протокола: блочного или файлового. С приходом Flash технологий ИТ индустрия обратила свой взор на использование снепшотов и тонкого клонирования из-за того, что Flash пока что – дорогая технология, и её ресурсы необходимо экономить. Компания NetApp долгие годы единолично вырабатывала и несла на своих плечах парадигму резервного копирования, построенную на сшепшотах, где снепшоты были не временной необходимостью, а основой всей этой идеи, и наконец-то получила признание того, что это эффективный и правильный подход для резервного копирования и разработки. А с появлением Thing Propositioning и UNMAP снепшоты стало действительно удобно использовать и хранить как резервные копии прямо на основную, продуктивную СХД, что позволяет крайне быстро восстанавливать данные после логической ошибки. А для резервирования и защиты от выхода из строя основной СХД использовать технологии репликации данных, основанные на снепшотах, чтобы реплицировать только изменения, а не полный набор данных.

Забекапить данные
Total votes 11: ↑10 and ↓1 +9
Views 5.3K
Comments 17

ONTAP 9.2: новый функционал

System administration *SAN *
В этой статье хотел бы сделать обзор новшеств, которые появились в версии прошивки ONTAP 9.2 которая вышла спустя девять месяцев после выхода версии 9.0. Как обычно NetApp радует большим количеством нового функционала и возможностей в своих системах хранения данных, давайте их разберем.


Релизы ONTAP 9.1 и новее теперь будут выходить регулярно каждые 6 месяцев. Ранее релизы оттягивались чтобы вместить невероятно большое число новых фич, теперь их будет меньше в каждом релизе, но они начнут выходить регулярнее и не будут оттягивать выход других фич. Появились релизы с долговременной и коротко временной поддержкой. Поймите правильно, оба релиза полностью production-ready, general avalability, оттестированы, отлажены и работоспособны. Так как на некоторые новые системы появилась возможность покупать поддержку на 7 и более лет, чтобы мочь увеличить срок поддержки релизов ONTAP, было принято компромиссное решение выпускать часть релизов с длительной поддержкой, а часть с короткой, как это происходит, к примеру, в Ubuntu.

Постоянное движение в сторону упрощения



NetApp начинал выпускать свои системы простые как тостер, который готовил сэндвичи. Потом сэндвич вырос и стал влазить только в печь, а теперь ONTAP это полноценная целая кухня, со множеством встроенных возможностей, которые где-то есть, иногда спрятаны и их тяжело найти. ONTAP когда-то давно была очень простой ОС, но теперь она очень навороченная и имеет просто невероятную массу функционала, поэтому NetApp продолжает это постоянное движение в сторону упрощения, чтобы сделать крутое и навороченное ещё и простым в использовании.
Читать про новшества в ONTAP 9.2
Total votes 11: ↑11 and ↓0 +11
Views 4.4K
Comments 0

Технический обзор систем NEC HYDRAstor HS8 и не только

Backup *Data storage *Data storages *
Когда в нашей стране люди слышат название компании NEC первым делом люди старшего поколения вспоминают вот это:

Те кто чуть моложе вот это:

(под катом много картинок)
Но на самом деле все намного интереснее...
Total votes 4: ↑3 and ↓1 +2
Views 4K
Comments 8