Меня зовут Юрий, я руководитель группы системного администрирования в Ситимобил. Сегодня поделюсь опытом работы с технологией тонкого резервирования (thin provisioning) файловых систем Linux и расскажу, как ее можно применять в технологических CI/CD-процессах компании. Мы разберем ситуацию, когда для автоматического тестирования кода при доставке его в production нам как можно быстрее необходимы копии БД MySQL, максимально приближенные к «боевой» версии, доступные на чтение и на запись.

В преддверии выхода новых моделей дисковых массивов P6000 EVA, я хочу показать насколько просты и эффективны эти массивы в работе.

Традиционной сферой применения массивов HP P6000 была и остается виртуализация, интеграция с Microsoft, Oracle, SAP и широким спектром бизнес-приложений. Линейка P6000 представлена двумя моделями: P6300 EVA и P6500 EVA. Эти системы хранения построены на базе технологии SAS (Serial Attached SCSI) и поддерживают диски малого (SFF) и большого (LFF) форм-фактора различной емкости – от 146 ГБ до 3 ТБ.

В отличие от прежних поколений массивов Enterprise Virtual Array, P6000 EVA оборудованы как портами Fibre Channel 8 Гб/c, так и портами Ethernet 10 Гб/c или 1 Гб/c, что дополнительно позволяет подключать серверы по протоколам iSCSI и FCoE.

Не смотря на наличие нескольких статей на Хабре, про LVM2 и производительность Thin Provisioning, решил провести своё исследование, так как имеющиеся показались мне поверхностными.

Кому интересно, добро пожаловать под кат.

В этом году исполняется 10 лет с момента продажи первой системы хранения данных 3PAR с технологией Thin Provisioning. И несмотря на то что технология стала очень популярной и востребованной, толкового описания того как же это работает на низком уровне мне встретить до сих пор не удалось. В этой статье я попробую осветить наиболее «темные», на мой взгляд, стороны thin provisioning – технические основы данной технологии. То есть, то как именно хост взаимодействует с системой хранения данных. Эти технологии сейчас уже не являются эксклюзивом 3PAR, так как теперь это индустриальные стандарты, но так как технология thin provisioning впервые появилась в 3PAR, то позволю себе отдать все лавры именно этим массивам.

В этом посте я хотелбы рассмотреть подход к резервному копирования данных на СХД NetApp серии FAS.


Архитектура резервного копирования

WAFL

И начну я издали — со снепшотов. Технология снепшотов впервые была изобретена (и запатентирована) в 1993 году компанией NetApp, а само слово Snapshot™ является её торговой маркой. Технология снепшотирования логически проистекала из механизмов работы файловой структуры WAFL. Почему WAFL не файловая система смотрите здесь. Дело в том, что WAFL всегда пишет новые данные «в новое место» и просто переставляет указатель на содержимое новых данных в новое место, а старые данные не удаляются, эти блоки данных, на которые нет указателей, считаются высвобожденными для новых записей. Благодаря этой особенности записи, «всегда в новое место», механизм снепшотирования был легко интегрирован в WAFL, из-за чего такие снепшоты называют Redirect on Write (RoW). Подробнее про WAFL.

Исполнилось 10 лет с того момента, когда Центробанк России начал требовать от банков раскрывать эффективную ставку по кредиту. Это было важное событие, которое умерило пыл маркетологов финансового сектора и приблизило смысл их рекламы к реальности. Клиенты банков с удивлением обнаружили, что они переплачивают в полтора-два раза по сравнению с заявленными ставками, и, вооруженные новыми знаниями, стали делать более осознанный выбор.

А в информационных технологиях такого контролирующего органа, как Центробанк, нет, поэтому беспредел продолжается. Одна из самых горячих тем – это экономия дискового пространства при использовании флеш-памяти. Да, SSD стоят уже не так дорого (особенно после скидок), но для того, чтобы сравняться по стоимости хранения с традиционными дисками, приходится учитывать возможности всех технологий сжатия данных. И вот тут фантазия отделов маркетинга становится буйной. Судя по сохранившимся ссылкам на форуме, эффективность технологий сжатия данных у одного из вендоров составила 933:1 (правда, в следующей версии операционной системы, новой и улучшенной, упала до 4:1 – но ведь прогресс не остановить?). Бесконечность – не предел. Но реальная жизнь предприятий, использующих системы хранения, отличается от мультипликационных фильмов. Мы здесь не в игрушки играем!

В поиске надёжных и быстрых СХД? Используй решения компании StoreQuant

Системы хранения данных (СХД) являются ключевым элементом любой современной ИТ-системы, включая системы, ориентированные на поддержку бизнеса. Иностранные компании даже ввели термин, который описывает такие системы – Business Critical Systems или Mission Critical Systems.
Действительно, обработка и хранение данных является важной задачей, так как их потеря или кратковременные сбои в работе СХД могут привести к серьёзным последствиям для бизнеса в целом.

Вот уже около 20 лет назад в жизнь IT-отделов компаний вошло понятие SAN — Storage Area Network или специализированная сеть устройств хранения данных. Использование централизованных хранилищ, на которых размещаются используемые на серверах приложений их дисковые разделы, подключенные по специальным высокоскоростным протоколам, позволило значительно повысить эффективность и гибкость использования дискового пространства.

Причины, стоявшие за созданием SAN, отчасти были теми же, что стояли ранее за созданием обычной локальной сети LAN и shared-устройств в ней. Вместо того, чтобы давать каждому клиентскому компьютеру по лазерному принтеру, который будет простаивать в 99% времени, лучше дадим ему доступ к коллективно используемому принтеру, пусть более мощному и дорогому, но используемому с более высокой средней загрузкой, и тем самым повысим уровень использования ресурса и его экономическую эффективность.
В том числе использование «общего дискового ресурса» решило и проблему «недоиспользования». Если минимально доступный диск SATA на сегодня обычно не менее 500GB, то если мы не используем его для хранения накачанного из торрентов видео, то обычно, в рядовом использовании, он пуст на 90-95%. Типовая установка OS занимает 2-8 GB, приложения и его данные еще сколько-то, чаще всего несколько гигабайт, все же остальное пространство остается свободным, но увы, недоступным для, возможно, нуждающихся задач на других компьютерах.

Итак, мы продолжаем знакомиться с новинками в линейке систем хранения данных HP, которые появились после приобретения компании 3Par. Напомню, что первое свидание состоялось вот здесь — там мы узнали о прошлой жизни продуктов 3Par и составили первое впечатление. Теперь же мы сблизимся еще сильнее и посмотрим на тонкости их архитектуры.

Сейчас модельный ряд 3Par InServ состоит из четырех систем: двух F-Series, поддерживающих до 384 дисков, и двух T-Series, которые поддерживают до 1280 дисков. Если традиционные модульные дисковые массивы (например, HP StorageWorks EVA) построены на базе двух контроллеров, объединенных в кластер, то архитектура массивов 3Par InServ поддерживает уже до восьми контроллеров, которые вместе образуют полносвязный многоузловой кластер full-mesh.

В комментариях к нашему посту об архитектуре 3Par InServ нас попросили подробнее рассказать как реализован у 3Par механизм thin reclamation. Работа по вашим заявкам — это, наверное, самая приятная часть ведения этого блога, поэтому с удовольствием рассказываем.

Прежде всего давайте посмотрим зачем, собственно, требуется thin reclamation. 3Par, а вслед за ней и другие вендоры дисковых массивов применили в своих системах технологию thin provisioning, которая позволяет выделять приложениям емкость из виртуального пула дисковых ресурсов. При этом выделенная виртуальная емкость может быть намного больше, чем физическая, за счет чего можно существенно сэкономить на дисках при покупке массива.

Хорошее решение. Но существует проблема. Если приложение освободит часть этой виртуальной емкости, или выяснится, что ему была выделена лишняя виртуальная емкость, то на физическом уровне диски, которые соответствуют этой освобожденной виртуальной емкости, всё равно останутся за этим приложением и их нельзя передать другим приложениям.

В июне в России были официально представлены новые виртуальные дисковые массивы HP серии P6000 EVA. Презентация прошла на неожиданной, но весьма популярной площадке в помещениях ночного клуба на Берсеневской набережной. В качестве докладчиков выступили Тим Питчер из HP Storage EMEA и Владислав Логвиненко, руководитель российской группы по развитию бизнеса HP Storage. Они рассказали немало интересного о системе, венчающей десятилетний труд разработчиков по развитию линейки EVA.

HP P6000 EVA, ставшая предметом представления, рассчитана на предприятия среднего и малого бизнеса, решающие задачи хранения и управления данными, компании, чей бизнес требует оперативной работы с большими объемами данных. Ранее сравнимые по производительности и другим параметрам системы от HP были по карману только ИТ-отделам крупных корпораций с соответствующими бюджетами. А с появлением HP P6000 EVA передовые технологии хранения данных HP становятся доступны гораздо более широкому кругу компаний. При разработке продукта особый фокус был сделан на учет требований потребителей и снижение совокупной цены владения. Эти факторы в совокупности с широкими возможностями виртуализации и облегченным администрированием позволяют спрогнозировать популярность HP P6000 EVA среди заказчиков HP по всему миру. Особенно с учетом того, что всего у серии EVA десятки тысяч пользователей.

С технической стороны HP P6000 EVA представляет собой систему хранения данных, представленную несколькими модификациями емкостью от 240 до 480 Тбайт. Поддерживается установка SAS-дисков двух наиболее распространенных форм-факторов (2,5 и 3,5 дюйма), что предоставляет пользователям большую свободу в выборе носителей.

Прошедший год выдался очень интересным для компании HP в системах хранения данных.
В декабре 2012 года были анонсированы модели mid-range систем 3PAR 7200 и 7400, в мае 2013 года была анонсирована модель 3PAR 7450.
Об этом анонсе вы можете почитать в обзоре «All-flash массив HP и еще 10 больших изменений в системах хранения 3PAR».
Какие интересные нововведения появились в массивах 3PAR за прошедший год?

Команда UNMAP стандартизирована в рамках набора команд T10 SCSI и используется для высвобождения пространства из тонких лунов назад хрнилищу данных в SAN окружении. Как я писал ранее, протоколы SAN и NAS понемногу заимствуют друг у друга всё лучшее. Одна из полезных вещей которая появилась достаточно давно, это возможность обратной связи СХД и хоста, для того чтобы «возвращать» удалённые блоки в тонкий лун, чего раньше так не хватало в SAN. Функцией UNMAP по-прежнему мало кто пользуется в SAN окружении, хотя она очень полезна в сочетании как с виртуализированными так и не виртуализированными средами.

Без поддержки команды UNMAP любой тонкий лун созданный на стороне СХД всегда мог только увеличиваться в размере. Его рост был вопросом времени, который безоговорочно всегда заканчивался тем, что такой тонкий лун в конце концов станет занимать свой полный объём, который ему положен, т.е. в конце концов он станет толстым.

Хочу поделится своим опытом эксплуатации LVM Thin Provision, и набитыми шишками. В целом, я доволен этой технологией.