Резервное копирование *

Как можно догадаться из названия продукта, столпами реализуемой в Veeam Backup & Replication стратегии защиты данных являются «2-в-1»: резервное копирование и репликация, реализованные в рамках одного продукта.

Достоинством механизма резервных копий является возможность отката на различные точки восстановления в прошлом, механизм же репликации позволяет получить минимальный показатель времени восстановления системы после сбоя — этим она особенно ценна для современных ЦОД. Сегодня я расскажу о новых возможностях репликации, которые увидят свет с выходом (уже в ноябре!) новой версии Veeam Backup & Replication 8.0.

С 6 по 8 октября в Лас-Вегасе (США) прошла первая международная конференция Veeam по вопросам резервного копирования и защиты данных в виртуальных средах – VeeamON (анонс на Хабре), собравшая около 1200 гостей из более чем 50 стран.

Забегая вперед, скажу, что первый опыт оказался весьма удачным и уже на 100% известно, что VeeamON станет ежегодным событием.

В этом году на конференции анонсировали выпуск двух новых продуктов, одним из которых стал уже известный аудитории GT и Хабра Veeam Availability Suite v8. Вторая новинка носит «взрывной» характер – это Veeam Endpoint Backup FREE, бесплатный инструмент для резервного копирования данных физических машин – ноутбуков и настольных ПК – на базе ОС Windows.

Чем еще запомнится первая конференция для администраторов виртуальных инфраструктур? Пока свежи воспоминания, и не отпускает джетлаг (11-часовая разница во времени все-таки не шутка), проведу для вас репортаж с места событий и постараюсь передать атмосферу мероприятия.

Следуй за белым кроликом!

Заранее приношу извинения за качество фотографий в этом посте – большинство из них снято на камеру в телефоне и не годно для глянцевых обложек. Красивый фотоотчет можно посмотреть в группе на Facebook.

Уже прошло больше недели с того момента, как в городе греха Лас-Вегасе закончилась трёхдневная конференция компании Veeam, на которой руководство компании делилось планами на будущее, обсуждались текущие проблемы мира виртуализированных данных, их хранения, обработки и обеспечения бесперебойной доступности, читались технические доклады и было много других интересных событий свойственных любой хорошей конференции от лидера отрасли.
Но среди прочего, я бы хотел особенно выделить анонс нового продукта — Veeam Endpoint Backup с припиской Free. Единственной задачей этого приложения будет бекап физических машин.



Под катом я попробовал аккумулировать всю доступную на данный момент информацию о грядущей новинке и предлагаю подумать зачем-же признанные мастера-джедаи бекапов виртуальных сред наметили зайти в смежную область.

В конце августа я описал в статье бюджетное решение расширения архива для NVR/DVR, но недавно ко мне в руки попал Zyxel Keenetic и еще один 5-ти дисковый DAS CFI-B8253JDGG. Существует масса разных реализаций раздачи «сетевых шар» в локальной сети, но удалось получить, что-то средне-бюджетное и защищенное.

Многие «фичи» в решениях Veeam добавлены по запросам пользователей – так, например, в Veeam Backup & Replication появилась поддержка записи бекапов на ленту и плагин для платформы Kaseya. Недавно было реализовано еще одно пожелание, о котором и пойдет речь далее – Veeam Backup & Replication Add-on for LabTech.
Кстати, к моему удивлению хабропоиск выдает нулевой результат по запросу «LabTech», поэтому раскрою тему и расскажу, что это такое, для кого и с чем его едят.

При коллективной работе с общей группой файлов зачастую кто-то из работников может испортить документ. Работая верстальщиком в районной газете, я сталкиваюсь с такими случаями, и приходится переверстывать некоторые элементы.

Поэтому я задумался о системе восстановления файлов. Резервное копирование на машине проводится автоматически раз в неделю, что позволяет не терять данных, однако при частом изменении документов это не спасает. Издание еженедельное, полос немного — каталог с файлами вёрстки текущего выпуска занимает 1-2 гб. У нас не имеется отдельного файлсервера, все данные хранятся на моей машине, и используется по сети еще двумя ПК. Собственно, все карты мне в руки.

«Ты суслика видишь? Нет? А он есть!»

Аналогичная ситуация вполне возможна и с бесконтрольным ростом числа виртуальных машин (Virtual Machine Sprawl) — до определенного момента мы не считаем, что такая проблема имеет место быть в нашей инфраструктуре, а на самом деле она есть, просто не показывает себя в натуральную величину.

А в чем, собственно, дело?

Проблема бесконтрольного увеличения поголовья виртуальных машин довольно типична для быстро растущих виртуальных инфраструктур. Начинается всё с вполне резонного стремления того или иного подразделения компании работать со своими специализированными приложениями на выделенных серверах. Разумеется, благодаря виртуализации они получают такую возможность. А теперь, уважаемые читатели, сотрудники IT-отрасли, разработчики и тестировщики, прикиньте хотя бы приблизительно, сколько виртуальных машин вы засетапили, скажем, за последние полгода? А сколько из них было позабыто и позаброшено после успешного релиза?

Получается, что чем больше виртуализация проникает в рабочую среду и помогает решать производственные задачи, тем больше «виртуальных отходов» появляется в этой самой среде (как, впрочем, почти при любом производстве). Это-то и приводит к проблеме бесконтрольного роста количества виртуальных машин (VM sprawl).

Практически в каждом новом ноутбуке теперь есть система восстановления, которая срабатывает, когда операционная система не может загрузится несколько раз подряд. Отличная идея: обычный пользователь, не вдающийся в тонкости работы своего компьютера и операционной системы, теперь избавлен от необходимости обращаться в сервис-центр, что экономит ему время и деньги.

Однако реализация этой идеи оказалось такова, что лучше бы этой системы восстановления не было вовсе. Во-первых, при штатном восстановлении теряются пользовательские данные, что, в принципе, ожидаемо. Во-вторых, процесс восстановления занимает неприлично много времени. На компьютере с винчестером в 1тб процесс шёл 8 часов и неизвестно, сколько бы он шёл ещё, если бы я его не прервал. Как бороться с этим безобразием вы узнаете под катом.

В январе этого года компания Backblaze впервые опубликовала статистику использования дисковых накопителей в своих серверах. Backblaze предоставляет услугу дешёвого облачного бэкапа и поэтому закупается недорогими HDD потребительского класса, которые в 2-2,5 раза дешевле, чем HDD класса Enterprise. За четыре года собрана большая статистика по надёжности дисков Seagate, Hitachi и Western Digital.

Пришло время сентябрьского обновления статистики.

Предыстория

Когда два года назад мы выпускали Veeam Backup & Replication 6.0, одним из самых важных нововведений была масштабируемость: благодаря распределенной архитектуре на базе специально выделенных «прокси-серверов» (серверов, которые непосредственно выполняют задания резервного копирования по перемещению данных) и распределению нагрузки между ними, продукт получил возможность обслуживать инфраструктуры практически любых размеров.

Причин для создания новой архитектуры было несколько, и, соответственно, ею решалось сразу несколько задач:

1. Обеспечить масштабируемость до инфраструктур любых размеров — для этого можно создать нужное количество “прокси-серверов” (серверов, которые выполняют задания резервного копирования), между которыми можно оптимально распределять рабочую нагрузку.
2. Повысить надёжность процесса резервного копирования и исключить проблему «единой точки отказа». Даже если один прокси-сервер упадет, задачу за него завершит другой.
3. Уменьшить нагрузку, которую операции резервного копирования оказывают на производственную инфраструктуру – благодаря использованию описанного в настоящей статье механизма.
4. Снять головную боль «Как же оптимально составить расписание для нескольких заданий?» – теперь можно настроить их параллельное выполнение.
5. Автоматически следить за свободным местом на хранилище и заблаговременно предупреждать о приближении порогового значения

При каждом выполнении задачи резервного копирования виртуальной машины Veeam Backup & Replication выбирает оптимальный прокси-сервер, ориентируясь на его территориальное положение в сети и его текущую нагрузку.

Не так давно в рамках тестирования продуктовых линеек EMC мне довелось поработать с их решением EMC Avamar Virtual Edition. Этим опытом я и хочу поделиться с вами в этой публикации.

В статье Копирование разделов жёсткого диска средствами GNU/Linux: как обойтись загрузочной флешкой там, где раньше нужен был Акронис, я посоветовал для копирования потенциально испорченных дисков использовать GNU ddrescue, а не оригинал, который назвал устаревшим. Но в комментариях nerfur указал мне, что dd_rescue регулярно обновляется и умеет на лету сжимать данные для последующей передачи по ssh. Так как эта задача GNU ddrescue не под силу, слухи об устаревании dd_rescue как видно сильно преувеличены.

Понятное дело — надо немедленно выяснить, чем современный вариант dd_rescue отличается от GNU ddrescue, что умеет и, возможно, убрать рекомендацию избегать использования оригинала из статьи. А также написать новую статью — про отличия этих двух программ, чем я и занялся.

Для тех, кто хочет побыстрее узнать чем кончилось дело и не интересуется душераздирающими подробностями сразу скажу, что после изучения вопроса моё мнение не изменилось — я всё ещё рекомендую пользоваться GNU ddrescue, но теперь уже по другой, гораздо более вменяемой причине — GNU ddrescue сначала сохраняет хорошо читаемые области диска и уже потом приступает к остальным. dd_rescue этого не умеет by design.

Уже несколько лет как появилась возможность любому смертному желающему арендовать не только shared-хостинг, но и «полноценный» сервер с root-доступом и возможностью настроить его так, как хочется самому. Настроить, например, кроме web-сервера еще и кучу других сервисов.
Так же поступил и я несколько лет назад. Сначала арендовал один сервер, потом другой, и переносил настройки ручками, находя нужные файлы в директории /etc.

За пару лет на моём сервере осело несколько блогов друзей, и даже почтовый сервер, так как давно не хочу, чтобы моя почта была у Google. Насчет сохранности данных задумывался после каждой статьи на Хабре, но всё было как-то не до этого. И, как говорится, админы делятся на три категории: на тех, кто не делает бэкапы, на тех, кто уже делает и на тех, кто даже проверяет восстанавливаемость из бэкапов. Так получилось и со мной, хоть хостер и очень хороший, но произошла у них авария с жесткими дисками. Да такая, что неделю они пытались восстановить диски и предварительные оценки были очень неутешительными. А бэкапов у меня не было. Какое настроение у меня было в те дни можете сами представить.

Но через несколько дней техникам хостера удалось-таки восстановить данные и запустить все виртуальные сервера на той ноде. А я задумался о бэкапах. Думал я так — бэкап должен быть не на том же сервере (естественно!), желательно, чтобы он был у меня на компьютере, но не в одном экземпляре. Я обдумал и установку FTP на домашний компьютер и даже отправку архивов письмами, но все эти варианты меня не устраивали. И я понял, что надо попробовать Dropbox, которым я к тому времени пользовался уже пару лет, а бесплатных гигов у меня было около 18-ти.

Преимущества бэкапа в Dropbox:

• Независимость от домашней инфраструктуры и канала в Интернет
• Множественные копии (сразу на все синхронизируемые ПК)
• Кроме собственного хранения бэкапы хранятся и в облаке

Что делает представленный мной скрипт?

• Инкрементальный бэкап файлов в указанных папках (по первым и пятнадцатым числам идет полный бэкап)
• Бэкап всей базы MySQL
• Бэкап архивируется с помощью 7zip, с указанием пароля (вам же не надо хранить пароли в открытом виде в Dropbox'е?)

С тех пор как до меня дошла благая весть о существовании операционной системы под названием GNU/Linux, которую используют все настоящие программисты, я несколько раз пытался заменить ей детище Билла Гейтса и несколько раз потерпел неудачу.

Гуру поблизости отсутствовали, доступ к интернету был жёстко ограничен и потому любая нетривиальная задача становилась в те времена совершенно нерешаемой.

Потом, когда появился безлимитный интернет, вследствие чего с получением софта и знаний стало существенно легче, я настроил себе дуал бут и стал осваивать Убунту.

Основные сложности в процессе переезда создались в первую очередь из за необходимости бросить знакомые практически с самого детства программки, которые попросту отсутствуют в операционной системе для настоящих программистов.

В большинстве случаев это было не фатально. Вместо привычного foobar всегда можно послушать музыку на Rhythmbox. Вместо Microsoft Office есть OpenOffice. Да, его совместимость с продуктом корпорации зла порой оставляет желать лучшего, но им вполне можно пользоваться для решения повседневных задач среднестатистического пользователя. Обо всяких Файрфоксах, Операх и Хромах я вообще молчу.

Но в некоторых случаях приходилось перезагружать компьютер, выбирать в меню загрузчика пункт Microsoft Windows и делать всё по старинке. Такой задачей было например снятие образа логического диска в целях переноса на другой физический носитель, потому как текущий уже изрядно поистрепался.

В свете последних топиков, в том числе «Autodesk не будет продавать ПО попавшим под санкции компаниям», появляется ощущение, что маховик абсурда все сильнее раскручивается. Мы не будем осуждать в этом топике политические причины всего этого безобразия, а подумаем немного о том, что произойдет, если внезапно «выключат Google», причем неважно с какой стороны. Также предлагаю рассмотреть один из вариантов забрать себе накопленный контент, используя открытое ПО.

Для начала давайте подумаем, что является наиболее ценным для большинства пользователей сервисов Google? В первую очередь, это личный контент, который хранится в облаке, почта и другие материалы. Во вторую очередь, это сервисы, которым нужно найти замену в кратчайшие сроки. Мы не будем рассматривать нужды профессиональных разработчиков под Android и корпоративные нужды.

Многие уважаемые ИТ компании ежегодно проводят свои конференции – вспомним, например, Microsoft, Cisco, Google и VMware. Мы в Veeam решили не отставать от “модных трендов” и организовать собственную международную IT конференцию в сфере виртуализации и защиты данных – VeeamON.

Когда и где? Конференция будет проходить 6—8 октября 2014 года в Лас-Вегасе (да, тот самый Лас-Вегас; да, в США).

Для кого? Для наших единомышленников, профессионалов администрирования, внедрения и управления системами резервного копирования виртуальных серверов, для Veeam коммьюнити и для всех, кому близка и интересна тема виртуализации и защиты данных.

Что будет? Насыщенный микс из сессий, тренингов, практических семинаров и выставки технологий от ведущих мировых вендоров, приправленный шумными вечеринками, живым общением и интересными встречами.

Под катом программа конференции, практическое руководство «Как попасть на VeeamON в Лас-Вегас на халяву», а также анонс новых конкурсов от Veeam.

Хотя камеры со встроенным Wi-Fi модулем появились на рынке относительно недавно, сама технология была доступна на многих моделях фотоаппаратов и значительно ранее, через внешние модули или карты Eye-Fi. Тем не менее, нельзя сказать, чтобы наличие Wi-Fi модуля в фотоаппарате как-то специально увлекало фотографов. Это выглядит странным, потому что сотовые телефоны с беспроводным интерфейсом, например, вызвали при первом появлении на рынке настоящую волну ажиотажа. Тогдашние обзоры модных гаджетов кишели фразами вроде «Ничем не примечательная моделька, но у неё – внимание! – ЕСТЬ WI-FI!», заставляя пользователей сглатывать слюнки и копить денежку. А вот с фотоаппаратами ничего подобного не вышло.

Ответ на вопрос «Почему?» лежит на поверхности; смартфон или ноутбук для большинства – прибор для извлечения готовой информации, в то время как фотокамера – инструмент её создания (вернее, преобразования в требуемую восприятием человека форму). И как есть хочется чаще и многообразнее, чем выращивать еду, так и приборы для обеспечения доступа к информации должны быть свободнее от привязки к конкретным условиям, чем аппаратура для изготовления контента. Пользуясь предыдущей аналогией, проще носить с собой ложку, вилку и стакан, чем мотыгу, пропашной культиватор и, в особенности, коровий хлев, хотя обе этих группы предметов имеют самое недвусмысленное отношение к вкусному обеду.

Выход 8-й версии Veeam Backup & Replication не за горами. Ранее мы уже рассказали про поддержку аппаратных снапшотов NetApp, и теперь я хочу рассказать про расширение линейки инструментов гранулярного восстановления приложений Veeam Explorers. В дополнение к Veeam Explorer for Exchange и Veeam Explorer for SharePoint в новой версии появятся: Veeam Explorer for AD и Veeam Explorer for Microsoft SQL Server.

Информация о том, что именно они смогут делать — под катом.

Одним из главных приоритетов современного резервного копирования, особенно в системах 24x7, является минимизация воздействия на производительность продуктивной сети. Хорошим вариантом решения, отвечающего этому приоритету, является создание дисковых снапшотов СХД на аппаратном уровне, так как оно не требуют вовлечения в этот процесс гипервизора, а алгоритм создания самих снапшотов оптимизирован разработчиками СХД на уровне аппаратуры.

NetApp — компания, относящаяся к лидерам на рынке СХД, обладает одной из самых передовых технологий в области дисковых снапшотов. Эта технология позволяет NetApp предоставлять пользователям своих СХД эффективную, экономичную по ресурсам хранения и, в общем случае, незначительно влияющую на производительность продуктивной системы технологию защиты данных от сбоев. Особая сила NetApp всегда заключалась в программной части СХД — операционной системе ONTAP, которая предлагает пользователям полнофункциональную платформу хранения данных, а также в технологии создания снапшотов, на которой базируются хорошо масштабируемые технологии защиты данных, такие как SnapMirror (репликация между NetApp СХД) и SnapVault (резервное копирование данных).

Сегодня я хочу рассказать о новом плагине резервного копирования для Kaseya VSA – Veeam Backup & Replication Add-on для Kaseya, который предназначен для провайдеров ИТ услуг и ИТ отделов крупных компаний, предоставляющих облачные сервисы, такие как Backup-as-a-Service и Disaster-Recovery-as-a-Service, и при этом использующих Veeam Backup & Replication для защиты данных от сбоев, обрабатывающихся в виртуальной среде на базе гипервизоров VMware vSphere и Microsoft Hyper-V.

Под катом можно будет узнать о том что такое Kaseya и об основных функциональных возможностях нового плагина.