Восстановление данных *

В продолжение темы о ПО SnapProtect: Архитектура резервного копирования на системах NetApp FAS, хочу осветить функционал SnapProtect for Open Systems. Начиная с релиза SnapProtect 10.0 Service Pack 4, NetApp теперь поддерживает резервные копии с direct-attached и «сторонних» хранилищ на Data ONTAP 7-Mode SnapVault системы.

«SnapProtect for Open Systems» или коротко (SPOS), выполняет блочную инкрементальную репликацию поддерждивая ОС Windows, Linux и Solaris, а также такие приложения как Microsoft Exchange Server, Microsoft SQL Server и Oracle Database.


Cхема работы SPOS

Принципиальное отличие такой схемы от стандартного подхода NetApp к резервному копированию, заключается в том, что Snapshot'ы снимаются не на уровне хранилища (Hardware Assistant), а на уровне файловой системы (или файлового менеджера типа LVM) ОС самого хоста.

После прочтения статьи «Статистика Backblaze: какой HDD самый лучший» стало понятно, что Seagate Barracuda (ST3000DM001) лидер по числу отказов. Два диска именно этой модели на файловом сервере менее чем за полтора года вышли из строя практически одновременно.

Почему это произошло?
Специалист, занимающийся ремонтом техники на нашем предприятии докопался до истины и попросил рассказать о ней с целью дать рекомендации производителю для исключения подобных случаев и советы владельцам дисков данной марки. Кому советы уже не помогут, могут использовать HDD для изготовления трехтерабайтного граммофона.

Я работаю в организации с маленьким штатом, деятельность тесно связана с IT и у нас возникают задачи по системному администрированию. Мне это интересно и частенько я беру на себя решение некоторых.

На прошлой неделе мы настраивали FreePBX под debian 7.8, нанимали фрилансера. В процессе настройки оказалось, что сервер (да, я так называю обычный PC) не хочет грузится с HDD при подключенных USB 3G модемах, которые мы используем для звонков на мобильные, колупание BIOSа не помогло. Непорядок. Решил, что нужно перенести его на другую железяку. Так появилось сразу две связанные задачи:

• сделать бэкап сервера;
• восстановить бэкап на другом железе.

Гугление не дало внятных ответов, как это сделать, пришлось собирать информацию кусками и пробовать. Всякие acronis’ы отбросил сразу, ибо не интересно.

Опыт общения с linux-системами у меня небольшой: настройка VPN сервера на open-vpn, ftp-сервера и еще пара мелочей. Сам себя я характеризую как человека умеющего читать маны и править конфиги :)

Ниже я описываю свой частный случай и почему я поступил именно так. Надеюсь, новичкам будет полезно, а бородатые админы улыбнутся вспомнив молодость.

В продолжение темы о ПО SnapProtect: Архитектура резервного копирования на системах NetApp FAS, эта статья посвящена новым возможностям SnapProtect. Софт SnapProtect объединяет высокоскоростные Snapshot NetApp и репликацию на ленту, для уменьшения времени простоя и потери данных. Это единая консоль управления, создания и каталогизации, управления консистентными, с точки зрения приложения, snapshot в инфраструктуре, обеспечивая жизненный цикл хранения disk-to-disk-to-tape (D2D2T).



Эта схема резервного копирования выполнена в соответствии с парадигмой резервного копирования для систем NetApp FAS: основные и резервные данные расположены на СХД, а резервные копии выполняются на основе Hardware Assistant Snapshot, взаимодействуя с приложениями создавая, таким образом, Application Consistent Backup.

В этой статье я рассмотрю как архитектура SnapProtect притворяет в жизнь «парадигму резервного копирования NetApp», используя передовые технологии и преимущества систем хранения, серии FAS. ПО SnapProtect (SP) предназначенно для управления жизненным циклом резервных копий, архивацией и восстановлением данных для всей инфраструктуры, расположенной на СХД NetApp FAS. SP обеспечивает связность с приложениями, консистентность при снятии резервной копии, управление репликацией/архивацией между хранилищами, каталогизацию, восстановление данных в случае необходимости, проверку резервных копий, а также другие функции. FAS очень универсальные системы, которые могут использоваться для задач как «основной» СХД, «запасной» (DR) так и для архивации данных.

Комплекс SnapProtect состоит из следующих основных компонент:

• Сервер с SnapProtect Management Server (CommServe license), для отказоустойчивости применяется кластеризация (на уровне приложения + кластеризация БД)
• Серверы с инсталлированным MediaAgent'ами.
• Агенты iDataAgent (iDA). Устанавливаются на хосты для интеграции с ОС, файловыми системами, приложениями и другими компонентами хостовой ОС.
• SP взаимодействует с хранилищем NetApp через Oncommand Unified Manager.

Большинство тех, кто сталкивался с автоматизацией задач VMware vSphere, рано или поздно узнает про VMware vCenter Orchestrator.

Наличие REST плагина у этого фреймворка привело нас к мысли, что можно провести интеграцию vCenter Orchestrator с Veeam Backup & Replication, автоматизировав таким образом операции, выполняемые Veeam Backup Enterprise Manager, в частности: запуск, остановка или просмотр статистики бэкапов, выполнение восстановлений, просмотр, управление ролями безопаности.

Итак, исходные данные:

• установленный vCenter Orchestrator 5.5.2
• установленный Veeam Backup & Replication v8 Enterprise Plus

Что требуется:

• сделать так, чтобы оно работало вместе через REST (кстати, через PowerShell интеграция тоже возможна, но это уже вне рамок этого кейса)

Что вас ожидает:

• нюансы интеграции
• примеры REST запросов

Прошу под кат за деталями.

В продолжение статьи о парадигме резервного копирования NetApp, хочу рассказать о недокументированной возможности преобразования «архивных копий» в «резервные» для серии FAS. Отличительной чертой СХД компании NetApp серии FAS является то, что они все унифицированы. Унифицированность не только в том, что одно устройство предоставляет доступ хостам как по блочным, так и по файловым протоколам, но и по способу применения. Системы FAS используются для виртуализации, для Data Compliance, для хранения архивных копий, для построения Disaster Recovery решений и т.д. Одна и та же СХД может выполнять сразу множество функций. Так для каждой функции не нужно держать одно «специализированное» устройство, а в случае если срочно понадобится «запасная» СХД, её всегда можно «перепрофилировать» из того что есть, к примеру из СХД для архивации данных. Благодаря этой универсальности нет необходимости переобучаться под каждую из этих задач ведь операционная система, командная строка и все принципы настройки одни и те же для всех FAS систем.

В этой статье я расскажу как построенное решение «Архивация данных на NetApp» переделать в решение «Disaster Recovery».

С точки зрения бизнеса Disaster Recovery и архивирование отличаются тем, что:

• Архивирование (SnapVault) — решение предназначено для длительного хранения и защиты данных от изменений, для последующего восстановления их туда, откуда они были скопированы (или в другое место).
• Disaster Recovery (SnapMirror) — хранение данных на резервном сайте, для переключения на него (и соответственно изменения данных), в случае катастрофы.

Поясню на примере: когда у вас есть хотя бы две СХД с настроенной репликацией SnapMirror, в такой схеме одна из них играет роль источника (primary), а вторая роль приемника (Secondary). В случае аварии, при разрыве репликации (командой break, а не просто разрыв линка), принимающая (Secondary) система переведёт реплицируемое зеркало из режима read-only в режим read-write. Т.е. это инструмент для создания решения «Переключение на запасную площадку в случае аварии» (Disaster Recovery). Логично, чтобы обе системы были плюс-минус одинаковой производительности, чтобы обеспечить все переключённые узлы с одного сайта на другой, должным уровнем производительности.



В то время, как SnapVault предназначен для архивирования на резервную (Secondary) систему, чтобы потом из неё восстановить все данные обратно на первичную систему или вообще на третью систему. Стоит отметить, что для задач архивирования очень важно хранить данные в неизменённом состоянии все время. В данном случае вторичная система, куда складываются все архивы, может быть любой модели. Здесь логично иметь самую дешевую модель NetApp FAS с медленными и дешевыми дисками большего объема. К примеру, FAS2554 или FAS2520.

Что чаще всего делают пользователи, которым нужно срочно получить резервную копию виртуальной машины, например, для тестирования и отладки хотфикса? Судя по нашим наблюдениям, чаще всего они делают снапшот. В самом деле, у снапошота достаточно плюсов: его создание не отнимает много времени, а если что-то пойдет не так, можно быстро откатить виртуальную машину на предыдущее состояние. Однако есть и минусы: пока вы экспериментируете с машиной, снапшот разрастается; у виртуальной машины падает производительность чтения/записи; сокращается свободное место на СХД. Вдобавок, «забытые» (бесхозные) снапшоты тоже могут доставить неприятности – недаром VMware рекомендует следить за актуальностью и длиной цепочки снапшотов виртуальной машины. В итоге есть риск, что из-за разросшихся снапшотов возникнут проблемы с доступностью ресурсов продакшена (в частности, из-за чрезмерной интенсивности чтения/записи на СХД), и во время коммита виртуальная машина просто подвиснет.

Чтобы избежать этих неприятностей, для всякого рода тестирования разумно использовать виртуальную лабораторию, или «песочницу» (например, как рекомендуется здесь). Но ее запуск и настройка требуют времени, а как быть, если его в обрез?

Можно запустить процесс резервного копирования – но он тоже отстает по быстроте от создания снапшота, даже если вы используете бесплатную утилиту VeeamZIP (создание полного бэкапа для выбранной виртуальной машины «на лету», т.е. по требованию и без остановки машины). Проход инкрементального бэкапа тоже не всегда является спасением – например, если виртуальная машина бэкапится в одном задании еще с несколькими, то при запуске этого задания придется ждать, пока обработаются они все.

Для таких случаев очень пригодится новая функциональная возможность Veeam Backup & Replication 8.0 – Quick Backup, создающая инкрементальную точку восстановления для выбранной виртуальной машины «на лету».



Что это за разновидность бэкапа, и почему она носит имя Quick — разбираемся под катом.

Продолжая тестирование продуктовых линеек ЕМС, на этот раз мы будем разбираться с программным обеспечением компании для создания резервных копий и восстановления данных под названием EMC NetWorker. Поэтому сегодня я поделюсь с вами опытом по развертыванию классического «софта для бэкапа»
 

У каждого человека в жизни возникает такая ситуация как rm -rf на той папке, где этого не следовало делать. Бекапы это хорошо, но что делать если их нет? Для Linux систем существует утилита Scalpel, которая позволяет восстановить удалённые файлы по заданным паттернам, включая применение регулярных выражений.

В этом посте я хотелбы рассмотреть подход к резервному копирования данных на СХД NetApp серии FAS.


Архитектура резервного копирования

WAFL

И начну я издали — со снепшотов. Технология снепшотов впервые была изобретена (и запатентирована) в 1993 году компанией NetApp, а само слово Snapshot™ является её торговой маркой. Технология снепшотирования логически проистекала из механизмов работы файловой структуры WAFL. Почему WAFL не файловая система смотрите здесь. Дело в том, что WAFL всегда пишет новые данные «в новое место» и просто переставляет указатель на содержимое новых данных в новое место, а старые данные не удаляются, эти блоки данных, на которые нет указателей, считаются высвобожденными для новых записей. Благодаря этой особенности записи, «всегда в новое место», механизм снепшотирования был легко интегрирован в WAFL, из-за чего такие снепшоты называют Redirect on Write (RoW). Подробнее про WAFL.

Знакома ли вам ситуация, когда нужно было максимально быстро восстановить виртуальный диск после отказа виртуальной машины? В таком случае можно запустить стандартное полное восстановление виртуальной машины и ждать, пока она будет полностью восстановлена — в новой версии Veeam Backup & Replication v8 это можно сделать гораздо быстрее за счет применения нового режима инкрементального восстановления — Quick Rollback.

Предыстория

Несколько недель назад я стал обладателем ноутбука HP Pavilion p170nr c предустановленной Windows 8.1. Поскольку я заядлый линуксоид — было решено устанавливать основной, рабочей системой Ubuntu, но и оставить Windows для игрушек и чего-нибудь капризного, вроде обновления биос. Жадность тоже сыграла свою роль — за 8-ку то, по сути, деньги заплачены.

На прошлой неделе вышла новая версия Veeam Backup & Replication v8, и в данной статье я опишу новые функциональные возможности, которые в ней появились, а также что из этого нового функционала доступно в бесплатной редакции продукта.

Как можно догадаться из названия продукта, столпами реализуемой в Veeam Backup & Replication стратегии защиты данных являются «2-в-1»: резервное копирование и репликация, реализованные в рамках одного продукта.

Достоинством механизма резервных копий является возможность отката на различные точки восстановления в прошлом, механизм же репликации позволяет получить минимальный показатель времени восстановления системы после сбоя — этим она особенно ценна для современных ЦОД. Сегодня я расскажу о новых возможностях репликации, которые увидят свет с выходом (уже в ноябре!) новой версии Veeam Backup & Replication 8.0.

Это здорово, когда у системного администратора есть время освоить и попробовать все сценарии восстановления Active Directory с помощью средств самой операционной системы. Однако в большинстве случаев этого лишнего времени нет и нужно решение, а не набор статей в msdn и нагугленных скриптов.

Какой же программный продукт выбрать для восстановления Aсtive Directory?

Для ответа на этот вопрос нужно сначала определиться со списком сценариев для восстановления.

Добрый день!

Хочу поделиться историей о том, как я чинил примус свой домашний NAS D-Link DNS-325.

Сам NAS у меня обычно в режиме минимального потребления электроэнергии с выключенными жёсткими дисками WD Green (установлен fun_plug на внешнюю USB флешку, об этой «прокачке» есть статья на Хабре). Однажды, после отпуска, я включил питание на NAS, чтобы просмотреть/загрузить фотографии. Он не включился. Cветодиод питания весело замигал, загорелись индикаторы сотояния HDD, но мигание продолжалось и продолжалось без признаков жизни. При нормальных условиях мигание означает процесс загрузки, который должен завершиться полной инициализацией и установлением стабильного свечения power LED. После многих попыток запустить устройство, отключения жёстких дисков, нажатия кнопки reset (которая, кстати, безполезна пока загрузка не завершится успешно), я с горечью осознал, что это не тривиальная проблема, с которой мне прийдётся справиться самому из-за истёкшей гарантии (12 месяцев).

Многие «фичи» в решениях Veeam добавлены по запросам пользователей – так, например, в Veeam Backup & Replication появилась поддержка записи бекапов на ленту и плагин для платформы Kaseya. Недавно было реализовано еще одно пожелание, о котором и пойдет речь далее – Veeam Backup & Replication Add-on for LabTech.
Кстати, к моему удивлению хабропоиск выдает нулевой результат по запросу «LabTech», поэтому раскрою тему и расскажу, что это такое, для кого и с чем его едят.

Здравствуй, Хабрахабр.

Так случилось, что мне понадобилось создать полную копию Android устройства, в котором полностью отсутствовали обычно используемые для этого средства. Поиски меня привели на форум XDA, где и была найдена данная всеобъемлющая инструкция, которая пришлась как нельзя кстати и которой я решил поделиться с вами.
В статье имеются мои комментарии, так как применял эту инструкцию для создания backup'a планшета Teclast x98 3g.

В связи с прекращением проекта тема менее актуальна, но всё же

В своё время, устанавливая Windows, я решил не трогать системный раздел, но зашифровать раздел с данными.
В результате HDD выглядел так:



Последний раздел на 831,51гб – это том, зашифрованный с помощью TrueCrypt.
В связи с досадной ошибкой, я удалил все разделы со своего HDD.
Есть множество программ, восстанавливающих удалённые разделы, (мне помог Paragon HDM), но так как том TrueCrypt невозможно отличить от набора случайных данных, ни одна программа обнаружить его не смогла.

Ниже вы узнаете, как можно восстановить удалённый том TrueCrypt (обладая паролем/ключевым файлом)