Резервное копирование *

История о том, как в ISPsystem разрабатывали решение для резервного копирования. Рассказывает руководитель разработки Александр Брюханов.



Все пользователи делятся на три группы:
те кто не делает бэкапы,
те, кто их уже делает,
и те, кто проверяет сделанные.

Кого-то мой рассказ просто повеселит, а кто-то в нем узнает себя. Это история про то, как оно было в ISPsystem 15 лет назад, как и почему менялось, к чему пришло. В первой части расскажу, как мы начали разрабатывать решение для бэкапов виртуальных серверов.

Практически каждый день мы узнаем о том, что в очередной компании произошел серьезный сбой в работе ИТ-инфраструктуры, который привел к серьезным финансовым и репутационным потерям. Системный сбой – первое, что приходит на ум, когда просчитываются возможные риски для работы ИТ-сервисов и организации в целом. Однако куда чаще имеют место другие причины: человеческий фактор, перебои в работе оборудования, отключение питания, вредоносное ПО, повреждение данных – все это может привести к полной остановке систем и приложений.

Вероятность же успешного аварийного переключения на резервную площадку – запланированного или срочного – будет невелика, если уделять недостаточно внимания процедуре и плану переключения, не обновлять его своевременно и не тестировать в нужные сроки. Неверно указанные зависимости машин и приложений, не задокументированные изменения, неправильные процессы, не проверенные на корректность работы приложения и сервисы, неверная последовательность запуска машин из реплик – это лишь некоторые из проблем, которые могут помешать успешному переключению как одного приложения, так и целого ЦОД.

Чтобы помочь организациям справиться с этими проблемами, компания Veeam недавно выпустила новое решение Veeam Availability Orchestrator для автоматизации управления работы с репликами ВМ при переключении на резервную площадку. (Первая версия решения поддерживает виртуальные машины на платформе VMware vSphere.) Подробнее о новинке читайте под катом.

Продолжаем полюбившуюся многим серию статей с рекомендациями от Veeam Support.
Один из важных вопросов, возникающих на этапе планирования резервного копирования – как организовать хранение бэкапов?

Veeam советует выдерживать размер цепочки в 7 – 14 точек восстановления и хранить их на диске, чтобы можно было быстро восстановиться при необходимости. Более длительное хранение рекомендуется организовать с помощью вспомогательных СХД. Такие системы хранения данных, как правило, более дешевы, но восстановление с них занимает больше времени.

В общем и целом следует опираться на правило «3-2-1», которое можно проиллюстрировать, например, так:



Сегодня мы поговорим о том, как разумно организовать хранение резервных копий на магнитной ленте в рамках этой стратегии. Магнитная лента давно обрела признание как надёжный и недорогой носитель, который не подвержен хакерским атакам и вирусам-шифровальщикам. Решения Veeam поддерживают ленточные устройства, позволяя хранить на них резервные копии как виртуальных, так и физических машин. Полезные советы и рекомендации по архивированию на ленту вы найдете под катом.

Фирма Backblaze регулярно публикует статистику по отказам своих жёстких дисков, и даже выложила в свободный доступ полный архов со статистикой S.M.A.R.T параметров всех своих накопителей.

В этой статье я покажу как с помощью при помощи лома и какой-то матери с помощью научных методов рассчитывать надёжность накопителей.

На пути создания своего облачного сервиса пока мы освоились в системе Debian и создали веб-сервер. Теперь пришла пора для финального шага — создания и настройки персонального облака на базе сервера Nextcloud.

Одновременно с Veeam Backup & Replication 9.5 Update 3 вышли в свет и новые версии Veeam Agent для ОС Windows и Linux. Эти решения для бэкапа физических машин могут работать теперь как автономно, так и централизованно под управлением Veeam backup server. Сегодня я немного расскажу о новых фичах Veeam Agent for Microsoft Windows, которые не были освещены в прошлом посте. За сим добро пожаловать под кат.

На пути создания своего облачного сервиса пока мы только освоились в системе Debian. Теперь пришла пора для следующего шага — создание и настройка веб-сервера, на базе которого можно будет запустить Nextcloud.

По мере роста активности программ-вымогателей, таких как Petya или BadRabbit, а также в связи с ужесточением требований законодательства (например, как раз вступившим в силу №187-ФЗ «О защите критической информационной инфраструктуры») объемы данных для резервного копирования постоянно увеличиваются. В результате растет стоимость инфраструктуры хранения резервных копий. Такие технологии как Erasure Coding могут кардинально снизить затраты на их хранение. Сегодня мы расскажем насколько именно и о том, как построить Backup на базе Erasure Coding.

Лучше резервного копирования может быть только резервное копирование с контролем версий и проверкой целостности. Существует уйма программного обеспечения различного уровня платности под разные операционные системы для резервного копирования файлов, баз данных и образов, а также для управления конфигурациями серверов и ПО. А вот для работы с конфигурациями сетевого оборудования решений не так и много.



Мы создали приложение cBackup (от configuration backup) для работы с конфигурациями сетевого оборудования. Кроме непосредственно резервного копирования конфигов, можно отслеживать изменения между их версиями, что помогает локализовать источник проблемы при восстановлении после сбоев. cBackup — open source и распространяется бесплатно, включая отдельно скачиваемые шаблоны поддержки различных сетевых устройств.

Когда-то давно, в 2011 году, я пришёл на хабр со статьёй «Debian Server для новичка», которая представляла из себя систематизацию различной информации и представление её в актуальном и работоспособном виде. Данная статья так же позиционируется как справочный материал для новичка или обычного пользователя Linux, этакий мой небольшой вклад в популяризацию Linux. По сути, всё о чём я буду писать – это некая развёрнутая инструкция по установке и настройке домашнего облачного сервиса Nextcloud с нуля.



Созданная виртуальная машина с Nextcloud отработала с марта 2017 года практически без сбоев и осенью 2017 года я задумался о статье. У меня осталось много записей и комментариев в части решения различных проблем и нюансов, я долго вынашивал идею всё же привести всё это в порядок и опубликовать и новогодние праздники 2018 года мне в этом помогли. Надо сказать, что статья запоздала как минимум на полгода, но, думаю, что установить и настроить актуальные версии Debian и Nextcloud по аналогии с нижеприведённой информацией не составит большого труда, хотя, как известно, дьявол кроется как раз в деталях.
Ниже читатель познакомится с предпосылками создания своего облака и получит работающие инструкции по стартовой настройке Debian, лёгкому тюнингу среды Gnome3, компиляции, сборке и установке пакетов для Debian, установке и настройке сервисов Apache, SQL и PHP и начала работы с ними, генерации и подключения самоподписного сертификата SSL для виртуального хоста Apache, установка и настройка Nextcloud. Я не стал оформлять эту статью как технический мануал или туториал с длинной вереницей команд, а решил попробовать написать статью как рассказ, но без ущерба технической составляющей. Опытный пользователи Linux вряд ли тут найдут что-то новое, но, возможно, смогут прочитать его как тематическую историю в минутку своего свободного времени.

О сохранности данных необходимо заботиться независимо от того, где они находятся: в облаке или физическом или виртуальном хранилище. Нередко данные являются самым ценным активом компании, однако их защита остается для многих из них слабым звеном. По данным IDC, до 20% операций резервного копирования не укладываются в отведенное время, а 32% попыток восстановления данных оказываются неудачными. Технологии Dell EMC позволяют уменьшить окно бэкапа до 90% по сравнению с традиционными методами, снизить требования к емкости хранения резервных копий до 30 раз, а нагрузку на сеть — почти вдвое. Эти технологии обеспечивают быстрое восстановление как физических, так и виртуальных сред.

Кажется, совсем недавно мы публиковали анонс новой функциональности Veeam Backup & Replication – и вот уже обновление Update 3 для версии 9.5 доступно для использования. В нем реализованы, в частности:

• интеграция с Veeam Agents для защиты виртуальных и физических машин из единой консоли
• поддержка VMware Cloud on AWS
• интеграция с СХД IBM Spectrum Virtualize и Lenovo Storage V Series

О том, как работает управление агентами Veeam Agents, достаточно подробно рассказывалось в анонсе, а к релизу было написано и полноценное руководство (правда, пока только на английском языке). Сегодня же я добавлю еще несколько штрихов к обзору новинок. Итак, добро пожаловать под кат.

Компания Veeam выпустила новое обновление для решения Veeam Availability Suite 9.5 Update 3, которое позволяет клиентам централизованно управлять данными в виртуальной, физической и многооблачной средах.

Президент Veeam Питер Маккей (Peter McKay) назвал апдейт VAS 9.5 U3 самым крупным релизом за всю десятилетнюю историю компании. По словам Питера, обновление предоставит высокий уровень доступности для любых данных и приложений.

Подробнее об особенностях обновления читайте под катом.

Когда вышла первая публикация на Хабре по теме DRaaS и миграции с VMware, организованных на базе OpenStack, в комментарии пользователя mikkisse была озвучена мысль: единственное очевидное преимущество решений на базе OpenStack — это их относительно низкая стоимость в сравнении с коммерческими предложениями. Другие пользователи (например, AntonVirtual) аккуратно (и не очень) намекали на то, что отсутствие лицензионных платежей придется компенсировать оплатой поддержки, которая обеспечила бы стабильность работы облака. А раз так, замечали третьи (такие как omnimod), лучше не экспериментировать, а отдаться старому-доброму вендору. Мы, в свою очередь, в комментариях обещали подробный рассказ о том, как именно реализуется миграция и/или DR с технологией Hystax Acura в обмен на благосклонное внимание mikkisse и других читателей, давших нам содержательную обратную связь. Выполняем взятое на себя обязательство.

Привет, с вами снова Veeam Support! Сегодня в центре нашего внимания очень любопытный кейс: задание верификации SureBackup прекращается на середине создания снапшота, выдавая сообщение об ошибке общего характера: “The specified feature is not supported by this version.” (Данная функциональность не поддерживается в этой версии).


В задание верификации входило несколько виртуальных машин, но не удавалось обработать одну-единственную. Более того, задание верификации базировалось на задании резервного копирования, которое отрабатывало без каких-либо ошибок, выполняя бэкап и этой самой ВМ.
О нашем расследовании читайте под катом.

DVD [диск] начнет умирать уже лет через 5. […] Я опираюсь на информацию из сети про условия и максимальный срок жизни, вполне может быть и лажа. Но фильмы на DVD[,] купленные ~10 лет назад[,] сейчас не запускаются ни один из нескольких десятков.

Из обсуждения

За многие годы у меня скопилась значительная коллекция CD и DVD ROM, выпущенных массовыми тиражами, кроме того, периодически архивирую на одноразовые болванки свои файлы. Поэтому утверждение, приведенное в эпиграфе, не могло меня не заинтересовать.

Все люди делятся на две категории: те, кто еще не делает бэкапы, и те, кто уже делает бэкапы.

Говорить о важности резервного копирования данных и о рисках, связанных с отсутствием такового, считаю излишним. Думаю, в этом вопросе все будут солидарны – резервные копии нужны!

В мнении по этому вопросу, к нам присоединились и правительство со своей карающей дланью, и регулирующие органы в области защиты информации. Все мы помним требования законодательства, озвученны в 17-м, 21-м и 31-м Приказах ФСТЭК. Так же регуляторами кредитно-финансовой сферы сформированы требования к резервированию и резервному копированию.

А с 1 января 2018 года к ним добавится (вступит в действие) и Федеральный закон от 26.07.2017 № 187-ФЗ «О безопасности критической информационной инфраструктуры Российской Федерации», который нам так же говорит, что одной из четырех «Основных задач системы безопасности значимого объекта критической информационной инфраструктуры является:» «восстановление функционирования значимого объекта критической информационной инфраструктуры, обеспечиваемого в том числе за счет создания и хранения резервных копий необходимой для этого информации».

Таким образом, данными требованиями охвачены фактически юрлица во всех сферах. А что у нас большего всего любят регуляторы?

В прошлом сезоне Veeam выпустил на Microsoft Azure Marketplace решение Veeam Managed Backup Portal для сервис-провайдеров, предоставляющее им возможности мониторинга и управления развертываниями Veeam Backup & Replication. И вот на этой неделе увидело свет новое воплощение этой идеи – Veeam Availability Console. Этот бесплатный продукт предназначается для сервис-провайдеров-участников программы Veeam Cloud & Service Provider (VCSP), и о нем сегодня будет мой рассказ (как всегда, с картинками). Итак, добро пожаловать под кат.

После изменения российского законодательства, регулирующего хранение и обработку персональных данных, следом за введением принципа локализации баз персональных данных и блокировкой LinkedIn среди ИТ-специалистов все чаще возникают вопросы о том, какую информацию можно держать на зарубежных серверах.



Поспешим успокоить наших свободолюбивых читателей: хранить персональные данные за пределами России все еще разрешено, но с оговорками. И если вы хотите соблюдать российское законодательство и, вместе с тем, обезопасить данные от возможных административных атак недоброжелателей — этот пост для вас. Мы сформулировали основные «правила игры», в соответствии с которыми сегодня осуществляется хранение и трансфер персональных данных граждан Российской Федерации за границу.

Введение

На написание данной публикации меня подтолкнул тот факт, что в сети интернет крайне мало информации по администрированию Jail в FreBSD. Можно конечно найти отличные публикации на эту тему, но они, в основном, по большей части были написаны много лет назад, и не затрагивают новые возможности Jail и самой операционной системы FreeBSD.
Публикацию разделю на две части. В первой части пойдёт речь о подготовке и настройке FreeBSD, а во второй части пойдёт речь непосредственно о создании Jail.