Уход западных вендоров с российского рынка поставил перед компаниями новые вызовы по настройке систем резервного копирования. Для одного из клиентов мы реализовали такой проект – кастомизировали BaaS-решение. Рассказываем, как провели миграцию с платформы CommVault на Veeam и апгрейд по пропускной способности, а также организовали сетевую связность между тремя разными площадками.
Как все работало до 2022 года
Клиент пользовался нашей услугой BaaS в течение нескольких лет. Когда мы начали сотрудничать, вся ИТ-инфраструктура находилась на одной площадке заказчика. К нам он обратился за помощью в организации полного резервного копирования.
Сначала мы реализовали такое решение:
Предоставили нашу облачную платформу.
Настроили сетевую связность серверов управления с площадкой клиента по L2-каналу.
По запросу заказчика развернули систему резервного копирования CommVault, выбор которой регламентировался корпоративным стандартом компании.
На площадке клиента, помимо серверов виртуализации, находились «железные» серверы с операционной системой IBM AIX. Эта платформа на базе Unix – первая ОС с журналируемой файловой системой.
Перед внесением в базу данных изменения фиксируются в журнале, что минимизирует риск потери данных при сбоях. Еще IBM AIX отличается повышенной масштабируемостью и расширенной поддержкой технологий виртуализации.
На этих же серверах:
«крутилась» ERP-система,
хранилась первая резервная копия (самая последняя точка восстановления) для быстрого восстановления данных.
Вторая копия находилась на отдельном репозитории, вместе с историческими данными (несколько циклов /точек восстановления). Третья – на нашей удаленной площадке.
В 2021 году мы подключили к ИТ-инфраструктуре еще одну площадку клиента. На ней тоже были физические серверы, а работала она на гиперконвергентной платформе Nutanix, которая объединяет вычислительные ресурсы и корпоративную систему хранения данных.
Такое решение позволило заказчику упростить администрирование, сэкономить на SAN и СХД, а также с легкостью добавлять блоки для расширения при возникновении такой необходимости.
Организация инфраструктуры клиента и связности между ее компонентами представлена на схеме:
Вместе с клиентом мы разработали регламент резервного копирования. По итогам каждого месяца готовили отчет:
сколько машин забэкаплено,
по какому плану бэкапа,
какова политика хранения на каждый из планов бэкапа.
Система работала в штатном режиме, пока в 2022 году не наступил переломный момент.
Почему срочно понадобилась миграция
CommVault перестал поддерживать в России программу для сервис-провайдеров. В июле 2022 года мы получили письмо, что она действует только до октября и больше продлеваться не будет.
У нас было три месяца для миграции на другой софт резервного копирования. Первым делом мы стали искать замену на российском рынке. Однако текущие продукты не удовлетворяли всем требованиям клиента, в том числе по совместимости с Nutanix и IBM AIX.
Тогда мы обратились к другому иностранному партнеру – Veeam Software. Вместе с клиентом мы приняли решение о миграции всей системы резервного копирования на Veeam.
Перед нами стояли задачи:
поднять сетевую связность для нового решения;
перенести все задания резервного копирования с учетом специфики работы Veeam и отразить все требования в регламенте резервного копирования;
настроить восстановление по расписанию;
проверить работоспособность нового решения.
Как мы планировали провести миграцию
В штате у клиента не было инженеров по резервному копированию: эту услугу они полностью отдают на аутсорс. С нашей стороны в проекте участвовали менеджер проекта, сетевой инженер и инженер по резервному копированию.
На стороне заказчика главным контактным лицом был начальник службы обслуживания, который при необходимости привлекал коллег нужного направления.
Мы запланировали и согласовали с заказчиком два этапа работ:
Выполняем резервное копирование всех имеющихся данных – максимально быстро и с минимальным участием клиента. Просто переносим резервную копию с одной системы на другую.
Обновляем СХД, которые находятся на площадках клиента, под новую систему резервного копирования с необходимыми заданными показателями производительности.
Мы приступили к первому этапу ― и сразу уперлись в ограничения платформы. Искали способы, чтобы их преодолеть. Расскажем о ключевых решениях.
Обеспечили сетевую связность
Она уже была настроена между облаком и площадками клиента. Но теперь ее предстояло организовать по-новому: на всех пограничных межсетевых экранах ввести правило для системы резервного копирования для новых IP-адресов серверов и инфраструктуры.
Согласно регламенту клиента, все изменения нужно было вносить через зарубежную штаб-квартиру компании. Мы создавали тикеты, а выполняли их иностранные коллеги через Changed Requests в отведенный интервал времени.
Если они находили в тикете ошибку или что-то было непонятно, работы останавливались. Мы не могли оперативно связаться с коллегами и даже промониторить, корректно или нет завели правило.
У вендора на сайте размещен список портов с описаниями для открытия доступа. Но этой информации оказалось недостаточно: необходимо было составить документ, в котором описать, от кого конкретно, куда конкретно, какой порт и т.п.
Пришлось потрудиться, зато итогом стала огромная таблица портов с четкими инструкциями, какой доступ куда открывать:
Иностранные коллеги вносили изменения. Мы тестировали связность. Если находили ошибки, отправляли повторные тикеты. Если обнаруживали, что какого-то компонента нет в таблице, запрашивали открытие дополнительных портов.
Увеличили пропускную способность
Оказалось, что Veeam при транспортировке меньше сжимает данные, чем CommVault. Соответственно, передаются большие объемы – сейчас мы бэкапим около 100 Тб данных. Ширину канала мы увеличили практически в 3 раза.
Изменили регламент резервного копирования
При выборе типа резервного копирования необходимо учитывать ряд факторов: план аварийного восстановления (RTO и RPO), объем хранилища резервных копий, пропускную способность сети передачи данных, вычислительные ресурсы оборудования и т.д.
У Veeam для Nutanix предусмотрен единственный тип бэкапа – Forever Forward Incremental Backup, поэтому при миграции на Veeam нам пришлось внести изменения в регламент резервного копирования и привести его к следующему виду:
Как следует из названия бэкапа, всегда создается прямая цепочка резервного копирования. Первый раз проводится полный бэкап.
Во время следующих сеансов копируются только новые и измененные блоки данных. Каждая новая точка восстановления добавляется в цепочку резервного копирования. И так до следующего полного бэкапа. Когда истечет срок хранения, инкрементные резервные копии удаляются.
Такой способ экономит место на сервере и значительно ускоряет процесс резервного копирования, однако количество точек восстановления ограничено.
Настроили ПО и процесс эксплуатации системы
Для восстановления данных с виртуальной машины Nutanix используется FLR-хелпер – специализированное ПО Veeam. Оно позволяет восстанавливать отдельные файлы и папки, а также монтировать резервные копии в файловые системы той машины, которая работает в данный момент.
При миграции с этим механизмом возникли две проблемы:
В документации Veeam описаны не все порты, которые нужны FLR-хелперу. Пришлось тоже тестировать их самим и прописывать через тикеты.
Мы нашли баг – после восстановления файлов FLR-хелпер не всегда удаляется автоматически. А если не убрать его вручную, то последующее восстановление невозможно. Мы не смогли изменить настройки хелпера, но нашли, как обойти ограничение.
По запросу клиента мы полностью взяли на себя поддержку развернутой инсталляции, включая мониторинг и регулярные обновления ПО. Это позволило ИТ-специалистам клиента снять с себя задачи по эксплуатации системы резервного копирования.
Какие результаты получили
Миграция с платформы CommVault на Veeam оказалась довольно трудоемким и нестандартным проектом. В результате мы приобрели ценный опыт, а клиент получил:
Готовую частную инсталляцию резервного копирования, настроенную под специфические особенности ИТ-инфраструктуры компании.
Надежную защиту информации для непрерывности бизнес-процессов: данные сохраняются и всегда могут быть восстановлены.
Аутсорсинг поддержки системы резервного копирования, высвобождающий ИТ-специалистов для фокусирования на ключевых бизнес-задачах.
А вы решали вопросы переезда СРК в связи с последними событиями? Поделитесь в комментариях.