Резервное копирование *

Начну свой рассказ фразой, которая оправдывает себя на все 100: «Если информация не сохранена в трёх местах – её не существует». Не помню, сказал это кто-то из великих или это народная поговорка, но неоднократно убеждался на своём опыте и опыте знакомых в её точности.

Рассмотрим варианты хранения от облачных сервисов до физических носителей дома в тумбочке.

Сразу обозначу о хранимых данных: не будем углубляться в сам материал хранения (для кого-то фото с таранкой из 90х важнее, чем чёрная бухгалтерия тёти Светы). Обобщим хранение важных для каждого электронных данных.

Intro

16 июля 2020 года Европейский Суд (CJEU) обнародовал свое решение по делу C-311/18, известное как Schrems II. CJEU постановил, что EU-U.S. Privacy Shield должен быть признан недействительным. В свою очередь, Standard Contractual Clauses (SCCs), юридический инструмент, который позволяет осуществлять передачу данных из ЕС в третьи страны, признан действительным.

EU-U.S. Privacy Shield

EU-U.S. Privacy Shield был механизмом “адекватности”, который позволял организациям, которые придерживались регулирующих принципов, передавать персональные данные из ЕС в США.

Что дальше?

На момент написания данной статьи, вердикт CJEU оставляет передачу данных из ЕС в США в подвешенном состоянии. Очевидно, что Privacy Shield больше не может быть использован, но остается много вопросов относительно того, остаются ли SCC действительными для передачи данных между ЕС и США или другими странами с эффективными национальными системами надзора.

FAQs:

Когда мы сталкиваемся с неким программным продуктом, с которым нам предстоит взаимодействовать, сценарий взаимодействия мы вольны выбирать сами. Можно героически изобретать велосипед, а можно понадеяться, что авторы несколько лучше, чем мы, знают свой продукт, поэтому предоставляемый ими API (или набор библиотек) является оптимальным решением. На практике, к сожалению, не всё так радужно, но сегодня не об этом.

Для работы со своей дисковой подсистемой VMware уже много лет предоставляет VDDK — развесистый набор библиотек, документации и примеров кода, с помощью которых ваше приложение может работать с дисками виртуальных машин. Само собой мы в Veeam очень не любим изобретать ненужные велосипеды, поэтому VDDK в наших продуктах используется крайне активно.

Но это всё никак не влияет на количество клиентов, которые считают, что работать с дисками можно ещё быстрее, а все предлагаемые тесты производительности показывают априори неверные результаты. Вот в такие моменты нам на помощь и приходит ультимативное оружие — VixDiskLibSample.

Систем резервного копирования множество, но что делать, если обслуживаемые сервера разбросаны по разным регионам и клиентам и нужно обходиться средствами операционной системы?



Добрый день, Habr!
Меня зовут Наталья. Я тимлид группы администраторов приложений в НПО «Криста». Мы Ops для группы проектов нашей компании. У нас довольно своеобразная ситуация: мы устанавливаем и сопровождаем наше ПО как на серверах нашей компании, так и на серверах, расположенных у клиентов. При этом бэкапить сервер целиком нет необходимости. Важны лишь «существенные данные»: СУБД и отдельные каталоги файловой системы. Конечно, клиенты имеют (или не имеют) свои регламенты резервного копирования и часто предоставляют некое внешнее хранилище для складывания туда резервных копий. В этом случае после создания бэкапа мы обеспечиваем отправку во внешнее хранилище.

Какое-то время для целей бэкапа мы обходились bash-скриптом, но по мере разрастания вариантов настроек пропорционально росла и запутанность этого скрипта, и в один прекрасный момент мы пришли к необходимости его «разрушить до основанья, а затем....».

Вы уже теряли важные электронные письма? Помните это ощущение легкого ужаса, нарастающего по мере того, как проваливается попытка за попыткой восстановления? Сделать электронную почту абсолютно неуязвимой вряд ли получится, а вот процесс восстановления облегчить можно. Меня зовут Николай Ляшук, и сегодня я поделюсь опытом адаптации нового инструмента бэкапа корпоративной почты в Linxdatacenter.

В современном мире наиболее ценным активом является информация. Информация помогает оптимизировать бизнес-процессы, анализировать рынок и принимать стратегически важные решения, определяющие будущее вашей компании, и даже выстраивать доверительные отношения с клиентами, повышая их лояльность. Однако по мере роста объема обрабатываемых данных любое предприятие неизбежно сталкивается с проблемой нехватки места для их хранения. В ситуациях, когда на первый план выходят не вычислительные мощности, а объем доступного дискового пространства, наиболее рентабельным решением для масштабирования IT-инфраструктуры оказываются дисковые полки JBOD. Именно о них мы и поговорим в сегодняшнем материале.

Всем привет. В рамках проекта от компании Acronis со студентами Университета Иннополис (подробнее о проекте мы уже описали это тут и тут) мы изучали последовательность загрузки операционной системы Windows. Появилась идея исполнять логику даже до загрузки самой ОС. Следовательно, мы попробовали написать что-нибудь для общего развития, для плавного погружения в UEFI. В этой статье мы пройдем по теории и попрактикуемся с чтением и записью на диск в pre-OS среде.

10 июля 2020 года австрийская компания Proxmox Server Solutions GmbH представила публичную бета-версию нового решения по резервному копированию.

Мы уже рассказывали, как использовать штатные методы бэкапа в Proxmox VE и выполнять инкрементальный бэкап с помощью стороннего решения — Veeam® Backup & Replication™. Теперь же, с появлением Proxmox Backup Server (PBS) процесс резервного копирования должен стать удобнее и проще.

Привет, Хабр!

Сегодня я хочу рассказать о нашем опыте автоматизации резервного копирования больших данных хранилищ Nextcloud в разных конфигурациях. Я работаю СТО в «Молния АК», где мы занимаемся конфигурационным управлением IT систем, для хранения данных используется Nextcloud. В том числе, с распределенной структурой, с резервированием.

Проблемы вытекающие из особенностей инсталляций в том, что данных много. Версионирование которое дает Nextcloud, резервирование, субъективные причины, и другое создает много дублей.

Предыстория

При администрировании Nextcloud остро встает проблема организации эффективного бэкапа который нужно обязательно шифровать, так как данные ценны.

Мы предлагаем варианты хранения бэкапа у нас или у заказчика на его отдельных от Nextcloud машинах, что требует гибкого автоматизированного подхода к администрированию.

Клиентов много, все они с разными конфигурациями, и все на своих площадках и со своими особенностями. Тут стандартная методика когда вся площадка принадлежит тебе, и бэкапы делаются из крона подходит плохо.

Для начала посмотрим на вводные данные. Нам нужно:

• Масштабируемость в плане одна нода или несколько. Для крупных исталляций мы используем в качестве хранилища minio.
• Узнавать о проблемах с выполнением бэкапа.
• Нужно хранить бэкап у клиентов и/или у нас.
• Быстро и легко разбираться с проблемами.
• Клиенты и установки сильно отличаются один от другого — единообразия добиться не получается.
• Скорость восстановления должна быть минимальна по двум сценариям: полное восстановление (дизастер), одна папка — стерто по ошибке.
• Обязательна функция дедупликации.

Для решения задачи управления бекапами мы прикрутили GitLab. Подробнее подкатом.

Несмотря на все карантинные перипетии, дата-центры продолжают работать. Причем с большей нагрузкой, чем раньше, ведь объем интернет-трафика значительно вырос. Какие жесткие диски справятся с работой лучше всего, в очередной раз выяснила компания Backblaze. Известный облачный сервис хранения данных выпустил отчет о надежности HDD — за I квартал 2020 года.

Количество HDD у Backblaze постоянно увеличивается. На момент формирования отчета в распоряжении компании 132 339 дисков. Из них 2 380 — загрузочные, 129 959 — диски для хранения данных. В отчете отображается статистика по отказам дисков разных компаний и разной емкости.

Уже давно известно, что делать бэкапы в SQL-дампы (используя pg_dump или pg_dumpall) – не самая хорошая идея. Для резервного копирования СУБД PostgreSQL лучше использовать команду pg_basebackup, которая делает бинарную копию WAL-журналов. Но когда вы начнёте изучать весь процесс создания копии и восстановления, то поймёте что нужно написать как минимум пару трёхколёсных велосипедов, чтобы всё это работало и не вызывало у вас боль как сверху, так и снизу. Дабы облегчить страдания был разработан WAL-G.

WAL-G – это инструмент, написанный на Go для резервного копирования и восстановления PostgreSQL баз данных (а с недавнего времени и MySQL/MariaDB, MongoDB и FoundationDB). Он поддерживает работу с хранилищами Amazon S3 (и аналогами, например, Yandex Object Storage), а также Google Cloud Storage, Azure Storage, Swift Object Storage и просто с файловой системой. Вся настройка сводится к простым шагам, но из-за того что статьи о нём разрозненны по интернету – нет полного how-to мануала, который бы включал все шаги от и до (на Хабре есть несколько постов, но многие моменты там упущены).

Capacity Tier (или как мы называем его у себя внутри вима — каптир) появился ещё во времена Veeam Backup and Replication 9.5 Update 4 под именем Archive Tier. Заложенная в него идея — это дать возможность перемещать бекапы, которые выпали из так называемого operational restore window, на объектные хранилища. Это помогало расчищать дисковое пространство тем пользователям, у которых его было мало. А называлась сия опция Move Mode.

Для выполнения этого нехитрого (как кажется) действия достаточно было соблюсти два условия: все точки из перемещаемого бекапа должны быть за границами вышеназванного operational restore window, которое задаётся в явном виде в UI. И второе: цепочка должна быть в так называемом «запечатанном виде»(sealed backup chain или Inactive Backup Chain). То есть с течением времени в этой цепочке не происходит изменений.

Но в VBR v10 концепция дополнилась новыми функциями — появился Copy Mode, Sealed Mode и штука со сложновыговариваемым названием  Immutability.

Вот об этих увлекательных вещах мы сегодня и поговорим. Сначала о том, как это работало в VBR9.5u4, а потом об изменениях в десятой версии.



И да простят меня поборники чистого языка, но слишком много терминов невозможно перевести.
Так что здесь будет тьма англицизмов.
И много гифок.
И картинок.

• Без малейших сожалений. Автор статьи.

В нынешние времена радуют и стабильность, и новизна. Тут Veeam верен себе: продукты релизятся согласно плану, а инженеры разрабатывают новые решения, среди которых Veeam Backup for Microsoft Azure, который увидел свет несколько недель назад. В прошлом посте мой коллега Loxmatiymamont уже рассказывал о его преимуществах и принципах работы, а сегодня мы рассмотрим процедуры развертывания и настройки нового решения.



Как вы помните, этот продукт предназначен для резервного копирования виртуальных машин, развернутых в облаке Microsoft Azure. Он помогает безопасно и эффективно бэкапить облачные инфраструктуры, а при необходимости и быстро их восстанавливать. Поддерживается интеграция с Veeam Backup & Replication — так что в организациях, работающих с гибридной инфраструктурой, можно развернуть практически целую платформу для работы с виртуальными и физическими машинами как в облаке, так и на своих мощностях.

За подробностями добро пожаловать под кат.

В июньской серии технических вебинаров Hewlett Packard Enterprise мы расскажем вам об актуальных решениях для резервного копирования данных, возможностях экономии на ИТ-инфраструктуре с оплатой по мере потребления, лучших способах хранения VEEAM, защите данных, системе хранения данных для выполнения критически важных задач и не только.

Зарегистрироваться и узнать подробнее о каждом вебинаре вы можете ниже. Полный список вебинаров доступен по ссылке.

Злоумышленники продолжают эксплуатировать тему COVID-19, создавая все новые и новые угрозы для пользователей, живо интересующихся всем, что касается эпидемии. В прошлом посте мы уже говорили о том, какие разновидности вредоносного ПО появились на волне коронавируса, а сегодня речь пойдет о приемах социальной инженерии, с которыми уже столкнулись пользователи в разных странах, а том числе и в России. Общие тенденции и примеры — под катом.

Как-то я попал под удачную раздачу Яндексом облачного хранилища и заполучил в свое владение 1 Тб. Первое что у меня возникло в голове — это засунуть туда свою iPhoto медиатеку. Живет она у меня на внешнем харде и объем ни много, ни мало — 800 Гб! Казалось бы чего сложного — взял да залил в облако, но…

Информация, загруженная в облако, уже никуда и никогда оттуда не пропадет! Именно так можно сформулировать одну из популярнейших IT легенд, восхваляющую незыблемость облаков и суляющую наступление всеобщего счастья от миграции с банальных on-premise серверов.
Однако на деле всё совершенно не так, и к угрозе потери данных в облаках надо относиться не менее серьёзно, чем к хранящимся на грешной земле. Вот об этом мы сегодня и поговорим: почему облака теряют данные, рассмотрим на примере Azure, какие варианты бекапов нам предлагают облачные вендоры, а на примере Veeam — как эти процессы можно улучшить.

Темой настоящей статьи является подключение к Маку внешних устройств по интерфейсам SAS, Fibre Channel (FC), eSATA. Сразу оговоримся, что для решения задачи доступа к таким устройствам существует путь здорового человека: собрать дешёвый PC, воткнуть туда карту контроллера HBA SAS или FC (например, простейший адаптер LSI), подключить к этому контроллеру свои устройства, установить на PC любой линукс и работать с Мака через сеть. Но это банально и неинтересно. Мы пойдём путём хардкора и будем подключать свои устройства непосредственно к Маку.

По прогнозам IDC, к 2025 году общий объем данных, хранящихся в организациях здравоохранения, вырастет до 2,3 зеттабайт, причем на долю различных медицинских снимков будет приходиться до 80-90% используемой емкости систем хранения. О том, насколько важно эффективное хранение медицинских снимков, говорит следующий пример.

Защита данных предполагает наличие бэкапа — резервных копий, из которых можно выполнить их восстановление. Для большинства компаний и организаций резервное копирование данных относится к числу наиболее важных приоритетов. Около половины компаний работают со своими данными как со стратегическим активом. И ценность хранимых данных постоянно растет. Их используют для повышения качества обслуживания клиентов, поддержки текущей деятельности, исследований и разработок, учета, они задействованы в системах автоматизации, интернета вещей, искусственного интеллекта и др. Поэтому задача защиты данных от аппаратных сбоев, человеческих ошибок, вирусов и кибератак становится крайне актуальной.

В мире наблюдается рост киберпреступности. В прошлом году более 70% компаний подверглись кибератакам. Компрометация персональных данных клиентов и конфиденциальных файлов может иметь серьёзные последствия и приводить к огромным убыткам.