Как стать автором
Обновить
1.75

Восстановление данных *

Резервное копирование и восстановление данных

Сначала показывать
Порог рейтинга
Уровень сложности

Реализация резервного копирования на хардлинках под Windows

Время на прочтение4 мин
Количество просмотров21K
Идеей написания этой статьи и создания программы в частности послужил рассказ Oleg_Sh о том, как он из подручных инструментов создал средство для резервного копирования, которое использует хардлинки как замену дублирующихся файлов. Эта идея оказалась настолько простой и гениальной, и всегда лежала на поверхности, что было решено — нужно и себе прикрутить такую штуку. Тем более мне нужна была очень похожая функциональность и я время от времени искал что-то очень простое на замену платным или громоздким комбайнам, которые к тому же не делали именно то, что требовалось для моих задач.

А требовалось не так уж много — во-первых в любой момент времени копировать любые файлы, в том числе работающие базы данных, чтобы не заставлять людей выходить из программ даже на ночь, и копировать быстро; во-вторых иметь возможность очень быстро восстановить данные из резервной копии (хранение данных «как есть» идеально), в третьих хранить как можно больше резервных копий, и не лишь бы как, а с полной структурой данных. Все эти задачи как нельзя лучше реализуются с помощью теневого копирования и использования хардлинков. Но вот та реализация — на куче батников и с использованием портированной версии rsync (которая к тому же требовала кучу библиотек cygwin и имела проблемы с нестандартными символами), мне совсем не понравилась. Стал искать альтернативы, но найти именно то, что подходило бы мне идеально, не удалось. Поэтому было решено — нужно сделать проще и лучше, и не только себе, но и коллегам.
Читать дальше →
Всего голосов 23: ↑20 и ↓3+17
Комментарии20

Резервное копирование на хардлинках под Windows

Время на прочтение9 мин
Количество просмотров71K
Я, как и многие, задумывался о бэкапах. Неспешно думал-думал, рассматривал разные варианты, пока не сгорел винчестер на ноутбуке жены. Это печальное событие подстегнуло мою активность, результат которой хочу представить в этой статье.

Речь пойдет о резервном копировании. Я буду подробно обсуждать именно свою задачу. Возможно, у кого-то обстоятельства чем-то отличаются, но и таких как я должно быть достаточно много. Поэтому, надеюсь, мои советы окажутся полезными большому числу людей.
Читать дальше →
Всего голосов 44: ↑31 и ↓13+18
Комментарии81

Бэкап большого количества мелких файлов

Время на прочтение3 мин
Количество просмотров40K
Рано или поздно настройкой резервного копирования рабочих файлов озадачивается любой уважающий себя современный IT специалист. После ряда опечаток/ошибок программистов нашлось время для этого и у меня.
Специфика веб-приложения такова, что рабочий каталог занимает более 50ГБ на жестких дисках, включая в себя около 900 тысяч мелких файлов (картинки, превьюшки, ...). Поэтому в лоб решить задачу с помощью tar и аналогов не вышло. Да и хотелось бы иметь некоторую вариативность хранимых данных, а в случае с полным бэкапом реализация требовала больших затрат на хранение по сути одинаковых данных с небольшими изменениями. Плюс неплохо было бы дублировать копии на удаленном сервере бэкапов для снижения риска потери критической информации в результате краха железа. После скрупулезного анализа поисковых выдач и отбрасывания заведомо неподходящих мне методов, остановился на паре вариантов, навязываемых чаще всего в комментариях к самописным shell-велосипедам энтузиастов.
Читать дальше →
Всего голосов 30: ↑30 и ↓0+30
Комментарии45

Случай в Pixar или еще раз о важности тестирования резервных копий

Время на прочтение6 мин
Количество просмотров54K
1998 год, Студия Pixar. Полным ходом идет создание «Истории игрушек 2». В процессе участвует более 150 человек. Размер исходных материалов анимации составляет 10 ГБ (по тем временам это очень много). Каждый день строится полный бэкап на ленту. Кассета имеет размер… 4ГБ (данные при записи на ленту сжимаются, но, конечно, не до такой степени). Каждый раз выдается ошибка, но этого никто не замечает, потому что лог-файл располагается на этой же кассете и пишется в самом конце бэкап-задания, а, поскольку места на кассете уже нет, он имеет размер 0 байт. Каждую неделю проводится тестовое восстановление данных, в ходе которого проверяются первые 2000 кадров анимации. И, конечно, каждый раз тест проходит успешно.

… А потом вдруг наступил день, когда кто-то из сотрудников (ошибочно или намеренно) запустил на сервере команду "/bin/rm -r -f *" (или аналогичную), которая удалила 90% из 100,000 файлов исходников анимации. Один из сотрудников компании, Ларри Катлер, как раз просматривал файлы папки с исходниками анимации, собираясь откорректировать что-то в модели шляпы персонажа Вуди, как вдруг он заметил, что файлов в папке осталось всего 40… потом 4… а еще через секунду их там не осталось вовсе. Ларри позвонил в ИТ службу и сообщил, что "произошла масштабная потеря данных", и что "восстановление потребует полную резервную копию..." Которой, как выяснилось чуть позже, у них не было, несмотря на ежедневный бэкап.

Читать дальше →
Всего голосов 55: ↑46 и ↓9+37
Комментарии18

Истории

Архитектура BigData-инфраструктуры сервиса Pandorama и защита ее данных от сбоев

Время на прочтение8 мин
Количество просмотров10K

Если мантра Google звучит как “поиск всей информации в мире одним кликом”, то мантра молодого российского проекта Pandorama идет дальше: “найдем без клика всю интересную вам информацию”.



Приложение Pandorama предлагает своим пользователям “бесконечную” персонализированную ленту новостей, составленную на основе их личных информационных предпочтений, не требуя при этом от читателя работы с “тегами”, “категориями” или “лайками” друзей. Сначала нужно ответить на пару вопросов про несколько забавных панд, а потом нужно просто… читать предлагаемую ленту. Те новости, которые вы прочитали, будут автоматически анализироваться и обрабатываться системой, с тем, чтобы в дальнейшем такого рода новостей в ленте становилось все больше, а тех новостей, которые не вызвали у вас интереса – все меньше.



Pandorama

Pandorama уже объединяет более 40 тыс. пользователей по всему миру, и это число постоянно растет. В данной статье рассматривается BigData-инфраструктура этого проекта, функционирующая в режиме 24x7, механизмы обеспечения ее отказоустойчивости, и защита ее данных от сбоев, построенная с использованием Veeam Backup & Replication Cloud Edition.


Читать дальше →
Всего голосов 24: ↑21 и ↓3+18
Комментарии25

Veeam Backup Free Edition v7 – обзор новой версии

Время на прочтение6 мин
Количество просмотров31K

Год назад мы делали обзор бесплатного инструмента для резервного копирования виртуальных машин (ВМ) и их управления в VMware и Hyper-V – Veeam Backup Free Edition. Недавно состоялся выпуск версии 7.0 с новыми фичами и улучшениями. В этом посте я хочу рассмотреть те функции, которые показались мне наиболее интересными.


Бесплатный Veeam Backup Free Edition v7 – обзор новой версии

Для начала я хочу отметить три главные функции:



  • VeeamZIP – позволяет создать резервную копию работающей ВМ без ее отключения, например, для того, чтобы перенести ВМ и файлы на другой хост.
  • Восстановление из резервных копий – покрывает большое кол-во сценариев восстановления, включая ВМ целиком, файлы гостевой ОС или отдельные объекты приложений.
  • Quick Migration для VMware – позволяет мигрировать работающую ВМ между хостами и/или хранилищами с минимальным временем простоя без использования кластеров и общих хранилищ даже при отсутствии VMware vMotion и vStorage Motion.

Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии13

Правило резервного копирования «3-2-1». Часть 2

Время на прочтение6 мин
Количество просмотров31K

В первой части данной статьи мы рассказали про правило резервного копирования «3-2-1». Теперь мы приглашаем посмотреть вторую часть статьи, содержащую запись нашего полуторачасового вебинара, подготовленного в формате whiteboarding сессии (то есть никаких PowerPoint слайдов — будет только наш эксперт и презентационная доска), на которой он шаг за шагом показывает какие проблемы встречаются у компаний в области резервного копирования, и как правило «3-2-1» можно реализовать на практике на примере продукта Veeam Backup & Replication. Помимо записи вебинара в статье приводятся ответы на наиболее актуальные вопросы, заданные участниками в ходе его онлайн-трансляции.




Читать дальше →
Всего голосов 10: ↑8 и ↓2+6
Комментарии0

Правило резервного копирования «3-2-1». Часть 1

Время на прочтение4 мин
Количество просмотров121K
Считается, что бэкап-правило «3-2-1» впервые описал Peter Krogh в своей книге «Управление цифровыми активами для фотографов». И это, наверное, неудивительно, так как потеря личного архива означает для профессионального фотографа полную катастрофу, и он просто обязан придерживаться такой стратегии резервного копирования, которая гарантировано защитит его от потери данных.



Итак, правило «3-2-1» гласит, что для обеспечения надежного хранения данных, необходимо иметь как минимум:
  1. ТРИ резервные копии,
  2. которые должны быть сохранены в ДВУХ различных физических форматах хранения,
  3. причем ОДНА из копий, должна быть передана на внеофисное хранение

Все три составляющих правила базируются на принципе обеспечения отказоустойчивости через избыточность хранения данных.
Читать дальше →
Всего голосов 18: ↑18 и ↓0+18
Комментарии17

Veeam Backup & Replication: советы и рекомендации. Часть 2

Время на прочтение4 мин
Количество просмотров23K

В прошлой статье я рассказал про преимущества/недостатки и способы улучшения работы по резервному копированию через технологию прямого доступа к SAN – Direct SAN Access. Сегодня продолжим наш рассказ.



Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии0

Передача резервных копий на внеофисное хранение: WAN акселератор в Veeam Backup & Replication v7

Время на прочтение3 мин
Количество просмотров9.6K

В новой версии Veeam Backup & Replication v7, которая будет выпущена уже через пару месяцев, будет встроен WAN акселератор, специально оптимизированный под передачу резервных копий через WAN. Когда вы делаете копирование бэкап файлов за пределы офиса, вы значительно увеличиваете надежность системы хранения данных, однако одновременно сильно увеличиваете нагрузку на свой WAN канал, что выражается, прежде всего, в значительном увеличении времени резервного копирования. WAN акселератор позволяет эффективнее передавать данные даже через медленные соединения за счет применения следующих алгоритмов работы:
  1. передача только измененных данных (все данные разделяются на блоки, и через WAN передаются только измененные блоки)
  2. глобальный кеш блоков данных (то есть кеш, охватывающий все имеющиеся виртуальные машины), позволяет передавать хеши ранее переданных блоков, вместо данных самих блоков
  3. сжатие сетевого трафика и дедубликация данных с переменной длиной блока
  4. мультипоточные параллельные TCP/IP соединения для увеличения скорости передачи данных и другие TCP/IP оптимизации под соединения с большим временем отклика, характерным для WAN сетей
  5. автоматическое возобновление прерванных соединений

Читать дальше →
Всего голосов 7: ↑7 и ↓0+7
Комментарии0

Восстановление после сбоев: «Сетевая Песочница» на базе vSphere и Hyper-V в Veeam Backup & Replication v7

Время на прочтение3 мин
Количество просмотров7.2K
В процессе обеспечения защиты данных от сбоев важно проводить регулярный контроль резервных копий на предмет возможности полноценного восстановления системы из них. При этом не достаточно просто проверить контрольную сумму резервной копии (так как, например, корректная контрольная сумма не гарантирует наличие всех данных, логически необходимых для работы приложений),- необходимо выполнить полномасштабное тестовое восстановление (иногда с зависимыми компьютерами, например, контроллер домена + Exchange сервер), чтобы убедиться, что система действительно восстанавливается полностью корректно.

При этом, восстанавливать машины в сеть компании нужно продуманно и осторожно — скорее всего возникнут конфликты между оригинальной и восстановленной (тестовой) машинами, если они будут функционировать в рамках одного сетевого пространства (могут быть конфликты на уровне IP, DNS, домена и приложений).

Какие же технологии могут помочь администратору в этом вопросе, применительно к резервному копированию и восстановлению виртуальных машин?
Читать дальше →
Всего голосов 5: ↑4 и ↓1+3
Комментарии2

Veeam Backup & Replication: советы и рекомендации. Часть 1

Время на прочтение4 мин
Количество просмотров37K
17 мая в Москве прошел очередной VMware Users Community Group. Компания Veeam, как обычно, не прошла это мероприятие стороной. Я собирался рассказать презентацию о том, как учесть все аспекты для правильного построения системы резервного копирования на базе ПО Veeam Backup & Replication – по мотивам прошлогодней презентации на VMworld.

Но уже после подготовки всех слайдов, я понял, что тема достаточно обширна, чтобы вместиться в рамки короткой презентации. Да и сам формат презентационных слайдов не очень подходит для нее. Плюс не хотелось загружать людей текстом. В-общем, в самый последний момент перед началом выступления, получив несколько вопросов по новшествам версии 7, я поменял тему презентации на «История Veeam Backup & Replication», где рассказал о том что было, что у нас есть сейчас, и что планируем сделать в ближайшей версии.

Тема, как настроить Veeam Backup осталась актуальна. К тому же во время выступления, и намного больше – после него, я получал технические вопросы, которые и собираюсь осветить в серии статей. А самое главное – задавайте вопросы здесь, в комментариях, и мы на них обязательно ответим.

Прежде чем перейти к сегодняшней теме, отмечу один вопрос, заданный мне на форуме VMUG. Когда Veeam Backup будет бэкапить данные не через снапшоты VMware, а «железные» снапшоты СХД? На тот момент я не мог озвучить, но сейчас в полной мере отвечаю: c версии 7 Veeam Backup будет уметь копировать данные из SAN снапшотов. На начальном этапе будет осуществляться поддержка оборудования HP: LeftHand (включая VSA) и 3PAR.
Принцип прост: уже сейчас есть Veeam Explorer for SAN Snapshots, позволяющий вытаскивать данные из снапшотов. С помощью этой технологии и VMware Changed Block Tracking (CBT), Veeam Backup будет инкрементально доставать данные уже для резервных копий.

А теперь перейдем к первой части советов:
Читать дальше →
Всего голосов 2: ↑2 и ↓0+2
Комментарии1

Практические рекомендации по политике резервного копирования

Время на прочтение10 мин
Количество просмотров38K

Сегодня я хочу затронуть вопрос о некоторых важных принципах процедуры резервного копирования и восстановления после сбоев. В частности будут рассмотрены такие вопросы как:
  1. Взаимосвязь процедур обновлений продуктивной системы и процесса ее резервного копирования
  2. Тестирование восстановления из резервных копий
  3. Взаимодействие бэкап-процесса с элементами сетевой инфраструктуры продуктивной сети
  4. Документирование процедуры восстановления после сбоев

Читать дальше →
Всего голосов 5: ↑5 и ↓0+5
Комментарии2

Ближайшие события

19 августа – 20 октября
RuCode.Финал. Чемпионат по алгоритмическому программированию и ИИ
МоскваНижний НовгородЕкатеринбургСтавропольНовосибрискКалининградПермьВладивостокЧитаКраснорскТомскИжевскПетрозаводскКазаньКурскТюменьВолгоградУфаМурманскБишкекСочиУльяновскСаратовИркутскДолгопрудныйОнлайн
3 – 18 октября
Kokoc Hackathon 2024
Онлайн
10 – 11 октября
HR IT & Team Lead конференция «Битва за IT-таланты»
МоскваОнлайн
25 октября
Конференция по росту продуктов EGC’24
МоскваОнлайн
7 – 8 ноября
Конференция byteoilgas_conf 2024
МоскваОнлайн
7 – 8 ноября
Конференция «Матемаркетинг»
МоскваОнлайн
15 – 16 ноября
IT-конференция Merge Skolkovo
Москва
25 – 26 апреля
IT-конференция Merge Innopolis 2025
Иннополис

Rick Byrne: Обзор Veeam Backup & Replication Cloud Edition

Время на прочтение8 мин
Количество просмотров4.3K
В последние несколько ночей у меня нашлось немного свободного времени, и я решил разнообразить свои будни изучением в своей лаборатории нового продукта от Veeam. Veeam Backup Cloud Edition — это продукт, который дает возможность перемещать локальные резервные копии за пределы офиса, — в любое из 15 популярных облачных хранилищ, или в произвольное облачное хранилище, поддерживающее OpenStack, или даже просто на любые файловые сервера, расположенные внутри или вне офиса. Что это дает с практической точки зрения? --Экономически оптимальное решение для внеофисного хранения резервных копий виртуальных сред на базе VMware или Hyper-V, и, при этом, не требующее пересмотра существующих процессов локального внутриофисного резервного копирования.
Читать далее обзор продукта...
Всего голосов 6: ↑2 и ↓4-2
Комментарии6

Особенности долгосрочного хранения резервных копий

Время на прочтение5 мин
Количество просмотров15K

В соответствии с законодательными требованиями, отраслевыми нормативами и корпоративными политиками от компании могут требоваться длительные сроки хранения корпоративной информации (5, 10 и даже 30 лет). На что нужно обратить особое внимание в таком случае?

При планировании долгосрочного резервного копирования нужно учитывать, что срок уничтожения хранящихся резервных копий будет превышать срок плановой замены оборудования и программного обеспечения в компании. Следовательно, в процессе планирования стратегии резервного копирования нужно принимать в расчет сценарий, когда может потребоваться восстановить информацию с архивного носителя, данные на который были записаны, скажем, 10 лет назад, а соответствующего оборудования уже давно нет в наличии. Рассмотрим некоторые проблемы, которые могут появляться на таких больших временных интервалах.
Читать дальше →
Всего голосов 10: ↑8 и ↓2+6
Комментарии4

Вышел Veeam Backup Cloud Edition с поддержкой Azure, Amazon, Google, HP Cloud и ряда других облачных платформ

Время на прочтение2 мин
Количество просмотров5.5K
Вышел Veeam Backup Cloud Edition — продукт для резервного копирования виртуальных сред VMware vSphere и Microsoft Hyper-V, который позволяет выполнять резервное копирование в любую из лидирующих в настоящий момент облачных платформ, поддерживающих OpenStack, таких как Windows Azure, Amazon S3, Amazon Glacier, Google, Rackspace, HP Cloud и ряда других (всего 15 платформ). В таком сценарии облако может выступать в роли альтернативы лентам и внеофисному хранению резервных копий, так как среднегодовая отказоустойчивость такого облачного хранилища, как, например, Amazon Glacier составляет 99.999999999%.
Читать дальше →
Всего голосов 11: ↑8 и ↓3+5
Комментарии5

Интервью с Глебом Будманом, кофаундером сервиса онлайн-бекапа Backblaze.com и резидентом Кремниевой долины

Время на прочтение1 мин
Количество просмотров4.3K
Глеб основатель нескольких удачных стартапов. Его история и опыт будут интересны тем, кто ввязался в стартап игру или только подумывает об этом.

Читать дальше →
Всего голосов 10: ↑3 и ↓7-4
Комментарии14

Исследование форматов игровых ресурсов на примере игры Dr.Riptide

Время на прочтение6 мин
Количество просмотров14K
Задался я однажды целью портировать данную игру на более современные платформы. Но понятное дело игра является далеко не open source и когда-то в далеком 1994 году разработчики брали за нее ни много ни мало 25 баксов, а посему все игровые ресурсы нужно было либо перерисовывать, либо потрошить единственный игровой архив. Чем я и занялся.
Читать дальше →
Всего голосов 49: ↑47 и ↓2+45
Комментарии12

Поддержка бесплатного VMware vSphere Hypervisor (Free ESXi) в продуктах резервного копирования виртуальной среды

Время на прочтение2 мин
Количество просмотров61K
Последнее время в практике часто возникает вопрос почему продукты резервного копирования (в том числе их бесплатные версии), специально созданные для работы в виртуальной среде (то есть не использующие программных агентов внутри виртуальных машин), не поддерживают бесплатный VMware vSphere Hypervisor (Free ESXi). Причина кроется вовсе не в технических ограничениях или нежелании производителей поддерживать бесплатный гипервизор, а в лицензионных ограничениях VMware. Об этом и хотелось рассказать подробнее.
Читать дальше →
Всего голосов 4: ↑3 и ↓1+2
Комментарии5

Самый надежный носитель информации

Время на прочтение2 мин
Количество просмотров63K
Доброго дня уважаемые Хабрчане!

В давно, в свое время я думал что наличие бэкапа на дополнительном жестком диске или на сетевой папке или еще где-то (учитывая то там raid) на 100% обеспечит возможность восстановления утерянных данных. Как я был неправ…… Тому виной была самоуверенность, думал что переписав часть на болванки и положив в темный-темный шкаф все будет хорошо.

Прошло несколько лет и налоговой потребовалась бухгалтерская информация 3-4 летней давности (при том, что срок хранения финансовой информации составляет 5 лет, а персональных данных 75 ЛЕТ!!!). Рассказывать про то, что в самый последний момент выяснилось, что raid сломался, диски переписаны, болванки не читаются я не буду – будет слишком много звуков “3.14159….” которые я выслушал от руководства.


Читать дальше →
Всего голосов 51: ↑15 и ↓36-21
Комментарии46

Вклад авторов