Как стать автором
Поиск
Написать публикацию
Обновить
3.5

Восстановление данных *

Резервное копирование и восстановление данных

Сначала показывать
Порог рейтинга
Уровень сложности

Kafka как хранилище данных: реальный пример от Twitter

Время на прочтение6 мин
Количество просмотров13K
Привет, Хабр!

Нас давно занимала тема использования Apache Kafka в качестве хранилища данных, рассмотренная с теоретической точки зрения, например, здесь. Тем интереснее предложить вашему вниманию перевод материала из блога Twitter (оригинал — декабрь 2020), в котором описан нетрадиционный вариант использования Kafka в качестве базы данных для обработки и воспроизведения событий. Надеемся, статья будет интересна и натолкнет вас на свежие мысли и решения при работе с Kafka.
Читать дальше →

Хождение по рукам или грустные реалии рынка услуг восстановления данных

Время на прочтение9 мин
Количество просмотров42K
Для обычного пользователя отказ жесткого диска представляет из себя стрессовую ситуацию, так как в большинстве своем рядовой потребитель не задумывается о том, что все то, что для него представляет ценность, может быть легко утрачено от одного неловкого движения. Человек, который не является продвинутым пользователем или техническим специалистом, впервые столкнувшись с отказом диска, как правило, задумывается о том, как ему привести в чувство свой компьютер, и лишь когда узнает о неисправности накопителя, начинает думать о том, как бы это скопировать с него данные.

Разумеется, первая мысль, что в любом городе полно различных сервисных центров, которые наперебой будут предлагать услугу ремонта накопителя с сохранением данных, и что стоит лишь сделать один звонок или заполнить форму заказа на сайте, как тут же прямо домой явится специалист, который за несколько минут решит все проблемы.

Но обычно через небольшой промежуток времени приходит понимание, что из неисправного накопителя на дому никто данные извлекать не спешит, а те, кто соглашается, по приезду настаивают на том, что диск нужно везти в мастерскую на диагностику. Или выдают короткое резюме в духе «сгорел» и как-то пояснить суть такого диагноза затрудняются, но при этом настаивают на том, что диск нужно везти в мастерскую на расширенную диагностику.

Тем, кому повезло столкнуться с более или менее грамотным сервисным центром, обычно там говорят, что необходима услуга восстановления данных, и рекомендуют немногочисленные профильные компании. Тем, кому повезло меньше, приходится проходить тернистый путь, во время которого с накопителем происходят различные изменения, не лучшим образом сказывающиеся на его состоянии.

В этом повествовании будет рассказана история жесткого диска из ноутбука Hitachi HTS547575A9E384, который прошел достаточно длинный путь, прежде чем вернуть данные своему владельцу.


Рис. 1 Hitachi HTS547575A9E384 обычно выглядит так.
Читать дальше →

HDD для Mac или заурядный случай для лаборатории восстановления данных

Время на прочтение14 мин
Количество просмотров14K
К нам на диагностику поступил накопитель Seagate ST4000DM000 семейства Lombard. Со слов клиента можно было понять, что накопитель использовался на компьютере Apple Macintosh и был на нем отформатирован, и не один раз, за все время эксплуатации. Вопросы касательно состояния накопителя или типа файловой системы остаются без ответа. Клиентом дается лишь сбивчивое пояснение, что необходимо восстановление файлов с оригинальной структурой каталогов. Также клиент уточняет, что в одном из сервисов были получены файлы без оригинальных имен с помощью какой-то программы восстановления данных, но его такой результат не устраивает.


Читать дальше →

Мифы о восстановлении данных

Время на прочтение3 мин
Количество просмотров34K

Профессиональное восстановление данных (мне привычнее называть Data Recovery или просто DR) это малоизвестная область IT. Для многих клиентов DR процесс восстановления данных это нечто загадочное и непостижимое, особенно после просмотра различных художественных фильмов. За 20 лет работы в этой области я слышал много мифов, вот несколько из них.

Читать далее

Формируем тренировочный сэмпл данных при distribution shift

Время на прочтение6 мин
Количество просмотров1.7K
Дисклеймер: статья является переведенным продуктом автора Max’a Halforda. Перевод не чистый, а адаптивный. Такой, чтобы было понимание на любом рубеже знаний.
Читать дальше →

Политики хранения Veeam B&R, — бэкапы, цепочки и магнитные ленты

Время на прочтение15 мин
Количество просмотров12K
В предыдущей части мы разобрали, как работает политика хранения для заданий первоначального бэкапа и создания его архивной копии. В этой части мы продолжим начатое и рассмотрим хранение на магнитных лентах.

Ретеншен магнитных лент может быть довольно сложен для понимания, потому что находится на стыке сразу трех сущностей – конечное содержимое магнитных лент зависит от настройки исходного задания, от настройки задания записи на ленту, а также от ретеншена медиа пула. Неправильная настройка может привести как к излишнему использованию ценных ленточек, так и к преждевременной перезаписи кассеты с данными. В лучшем случае вас ждут лишние траты, в худшем же – при необходимости восстановления может оказаться, что нужная кассета была перезаписана.

При написании этого текста я буду исходить, что читатель ознакомился с режимами работы бэкапа из предыдущей части, а также читал статью про тейпы в Veeam Backup & Replication 9.5 Update 4. Для интересующихся темой могу также порекомендовать статью от наших тестировщиков.

Как и ранее, информация актуальна для версии VBR 10. Если вы используете более старую версию (или более новую...), ожидайте возможные отличия в деталях.


Читать дальше →

Hystax Cloud Migration: скачем по облакам

Время на прочтение8 мин
Количество просмотров8.3K
Одним из молодых игроков на рынке решений Disaster Recovery является компания Hystax – российский стартап 2016 года. Поскольку тема аварийного восстановления очень популярна, и на рынке крайне высокая конкуренция, стартап решил сфокусироваться на миграции между различными облачными инфраструктурами. Продукт, позволяющий организовать простую и быструю миграцию в облако, был бы очень полезен и клиентам компании «Онланта» -  пользователям Oncloud.ru. Так я и познакомился с Hystax и начал тестировать его возможности. А что из этого получилось, расскажу в этой статье.

Читать дальше →

Какие возможности появились у утилиты rdiff-backup благодаря миграции на Python 3

Время на прочтение3 мин
Количество просмотров8.5K
В процессе миграции на Python 3 разработчики утилиты rdiff-backup усовершенствовали её, добавив много новых фич.



В марте 2020 года вышел второй крупный релиз утилиты rdiff-backup. Второй — за 11 лет. Во многом, это объясняется прекращением поддержки Python 2. Разработчики решили совместить приятное с полезным и доработали функционал утилиты.

Около 20 лет она верой и правдой служит Linux-сообществу — помогает делать бэкапы на локальных и удалённых машинах, скажем так… без лишней головной боли. Секрет прост: утилита позволяет делать бэкап только тех файлов, которые изменились с прошлого резервного копирования. Для более краткого обозначения этого процесса существует термин «инкрементальное резервное копирование».

Второе рождение rdiff-backup пережила благодаря команде энтузиастов, которую возглавили Эрик Зольф и Патрик Дюфресне из IKUS Software, а также Отто Кекяляйнен из Seravo.
Читать дальше →

Пусть хоть потоп, но 1С должна работать! Договариваемся с бизнесом о DR

Время на прочтение8 мин
Количество просмотров6.6K
Представьте себе: вы обслуживаете ИТ-инфраструктуру крупного торгового центра. В городе начинается ливень. Потоки дождя прорывают крышу, вода заполняет торговые помещения по щиколотку. Надеемся, что ваша серверная не в подвале, иначе проблем не избежать.  

Описанная история — не фантазия, а собирательное описание пары событий 2020 года. В крупных компаниях на этот случай всегда под рукой план послеаварийного восстановления, или disaster recovery plan (DRP). В корпорациях за него отвечают специалисты по непрерывности бизнеса. Но в средних и небольших компаниях решение таких задач ложится на ИТ-службы. Нужно самому разобраться в бизнес-логике, понять, что и где может упасть, придумать защиту и внедрить. 

Здорово, если ИТ-специалисту удается провести переговоры с бизнесом и обсудить  необходимость защиты. Но я не раз наблюдал, как компания экономила на решении для disaster recovery (DR), так как считала его избыточным. Когда наступала авария, долгое восстановление грозило убытками, а бизнес оказывался не готов. Можно сколько угодно повторять: «А я же говорил», — восстанавливать сервисы все равно предстоит ИТ-службе.



С позиции архитектора расскажу, как избежать этой ситуации. В первой части статьи покажу подготовительную работу: как обсуждать с заказчиком три вопроса для выбора инструментов защиты: 

  • Что защищаем?
  • От чего защищаем?
  • Как сильно защищаем? 

Во второй части поговорим о вариантах ответа на вопрос: чем защищаться. Приведу примеры кейсов, как разные заказчики строят свою защиту.
Читать дальше →

PC-3000 Flash: восстанавливаем данные с карты microSD

Время на прочтение4 мин
Количество просмотров29K


Сегодня многие современные устройства NAND флэш-памяти используют архитектуру нового типа, у которой интерфейс, контроллер и чипы памяти интегрированы в один общий слой компаунда. Мы называем такую структуру монолитной.

До недавнего времени все карты памяти типа SD, Sony MemoryStick, MMC и других, использовали простую «классическую» структуру с отдельными частями – контроллер, плату и чип памяти NAND в корпусе TSOP-48 или LGA-52. В таких случаях процесс восстановления был очень простым – мы выпаивали чип памяти, читали его в PC-3000 Flash, и вели ту же подготовку, что и в случае с обычными USB-флэшками.

Однако что делать, если наша карта памяти или UFD-устройство имеет монолитную структуру? Как получить доступ к чипу памяти NAND и прочесть данные с него?

Политики хранения Veeam B&R — распутываем бэкапные цепи вместе с техподдержкой

Время на прочтение18 мин
Количество просмотров40K
Приветствую читателей нашего блога! Отчасти мы уже знакомы – мои англоязычные посты появлялись здесь в переводе моей дорогой коллеги polarowl. На этот раз я решил обратиться к русскоязычной аудитории напрямую.

Для своего дебюта мне хотелось найти тему, интересную максимально широкой аудитории и требующую детального рассмотрения. Даниэль Дефо утверждал, что любого человека ждут смерть и налоги. Со своей стороны могу сказать, что любого инженера поддержки ждут вопросы по политикам хранения точек восстановления (или если проще – ретеншену). Как работает ретеншен, я начал объяснять 4 года назад, будучи младшим инженером первого уровня, продолжаю объяснять и сейчас, уже являясь тим лидером испано- и италоговорящей команды. Уверен, что мои коллеги со второго и даже третьего уровня поддержки тоже регулярно отвечают на те же вопросы.

В этом свете мне захотелось написать окончательный, максимально подробный пост, к которому русскоязычные пользователи могли бы возвращаться снова и снова как к справочнику. Момент подходящий – недавно выпущенная юбилейная десятая версия добавила новые возможности к базовому функционалу, не менявшемуся годами. Мой пост ориентирован прежде всего на эту версию — хотя большая часть написанного верна и для предыдущих версий, кое-что из описанного функционала вы там попросту не найдете. Наконец, заглядывая немного в будущее, скажу что в следующей версии ожидаются некоторые изменения, но об этом мы расскажем когда придет время. Итак, приступим.

image
Читать дальше →

Путеводитель по резервному копированию баз данных

Время на прочтение11 мин
Количество просмотров50K
– О, никакое убежище не выдержит попадания метеорита. Но ведь у вас, как и у каждого, есть резерв, так что можете не беспокоиться.

Станислав Лем, «Звёздные дневники Ийона Тихого»

Резервным копированием называется сохранение копии данных где-то вне основного места их хранения.



Главное назначение резервного копирования – восстановление данных после их потери. В связи с этим нередко приходится слышать, что при наличии реплики базы данных с неё всегда можно восстановить данные, и резервное копирование не нужно. На самом деле резервное копирование позволяет решить как минимум три задачи, которые не могут быть решены при помощи реплики, да и реплику без резервной копии не инициализировать.

Во-первых, резервная копия позволяет восстановить данные после логической ошибки. Например, бухгалтер удалил группу проводок или администратор БД уничтожил табличное пространство. Обе операции абсолютно легитимны с точки зрения базы данных, и процесс репликации воспроизведёт их в базе-реплике.

Во-вторых, современные СУБД – весьма надёжные программные комплексы, однако изредка всё же происходит повреждение внутренних структур базы данных, после которого доступ к данным пропадает. Что особенно обидно, такое нарушение происходит обычно при высокой нагрузке или при установке какого-нибудь обновления. Но как высокая нагрузка, так и регулярные обновления говорят о том, что база данных – отнюдь не тестовая, и данные, хранящиеся в ней, ценны.

Наконец, третья задача, решение которой требует наличия резервной копии, – это клонирование базы, например, для целей тестирования.

Резервное копирование баз данных так или иначе базируется на одном из двух принципов:

  • Выборка данных с последующим сохранением в произвольном формате;
  • Снимок состояния файлов БД и сохранение журналов.

Давайте рассмотрим эти принципы и реализующие их инструменты подробнее.
Читать дальше →

[ +конкурс ] Новый релиз Acronis True Image 2021 — комплексная киберзащита и новые возможности

Время на прочтение6 мин
Количество просмотров9K
Привет, Хабр! У нас настало время очередного релиза Acronis True Image, нашего флагманского продукта для персональных пользователей. Версия 2021 года вышла действительно особенной, потому что она сочетает в себе и обширные возможности по защите данных, и новые средства для обеспечения безопасности информационных систем. Мы работаем над этим продуктом с 2007 года и каждый раз стараемся сделать его максимально удобным и функциональным для конечных пользователей. Под катом — подробная информация об отличиях True Image 2021, а также о новых технологиях, использованных в последней версии и небольшой розыгрыш лицензий.
image
Читать дальше →

Ближайшие события

Немного о SMART и утилитах для мониторинга

Время на прочтение3 мин
Количество просмотров22K
В сети достаточно много информации о SMART и значениях атрибутов. Но мне не встречались упоминания о нескольких важных моментах, про которые знаю от людей, занимающихся исследованием носителей информации.

Когда я в очередной раз рассказывал знакомому о том, почему показаниям SMART не следует безоговорочно верить и почему лучше не использовать классические «мониторилки СМАРТа» постоянно, пришла в голову идея записать сказанные слова в виде набора тезисов с пояснениями. Чтобы давать ссылки, вместо того, чтобы каждый раз пересказывать. И для ознакомления широкой аудитории.
Читать дальше →

Путеводитель по репликации баз данных

Время на прочтение15 мин
Количество просмотров125K
Повторяться, но каждый раз по-новому – разве не это есть искусство?

Станислав Ежи Лец, из книги «Непричёсанные мысли»

Словарь определяет репликацию как процесс поддержания двух (или более) наборов данных в согласованном состоянии. Что такое «согласованное состояние наборов данных» – отдельный большой вопрос, поэтому переформулируем определение проще: процесс изменения одного набора данных, называемого репликой, в ответ на изменения другого набора данных, называемого основным. Совсем не обязательно наборы при этом будут одинаковыми.



Поддержка репликации баз данных – одна из важнейших задач администратора: почти у каждой сколько-нибудь важной базы данных есть реплика, а то и не одна.

Среди задач, решаемых репликацией, можно назвать как минимум

  • поддержку резервной базы данных на случай потери основной;
  • снижение нагрузки на базу за счёт переноса части запросов на реплики;
  • перенос данных в архивные или аналитические системы.

В этой статье я расскажу о видах репликации и о том, какие задачи решает каждый вид репликации.
Читать дальше →

Как я восстанавливал данные в неизвестном формате с магнитной ленты

Время на прочтение8 мин
Количество просмотров40K

Предыстория


Будучи любителем ретро железа, приобрёл я как-то у продавца из Великобритании ZX Spectrum+. В комплекте с самим компьютером мне достались несколько аудиокассет с играми (в оригинальной упаковке с инструкциями), а также программами, записанными на кассеты без особых обозначений. На удивление данные с кассет 40-летней давности хорошо читались и мне удалось загрузить почти все игры и программы с них.



Однако, на некоторых кассетах я обнаружил записи, сделанные явно не компьютером ZX Spectrum. Звучали они совершенно по-другому и, в отличие от записей с упомянутого компьютера, не начинались с короткого BASIC загрузчика, который обычно присутствует в записях всех программ и игр.

Какое-то время мне не давало это покоя — очень хотелось узнать, что скрыто в них. Если бы получилось прочитать аудио сигнал как последовательность байтов, можно было бы поискать в них символы или что-то, что указывает на происхождение сигнала. Своего рода ретро-археология.

VMware приобретает Datrium для развития сервиса аварийного восстановления данных

Время на прочтение2 мин
Количество просмотров2.2K


Американская компания VMware, чьи продукты используют многие облачные провайдеры, объявила о своем намерении приобрести Datrium, разработчика сервисов по аварийному восстановлению данных. Покупка обусловлена желанием расширить возможности своего решения Disaster-Recovery-as-a-service (DRaaS) и активным ростом спроса на услугу. Аналитики IDC назвали самым быстрорастущим сегментом рынка защиты данных, оценив его в 4,5 млрд долларов. По итогам сделки технологии Datrium будут интегрированы в портфель облачных решений VMware, и это поможет улучшить сервис восстановления.
Читать дальше →

XFS, Reflink и Fast Clone. Созданы друг для друга

Время на прочтение9 мин
Количество просмотров11K
Как все мы знаем, XFS — это высокопроизводительная журналируемая файловая система, созданная в недрах Silicon Graphics. А высокопроизводительная она потому, что способна справляться с множеством параллельных потоков ввода-вывода. Так что если вам интересна файловая система с легко масштабируемой пропускной способностью и не деградирующая от работы с несколькими устройствами одновременно, то вам, однозначно, сюда. Но сегодня мы будем нахваливать не весь XFS, а один конкретный его флаг — reflink. Он включает возможность переиспользовать одинаковые блоки данных между файлами, обеспечивая дедупликацию и возможность делать быстрые copy-on-write снапшоты.

Грешновато проходить мимо такой увлекательной функциональности, поэтому сегодня мы посмотрим, как reflink может помочь всем ответственным за бекапы, и что на этой ниве нам может предложить Veeam Backup & Replication 10.


Читать дальше →

Как мы пересмотрели стандартный подход к тендерам и получили 300 дизайн-проектов интерфейса medtech-сервиса по 3000 руб

Время на прочтение6 мин
Количество просмотров1.8K
Мы в Globosphere Russia работаем над тремя медтех проектами. Один из них — MY DATA. Это электронная медицинская карта нового поколения на основе big data. Сервис будет собирать информацию о здоровье человека из разных источников, анализировать данные, находить корреляции и приводить информацию к единому формату, выдвигая гипотезы о состоянии здоровья.

Мы находимся на этапе разработки дизайна интерфейса продукта. Сервис сложный. Он работает с медицинскими данными, а это огромный массив разнородной информации. От того, насколько наше решение сможет доступно и понятно визуализировать информацию для обычного пользователя, зависит его успех на рынке.

Мы понимали, что для этой задачи недостаточно найти одного-двух сильных дизайнеров или проверенного подрядчика. Нужны совершенно другие методы.

Хочу рассказать, как мы пересмотрели стандартный подход к тендерам, за 2 месяца провели большой международный конкурс, привлекли к участию больше 2000 дизайнеров, какой реальный профит получили для своего продукта и какие ошибки совершили (без них тоже не обошлось).
Читать дальше →

Восстанавливаем данные с ZOOM H6 Handy Recorder подручными средствами

Время на прочтение4 мин
Количество просмотров6.2K

Введение


Намедни попал в нашу лабораторию довольно любопытный заказ. Профессиональный диктофон ZOOM H6 Handy Recorder. Устройство и носитель в рабочем состоянии, проблема — носитель, на котором находились данные (карта памяти SDHC на 32 Гбайт) был отформатирован в фотоаппарате. Вопрос о том, каким образом флешка из диктофона попала в фотоаппарат, оставим для истории — нам ответ на него не интересен. Интересно восстановить записанные звуковые данные.

Форматирование разделов FAT32 — это всегда потеря файловых записей; процесс сопровождается их заменой «чистыми». С одной стороны, это удобно, так как в структурах FAT32 не остается никаких «рудиментов» файловых записей. С другой — это крайне губительно для данных, так как в случае фрагментации файлов и необходимости их восстановить, простое RAW-сканирование становится недостаточным, на выходе получаются поврежденные или неработающие файлы.
Читать дальше →

Вклад авторов