Ломать — не строить? На самом деле, это не совсем так. Когда ваша задача — проверить работоспособность программы на некорректных данных, возникает необходимость внести намеренные повреждения в файлы.

Для OfficeRecovery восстановление поврежденных данных является основным направлением деятельности. Поэтому для нас очень важно наличие обширного набора неисправных файлов для тестов. Для этих целей и была разработана утилита FileCorrupter, которую мы предлагаем всем желающим бесплатно.

Пример использования

При разработке программного обеспечения часто приходится сталкиваться с ситуациями, когда пользователи жалуются, что приложение «падает» при попытке открыть файл.

Зачастую данная ситуация возникает из-за некорректных данных в файле. Хотя код вашей программы может быть и не виноват в том, что входные данные испортились, лучшим поведением со стороны приложения было бы обнаружить невалидность входных данных и выдать адекватное сообщение об ошибке.

Чтобы убедиться в правильной отработке ошибок вашим приложением, можно предложить ему открыть файл, предварительно испорченный при помощи FileCorrupter.

Предлагаем вниманию программистской общественности бета-версию веб-API для восстановления поврежденных файлов: https://online.officerecovery.com/ru/api/

По ссылке доступен архив с документацией и примерами использования, реализованными на php. Также есть возможность оценить возможности API на основе работающего примера.

В качестве ядра для восстановления файлов используется сервис OfficeRecovery Online (см. пост с описанием и видео). Взаимодействие происходит на основе GET/POST http запросов, обмен данными основывается на формате XML.

Функциональность API:

1. Загрузка поврежденного файла для восстановления.
2. Получение статуса и прогресса восстановления.
3. Получение ссылок на демонстрационный и полный результат восстановления, либо сообщение об ошибке, если файл не удалось восстановить.

При восстановлении данных из испорченных файлов обычно решающее значение имеет доскональное знание внутренней структуры хранения данных, алгоритмы обхода и исправления ошибок в структуре данных. Но иногда возникают дополнительные факторы, которые следует учитывать при обработке битых данных и их восстановлении. Один из таких факторов, о котором хотелось бы рассказать в данной статье – размер файла.

Большинство испорченных файлов, встречающихся нам в работе, относятся к офисным (документы, таблицы, презентации) либо графическим форматам. Также их отличительной чертой является относительно небольшой размер (существенно меньше 10Мб). Связано это с двумя причинами. Во-первых, с огромным количеством пользователей, которые создают и используют файлы этих форматов. Во-вторых, обычно такие мелкие и, как часто считается, не особо важные файлы не попадают в сферу покрытия корпоративного обеспечения сохранности данных. Подобные файлы часто хранятся на переносных хранилищах данных (USB Flash, а иногда и дискеты), что тоже весьма плачевно отражается на их сохранности. При обработке данного класса файлов обычно не возникает проблем связанных с размером входных данных – входной файл при желании можно целиком спроецировать в оперативную память и работать прямо в ней.

Также существенный процент попадающих к нам на восстановление файлов составляют различные базы данных. Размер их обычно колеблется от сотен мегабайт до десятков гигабайт. Обычно такие файлы попадают под действие корпоративных мероприятий по обеспечению сохранности данных, но и это не дает абсолютной гарантии, что данные будут сохранны при тотальном сбое. Большинство этих файлов нецелесообразно или невозможно хранить в памяти. Поэтому при их обработке в оперативной памяти сначала формируется некоторая разметка расположения данных в файле, по которой на следующем шаге восстановления читаются данные, пригодные к восстановлению и формируются выходные данные. В случае потенциально большого объема, занимаемого разметкой файла, а также, если в процессе восстановления надо будет связывать разрозненные куски данных, формирующих один объект (пример – письма в БД хранилища Exchange Server) – используется временная база данных, хранящая разметку.

Но встречаются исключительные случаи – битые базы данных размерами от сотен гигабайт до нескольких терабайт. Разумеется, данные такого объема не могут быть неважными и зачастую именно вокруг такой БД строится работа всей компании. К таким данным очевидно должны применяться все схемы бэкапов, обеспечения надежности хранилищ, но и при всем этом бывают случаи падения баз данных. Про один из таких случаев пойдет речь далее.

Настоящая статья предназначена для IT-менеджеров и системных администраторов, отвечающих за разработку и внедрение стратегий резервного копирования и сохранности данных. В статье рассматриваются типичные проблемы, связанные с повреждением данных, недостатки традиционных способов решения этих проблем и способы улучшения имеющихся стратегий для дальнейшей минимизации потерь при сбоях.

Статья основана на уникальной статистике, собранной на массиве из 200 тысяч поврежденных файлов, прошедших восстановление в системе OfficeRecovery Online.

Проблема и причины ее возникновения

Одной из самых важных задач при планировании и реализации информационной инфраструктуры является обеспечение сохранности данных. Порча или исчезновение накопленной информации может нанести ощутимый ущерб бизнесу. Поэтому обеспечение надежности и сохранности данных должно быть разнообразным и многоуровневым, защищающим от как можно большего числа возможных ситуаций потери данных.

Чтобы понять, что такое поврежденный файл, рассмотрим сначала, что такое файл неповрежденный, т.е. целостный.

Целостный файл состоит из блоков, записанных на какой-либо носитель данных. Для простоты далее в статье любой носитель будет называться “диском”. Следует иметь в виду, что фундаментальные принципы хранения файлов схожи для дисков, флеш-накопителей, CD/DVD и многих других устройств, поэтому, говоря о “диске” мы на самом деле говорим о широком классе устройств.

Целостный файл лежит на диске в виде блоков, как показано на рис. 1. При чтении файла блоки, из которых состоит файл, составляются в определенной последовательности, и в результате получается образ файла в памяти, готовый к обработке программой. Именно таким образом происходит открытие большинства файлов, которыми мы пользуемся ежедневно – документов Word, таблиц Excel, картинок и всего остального.

Внимательный читатель обратит внимание, что блоки, из которых составляется файл, размещены в разных местах диска. Это важный фактор, оказывающий большое влияние как на порчу, так и последующее восстановление файлов.

Рис. 1. Целостный файл

OfficeRecovery начинает серию публикаций о восстановлении поврежденных данных. Вашему вниманию предлагается видео, демонстрирующее лечение испорченных файлов посредством веб-браузера в системе OfficeRecovery Online. Видео снабжено русскими субтитрами.

В качестве примера взят поврежденный файл Word. Аналогичным способом на сайте можно починить файлы десятков других типов: Microsoft Office, PDF, графику и многие другие.



Желающие попробовать сайт в действии могут до 1 октября воспользоваться кодом OFFICERECOVERY*HABR на странице просмотра демо-результатов, появляющейся в процессе восстановления:
https://online.officerecovery.com/ru/