Давным-давно, во времена BBS и Fido, была такая пошлая мода – ставить пароли на архивы с файлами. Получая файл, Вы не всегда могли его нормально распаковать. Приходилось использовать подручные средства и методом перебора «взламывать» архив. В основном программы были под Windows, а под *-nix системы не попадались реже. Разработчики, как могли, восполнили этот пробел, неспешно совершенствуя проект «rarcrack». Методом перебора (или «грубой силы» / brute force) программа сможет подобрать забытый пароль к файлам, заархивированным zip, 7z или rar.

А встречались ли Вам подобные разработки?

Операционная система: All POSIX (Linux/BSD/UNIX-like OSes)
Тип лицензии: GNU General Public License (GPL)
Страница проекта: sourceforge.net/projects/rarcrack

Пользователям сервиса Gmail знакома ситуация когда некоторые типы файлов не подлежат пересылке. В основном это касается всевозможных исполняемых файлов (exe, vbs и т.д.), причем даже архивирование в zip не решает эту проблему. Одним из решений служит «запаролевание» архива, что не всегда удобно. И тогда стоит обратить внимание на архиватор 7zip, который мало того что бесплатный и очень эффективный но в добавок очевидно не знаком Gmail'у, т.к. последний спокойно пропускает запрещенные типы файлов в открытых 7z-архивах.

Это не шутка

О программе:

Вышла очередная тестовая версия свободного, отечественного архиватора 7-Zip под номером 9.03. Программа использует свой собственный алгоритм для упаковки в формат 7Z с высокой степенью сжатия. Помимо этого, может упаковывать в форматы ZIP, GZIP, BZIP2, TAR и извлекать из ZIP, CAB, RAR, ARJ, LZH, GZIP, BZIP2, Z, TAR, CPIO, RPM, DEB архивов.

Я не хочу разжигать очередную священную войну, но комментарии на мой последний пост о «сжатии» в RAR навеяли на некоторое количество мыслей и рассуждений, которые я хочу донести до сообщества. Но перед этим хочу отметить, что я работаю под Windows'ем, поэтому всё ниже изложенное будет касаться именно его. Плюс к прочему попрошу отнестись к топику, как к информации к размышлению, а не как к красной тряпке для быка. Итак, давайте поговорим о форматах сжатия данных с пользовательской точки зрения.

В мобильной разработке бывает потребность сделать приложение для работы без интернета. Например, словарь или справочник, который будет использоваться в суровых полевых условиях. Тогда для работы приложения нужно единожды выкачать архив с данными и сохранить его у себя. Сделать это можно посредством запроса в сеть, но так же можно зашить архив с данными внутрь приложения.

Согласно требованиям Google Play, apk-файл приложения должен быть не более 50 МБ, так же можно прикрепить два файла дополнения .obb по 2 гигабайта. Механизм простой, но сложный при эксплуатации, поэтому лучше всего уложиться в 50 МБ и возрадоваться. И в этом нам помогут целых два архивных формата Zip и 7z.

Хочу рассказать о том, как мы захотели сделать собственный бекап баз данных для Microsoft SQL Server, и что из этого получилось.

Проблема

Мы в компании используем Microsoft SQL Server, и вполне ожидаемо, что нам надо делать бекапы баз данных для него, что мы успешно делаем. Делается это следующим образом:

• Первый скрипт делает бекапы нужных баз данных
• Второй скрипт проходит по папкам с бекапами и архивирует их в 7zip
• Третий скрипт уносит эти бекапы на внешнее хранилище

Вроде всё логично на мой взгляд, но есть некая странность во всём этом. Так как некоторое время на сервере находятся файлы, которые активно занимают место, а потом данные файлы удаляются за ненадобностью. Хотелось всё это оптимизировать. Кроме того, у нас в комании есть продукт, одной из задач которого является синхронизация базы данных, и ему подобный код, оптимизирующий задачу, тоже очень пригодился бы.

Одной из самых проблемных задач для обычного пользователя является резервное копирование под Windows, которое обеспечивало бы закрытие следующих вопросов:

• быстрое (идеально в фоне);
• сохраняло бы как актуальную версию файлов, так и предыдущие;
• хранилище файлов было бы недоступно вирусам или стихийным бедствиям типа уничтожения носителя или его воровства;
• содержимое резевной копии было бы доступно только пользователю, т.е. паролировалось.

Существует множество предложений для этого, но ни одно из них не выполняет задачи полностью. Легкое простое копирование не дает быстроты, быстрое сохранение не дает надежности, копирование на внешний жесткий диск не дает гарантии его кражи.

Однако, уже давно существуют инструменты для решения задачи. Главное правильно применить Unix way и командные файлы. И самый простой вариант — заархивировать файлы в один архив и отправить его в онлайн-хранилище, используя командную строку. Для ускорения работы задача делится на 2 этапа — сначала создается и отправляется в онлайн-хранилище полный архив, потом по мере необходимости создаются инкрементные архивы, что дает скорость. Шифрование архивов обеспечивает безопасность данных.

В моей предыдущей статье я описал пример скрипта, который может заархивировать и закинуть в облако определенный объем файлов пользователя без его участия, тем самым обеспечив простейшее резервное копирование файлов пользователя. Скрипт обеспечивает закрытие следующих вопросов:

• быстрое (идеально в фоне);
• сохраняло бы как актуальную версию файлов, так и предыдущие;
• хранилище файлов было бы недоступно вирусам или стихийным бедствиям типа уничтожения носителя или его воровства;
• содержимое резевной копии было бы доступно только пользователю, т.е. паролировалось.

Естественно, простота скрипта обернулась и его недостатками, а именно:

• Хранение паролей в теле скрипта. Да, многие программы хранят пароли незашифрованными в текстовых файлах, и защита этих данных происходит через контроль доступа к файлам, но все таки вынести пароль из кода — это признак хорошего тона и минимальной защиты на случай, если каким то образом рабочий скрипт попадет в чужие руки.
• Отсутствие проверки успешного завершения операции, и откат к предыдущему состоянию в случае если операция не была успешно завершена.
• Отсутствие логирования и оповещения пользователя об успешности операции, если скрипт запускается через планировщик заданий.

В связи с этим код скриптов полного и инкрементного архива был дополнен необходимым функционалом. Общее описание см. предыщущую статью, здесь я хочу остановиться лишь на изменениях.

Всем привет!

В этой статье я хочу рассказать о том, как выбирал архиватор для сжатия логов нашей фронт-офисной системы.

Подразделение, в котором я работаю, занимается разработкой и сопровождением единой фронт офисной системы Банка. Я отвечаю за ее сопровождение, мониторинг и DevOps.

Наша Система — это высоконагруженное приложение, ежедневно обслуживающее более 5 000 уникальных пользователей. На сегодняшний день — это «монолит» со всеми своими достоинствами и недостатками. Но сейчас активно идет процесс выноса функционала в микросервисы.

Ежедневно наша система генерирует более 130 ГБ «сырых» логов и, несмотря на то, что мы используем ENG стек (Elasticsearch Nxlog Graylog), файловые логи содержат гораздо больше информации (например, stack trace ошибок), поэтому требуют архивирования и хранения.

Так как место хранения ограничено, встаёт вопрос: «А какой архиватор лучше всего справится с этой задачей».

Для решения этого вопроса я написал скрипт на языке PowerShell, который произвел анализ за меня.