Как стать автором
Обновить

Google работает над системой архивации Android-приложений

Разработка под Android *Смартфоны

Google сообщила, что работает над функцией архивирования установленных приложений для экономии памяти. Подробнее о нововведении читайте в материале:

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1.9K
Комментарии 2

Минцифры разрабатывает единую платформу для онлайн-хранения архивных электронных документов для ведомств

Законодательство в IT Облачные сервисы *

По утверждению Министерства цифрового развития, связи и массовых коммуникаций РФ, в России к концу 2022 года закончится разработка государственной информационной системы «Платформа "Центр хранения электронных документов"» (Платформа «ЦХЭД»). 

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 396
Комментарии 1

Создаем архивы с датой в имени

Чулан
Иногда при работе над проектом приходиться синхронизировать текущие версии.
Грамотно, конечно, пользоваться SVN, но не всегда есть возможность.
Поэтому пересылаем архивы по аське и, чтобы не запутаться, именуем их:
"my_project_18-01-2008_12-03".
Для автоматического добавления даты можно настроить TotalCommander:
Заходим в "Конфигурация"->"Настройка"->"Архиваторы"
В поле "Архиватор Rar" добавляем в конец "-ag_dd-MM-yyyy_hh-mm" (без кавычек).

Еще посоветую поиграться с ключом -m<0..5>(0 — без сжатия, 5 — максимальное) для изменения степени сжатия.
Всего голосов 13: ↑9 и ↓4 +5
Просмотры 536
Комментарии 11

Использование 7zip для бэкапа данных

Системное администрирование *
Для наступления полного и тотального счастья в плане бэкапов информации на рабочем сервере решил отказаться от Acronis True Image в пользу обычной архивации данных с помощью 7-Zip.

Для выполнения поставленной задачи естественно использовал консольную версию архиватора.
Читать дальше →
Всего голосов 51: ↑36 и ↓15 +21
Просмотры 191K
Комментарии 65

Использование 7zip для бэкапа данных. Продолжение

Системное администрирование *
Статью публикую по просьбе знакомого, не имеющего пока аккаунта на Хабре, если у кого есть лишний инвайт, — просьба поделиться evgeny.sementsov [песик] gmail.com

Идея написать свои «напильниковые труды» родилась после прочтения статьи об использовании 7Zip для бэкапа данных.
Нужно сказать, что идея «изобрести велосипед» пришла не просто так. На начальном этапе все-таки планировалось использование внешнего средства.
Были следующие требования, рожденные опытом:
  • бесплатность
  • копирование в фоновом режиме, незаметно для пользователя
  • возможность полноценно работать на компьютере во время выполнения бэкапа (т.е. выполнение бэкапа не должно критически сказаться на производительности)
  • возможность гибкой настройки целей копирования (от файлов, директорий до реестра), пользователей, которым нужно делать бэкап
  • возможность для пользователя управлять выполнением бэкапа (т.е. прервать, — это в крайнем случае), возможность для администратора узнать — целый ли бэкап.
  • «умное бэкапирование», т.е. возможность на ходу (при указании четких критериев) решать что копировать, а что нет. Например, не копировать профиль The Bat!, если есть профиль Thunderbird.
  • возможность управлять частотой бэкапов для различных пользователей
  • распределение времени бэкапа по рабочему времени, дабы не забивать канал на сервере бэкапов
  • возможность управлять количеством бэкапов, дабы не заполнить сервер бэкапов полностью
  • легкость нахождения нужного бэкапа и извлечения нужных файлов

Читать дальше →
Всего голосов 46: ↑38 и ↓8 +30
Просмотры 13K
Комментарии 20

Бекап Windows-ПК средствами WinRAR и FTP

Чулан
Привет, хабровчане.

В последнее время на Хабре было несколько статей, иллюстрирующих различные способы бекапов данных. (Например, раз, два.)

Тема всегда актуальная и способов ее решения так же много, как и требований к такой системе, у каждого они свои. Есть много достойных сторонних продуктов, как платных так и бесплатных, но некоторые пытаются сделать что-то свое штатными или почти штатными средствами. Я отношусь к таким энтузиастам. Попробовав различные готовые решения, решил попытаться использовать то, что есть под руками.

Под руками оказался внешний винт на 500 Гб, протокол FTP и WinRAR. Также имеется небольшой офис с 6-ю ПК под управлением WinXP, данные с которых неплохо бы периодически сливать во внешнее хранилище.

Что из этого получилось?
Всего голосов 16: ↑7 и ↓9 -2
Просмотры 23K
Комментарии 21

Делаем самораспаковывающийся архив или секции в PHP файлах

Чулан
Побудила писать этот код меня только одна вещь — тупые FTP некоторых хостеров.
Нет, файлы заливаются с максимальной скоростью, но вот между окончанием загрузки одного файла и началом загрузки следующего проходит секунд 30.
Так как я сейчас страдаю хренью верстаю и ставлю джомлы в ударных количествах, загрузка 5000+ файлов приводит к зачитыванию хабры и гуглридера до дыр, что однако тоже вредно для здоровья.
С целью исправить сиё досадное упущение и пишется небольшой наколеночный скриптик.

Ну,это всё лирика,а теперь по существу
Всего голосов 41: ↑34 и ↓7 +27
Просмотры 1K
Комментарии 8

Бэкапы через bacula на Amazon S3

Системное администрирование *
Как известно, все люди делятся на два вида: те, кто ещё не делает бэкапы, и те, кто их уже делает. У тех, кто только начинает делать бэкапы, первым обычно встаёт вопрос о том, каким способом архивировать данные. Простые варианты (вручную нарезать болванки, целиком архивировать каталоги на другие серверы) рассматривать не будем — у них весьма скромные возможности по индексированию и поиску архивных файлов. Вместо этого обратимся к автоматическим системам бэкапов, в частности bacula. Данная статья не рассматривает вопрос, почему bacula. Главные причины — она распространяется под свободной лицензией, доступна для кучи платформ и обладает огромной гибкостью.

Второй вопрос после выбора системы архивации — выбор места, где хранить бэкапы. Bacula позволяет использовать стриммеры, компакт-диски, писать архивы в FIFO-устройства и в обычные файлы. Стриммер удобен на корпоративных серверах, где есть постоянный физический к железу. Хранение архивов в файлах подойдёт, когда объём архивов не превышает объёма жёстких дисков, плюс для надёжности хранения желательно делать RAID-массив с избыточностью, а то и несколько физических серверов для бэкапов, желательно в разных помещениях. Иначе всё это до первого пожара. Нарезать на болванки — это домашний вариант, главный недостаток которого — необходимость регулярного втыкания свежих дисков. Мы же настроили bacula для архивации данных на Amazon S3.
Читать дальше →
Всего голосов 23: ↑21 и ↓2 +19
Просмотры 11K
Комментарии 21

Защищаем DropBox (и другие сетевые папки) от посторонних глаз

Я пиарюсь
В последнее время появляется много статей на тему того, что кто-то может смотреть данные пользователей на сетевых дисках. TrueCrypt хорошое решение этой проблемы в Windows, но он, к сожалению, хранит все файлы в контейнере, а это означает, что невозможно скачать только один файл через веб-интерфейс DropBox.

Мне это не очень нравится, и поэтому я решил сделать программу, которая следит за изменениями локальных файлов в папке (также как DropBox), но вдобавок умеет сжимать файлы в архивы автоматически. Таким образом, мы убиваем сразу трех зайцев: уменьшаем размеры файлов на сетевом диске, шифруем их паролем и получаем возможность безопасно скачивать в веб-интерфейсе по одному в виде шифрованного архива. Подробнее о программе под катом (+1 картинка 28KiB).
Читать дальше →
Всего голосов 10: ↑8 и ↓2 +6
Просмотры 2.1K
Комментарии 4

Упрощаем жизнь: сервис автораспаковки архивов на C#

.NET *
hateЭто, конечно, не статья, а небольшая путевая заметка, но тем не менее. Так получилось, что 99% архивов попадают на мой компьютер, чтобы быть тут же распакованными, дабы добраться до их содержимого. И если в маке сафари сам это делает за меня, то в windows приходится каждый раз нажимать пункт в контекстном меню.

В какой-то момент мне это безумно надоело и я написал простой сервис, который распаковывает все самостоятельно. Мне он показался удобным и я решил поделиться с народом.
Читать дальше →
Всего голосов 61: ↑52 и ↓9 +43
Просмотры 6K
Комментарии 58

Автоматический сбор и архивация фото/видеонаблюдения

*nix *
ЗАДАЧА


Однажды, начальство потребовало круглосуточно вести запись происходящего в офисах. А также, в рабочее время — периодически публиковать фото из офисов на сайте.

От моего предшественника мне досталось:
  • Несколько офисов с умными видеокамерами D-Link, которые фотографируют происходящее
  • Сервер на FreeBSD
  • Сайт организации, куда должен попадать снимок с каждой камеры
  • Сетевая папка в локальной сети, где должны храниться архивы записей

Известно:

— Сервер FreeBSD не доступен извне
— Хостер не любит, когда к его FTP подключаются чаще, чем раз в минуту
— Учитывая качество и толщину каналов связи, камеры не пишут видео, а делают периодические фото

На момент постановки задачи, видеокамеры самостоятельно вразнобой подключались к FTP хостера и выкладывали снимки по расписанию каждую минуту. В результате чего, хостер периодически блокировал доступ по FTP к сайту.

Схема и решения и код скрипта под катом.
Всего голосов 28: ↑26 и ↓2 +24
Просмотры 8.1K
Комментарии 38

JSZip спустя полгода: распаковка архивов, работа на Node.js

JavaScript *Node.JS *
22 ноября 2011 года JiLiZART всем нам сообщил, что есть на свете полезная библиотека JSZip с открытым исходным кодом, написанная на джаваскрипте и умеющая создавать zip-архивы (и даже, если это необходимо — с подкаталогами) из скормленных ей текстовых и двоичных данных.

Первым же комментарием к его сообщению стали мои слова:

 — Прекрасно.

 — Теперь ему бы ещё распаковывать уметь.

Прошло полгода с тех пор, и можно видеть, что это естественное пожелание сбылось: очевидно, оно пришло на ум не одному мне, так что программисты принялись за дело — и в открытый на Гитхабе исходный код JSZip добавили методы, способные служить ещё и распаковке zip-архивов, а не только составлению их. (Подробности употребления новинок API смотрите в документации.)

В открытом коде всегда приятно видеть, как другие люди действуют в направлении твоих мыслей.

Поклонникам же джаваскриптового движка Node.js будет наверняка не менее приятно узнать о появлении модуля node-zip, содержащего весь код JSZip, оформленный в качестве модуля Node. Стало быть, теперь JSZip можно запускать не только во браузере, но и на сервере, а равно и у себя на компьютере.

Читать дальше →
Всего голосов 29: ↑25 и ↓4 +21
Просмотры 5.3K
Комментарии 5

Идеальное хранилище документов

Python *Семантика *Анализ и проектирование систем *
Иногда очень хочется быстро найти нужный файл. С учетом того, что файлов — сотни тысяч, а ты не знаешь ни его названия, ни содержания, ни типа — ничего. Зато приблизительно знаешь категории. И хочется его быстро вычислить и сразу же отредактировать и записать.
На сегодня удобных кросс-платформенных open-source файлопомоек с прямым доступом к файлам — НЕТ.
Далее речь пойдет не о медиабиблиотеке и не о semaweb — а о простой и удобной системе управления громадной файлопомойкой с прямым доступом к файлам.
Читать дальше →
Всего голосов 43: ↑30 и ↓13 +17
Просмотры 55K
Комментарии 178

Разрабатываем новый формат файла для бэкапа сайтов

PHP *
Сейчас работаю над новым PHP-скриптом, который будет бэкапить не только базу данных, но и все файлы сайта.

Изначально планировалось использовать один из распространённых форматов архивов. В данном случае, первое, что приходит в голову — ZIP и TAR. Для них есть множество готовых классов, а расширение ZIP даже входит в стандартную поставку PHP. Но изучив спецификации форматов, а также опробовал готовые решения, склонился к изобретению своего велосипеда.

Просьба «велосипедохейтеров» воздержаться от комментариев в стиле «хватит нам велосипедов». В конце концов, без создания «велосипедов» не было бы ни Google, ни Google Chrome, ни Facebook, ни WinRAR и 7-Zip.
Читать дальше →
Всего голосов 113: ↑92 и ↓21 +71
Просмотры 25K
Комментарии 143

Сервис облачной архивации Windows Azure Backup доступен для коммерческой эксплуатации

Блог компании Microsoft Microsoft Azure *
image

Сервис обеспечения резервного копирования данных в облако Windows Azure вышел из стадии превью и доступен для широкого публичного использования.

Windows Azure Backup – это облачное решение для Windows Server, которое позволяет осуществлять резервное копирование и восстановление файлов и папок в облако, предоставляя встроенную защиту от потерь данных. Сервис предлагает ИТ-администраторам и разработчикам возможность резервного копирования и защиты критически важных данных и легкий способ их восстановления из любого места и без затрат на аппаратное обеспечение.

Windows Azure Backup содержит следующие ключевые особенности:

Упрощенные конфигурация и управление. Сервис Windows Azure Backup интегрируется со знакомой утилитой Windows Server Backup в Windows Server и с Data Protection Manager в System Center и Windows Server Essentials для того чтобы предложить единый путь резервного копирования на диск или в облако.

Инкрементальные бэкапы на уровне блоков. Windows Azure Backup Agent осуществляет инкрементальные бэкапы на основе изменений в файле и изменений на уровне блоков и копирует только те блоки, которые были изменены, что уменьшает трафик и потребность в хранилище. Различные версии бэкапов эффективно используют место в хранилище, храня только изменения между блоками.

Сжатие данных, шифрование и троттлинг. Windows Azure Backup Agent обеспечивает шифрование и сжатие данных для передачи их в хранилище Windows Azure. В результате в облаке Windows Azure могут храниться только зашифрованные данные резервных копий. Ключ шифрования недоступен сервису Windows Azure Backup в облаке и как результат данные не могут расшифровываться и не расшифровываются в облачном сервисе. Пользователи сервиса так же могут настроить функцию и параметры троттлинга и указать сервису как он должен утилизировать пропускную полосу сети во время бэкапа или восстановления.
Читать дальше →
Всего голосов 23: ↑14 и ↓9 +5
Просмотры 7.7K
Комментарии 11

Коммерческие самораспаковывающиеся архивы: защищенность, принципы работы

Информационная безопасность *
Одной из серьезных существующих проблем в области развития и распространения информационных технологий является защита авторских прав на такие объекты интеллектуальной собственности как программное обеспечение, аудио-, видео- материалы и любую иную информацию, которая может быть представлена в электронном виде. Собственники такого рода объектов вынуждены прибегать к различным средствам защиты от копирования и несанкционированного распространения, которые зачастую обладают подчас большей стоимостью, чем сами объекты защиты.
Читать дальше →
Всего голосов 18: ↑7 и ↓11 -4
Просмотры 4.7K
Комментарии 5

Cognitive PDF/A – технология оцифровки текстовых документов для публикации в интернете и долговременного архивного хранения

Блог компании Cognitive Technologies Алгоритмы *

Привет Хабр!


Мы продолжаем публикации о технологиях оптического распознавания (OCR, ICR) и понимания документов, разработанных специалистами компании Cognitive Technologies. Сегодня наш рассказ о технологиях оцифровки текстовых документов Cognitive PDF/A.

В бизнес-сфере достаточно часто приходится сканировать бумажные документы с целью последующей пересылки по электронной почте или архивного хранения. При качественном сканировании получившиеся изображения-образы зачастую оказываются достаточно большого размера. Например, документ формата А4, отсканированный в цветном режиме при разрешении 300 DPI, имеет размер порядка 25 Мб. Использование файлов таких больших размеров неэффективно в электронных архивах, поэтому все больший интерес обретают технологии сжатия получившихся электронных образов. Классические технологии сжатия изображений (JPEG, RLE, Deflate и т.п.) не применимы, так как в общем случае документы могут содержать как монохромный текст, так и полноцветные графические области. Алгоритмы сжатия изображений без потерь, результативные для монохромных текстов, неэффективны для полноцветной графики, в то время как сжатие с потерями демонстрирует высокие показатели для цветных изображений, однако сильно искажает текстовую информацию (Рис. 1). Поэтому обычно для сжатия изображений такого типа используют комбинированный подход.

image
Читать дальше →
Всего голосов 26: ↑17 и ↓9 +8
Просмотры 13K
Комментарии 9

Распознавание гильоширных элементов на примере паспорта РФ

Блог компании Cognitive Technologies Алгоритмы *
Recovery mode
Гильош – это специальная технология защиты банкнот, документов, ценных бумаг и других видов полиграфической продукции (билетов, акцизных марок, сертификатов и многих других документов государственного масштаба).

Защита документов обеспечивается путем нанесения на бланки сложных композиций различных гильоширных элементов. Гильоширный элемент представляет собой замысловатый рисунок из множества многократно пересекающихся тончайших кружевных линий (рисунок 1). Обычно такие элементы представлены разного рода защитными сетками, розеттами, бордюрами, виньетками и уголками. Гильош может быть как симметричным, так и асимметричным по своему дизайну.

Согласно существующим нормативам, гильоширные элементы должны занимать не менее 70% площади ценных бумаг.
Причем из этой площади большая часть должна содержать многоцветные гильоширные композиции.

Читать дальше →
Всего голосов 61: ↑57 и ↓4 +53
Просмотры 31K
Комментарии 7

База данных простых чисел

Алгоритмы *Big Data *Математика *
Из песочницы
Давеча снова увлекся простыми числами. Манит меня их тайна.

Написал алгоритм, похожий на решето Эратосфена. За 3 часа программа нашла 700 тысяч первых простых чисел. А мне надо хотя бы 14 миллионов простых чисел, чтобы перемножив их, получить число с количеством десятичных цифр, равным 100 миллионам штук.

Из статьи «Еще раз о поиске простых чисел», написанной пользователем Bodigrim, узнал о существовании быстрой программы primegen, которая работает используя решето Аткина. Установил ее в виртуальной машине LUbuntu (VirtualBox). Действительно, primegen очень быстро работает!

Тогда встал вопрос, как сохранить 14 миллионов простых чисел? Можно просто каждое простое число записать в файл как int32. А если простое число будет больше мощности 32-х бит?
Читать дальше →
Всего голосов 66: ↑49 и ↓17 +32
Просмотры 55K
Комментарии 59

Оптимальная сортировка непрерывного архива

Open source *Assembler *Кодобред
Recovery mode
Воплощение одной идеи – расположить файлы так, чтобы размер архива был минимальным.
Программа проверяет сжимаемость файлов в паре и затем сортирует список для сжатия архиватором.

sourceforge.net/projects/saro-vks
Если кому надо – берите.
Читать дальше →
Всего голосов 16: ↑9 и ↓7 +2
Просмотры 6.1K
Комментарии 18
1