Pull to refresh
  • by relevance
  • by date
  • by rating

7-Zip 9.03 Alpha — новая версия архиватора с поддержкой LZMA2

Lumber room

О программе:



Вышла очередная тестовая версия свободного, отечественного архиватора 7-Zip под номером 9.03. Программа использует свой собственный алгоритм для упаковки в формат 7Z с высокой степенью сжатия. Помимо этого, может упаковывать в форматы ZIP, GZIP, BZIP2, TAR и извлекать из ZIP, CAB, RAR, ARJ, LZH, GZIP, BZIP2, Z, TAR, CPIO, RPM, DEB архивов.
Читать дальше →
Total votes 24: ↑20 and ↓4+16
Views1.1K
Comments 16

xz — сила сжатия LZMA уже в твоей консоли

Data compression
Многие наверное уже знают про утилитку для компрессии/декомпрессии xz. Но еще больше не знают. Поэтому написал этот ознакомительный топик.

xz — формат сжатия данных, наряду с gzip, bzip2 вошедший в gnu-шные приложения.
Использует алгоритм LZMA, тот же что и в 7z, а это значит что можно сильнее сжать многие виды данных, типа текста, бинарные еще не сжатые данные по сравнению с стандартными, упомянутыми выше.
xz используется в новом rpm 4.7.2 для компрессии архивов .cpio в rpm-пакетах (используется с Fedora 12).
В ArchLinux вообще используется .tar.xz в качестве пакета.
В GNU tar появились опции -J --lzma, которые исполняют туже роль что и -z для gzip, -j для bzip2
Читать дальше →
Total votes 15: ↑11 and ↓4+7
Views10K
Comments 11

FreeArc — современный архиватор

Data recovery
Столько всего хочется хранить на жестком диске: фильмы, музыку, программы, документы… Но, к сожалению, винчестер – не резиновый. Заставить данные потесниться смогут программы-архиваторы. Сейчас довольно сильно распространены 7Zip и WinRAR, но в данный момент по эффективности все же лидирует FreeArc. По результатам одного из самых авторитетных тестов FreeArc занял три первых места, причём c большим отрывом от соперников:


Читать дальше →
Total votes 104: ↑93 and ↓11+82
Views28K
Comments 196

Пишем архиватор на основе ZLib в .NET

.NET

Зачем пишем


  • потому что удобно иметь свой настраиваемый инструмент, в котором можно вмешаться в архивацию на любом этапе
  • потому что это интересно
  • потому что многие архиваторы имеющие api, платные, а насчет других см. первый аргумент.

Читать дальше →
Total votes 18: ↑12 and ↓6+6
Views14K
Comments 3

JSZip спустя полгода: распаковка архивов, работа на Node.js

JavaScriptNode.JS
22 ноября 2011 года JiLiZART всем нам сообщил, что есть на свете полезная библиотека JSZip с открытым исходным кодом, написанная на джаваскрипте и умеющая создавать zip-архивы (и даже, если это необходимо — с подкаталогами) из скормленных ей текстовых и двоичных данных.

Первым же комментарием к его сообщению стали мои слова:

 — Прекрасно.

 — Теперь ему бы ещё распаковывать уметь.

Прошло полгода с тех пор, и можно видеть, что это естественное пожелание сбылось: очевидно, оно пришло на ум не одному мне, так что программисты принялись за дело — и в открытый на Гитхабе исходный код JSZip добавили методы, способные служить ещё и распаковке zip-архивов, а не только составлению их. (Подробности употребления новинок API смотрите в документации.)

В открытом коде всегда приятно видеть, как другие люди действуют в направлении твоих мыслей.

Поклонникам же джаваскриптового движка Node.js будет наверняка не менее приятно узнать о появлении модуля node-zip, содержащего весь код JSZip, оформленный в качестве модуля Node. Стало быть, теперь JSZip можно запускать не только во браузере, но и на сервере, а равно и у себя на компьютере.

Читать дальше →
Total votes 29: ↑25 and ↓4+21
Views4.7K
Comments 5

Новый алгоритм Zopfli улучшает сжатие zlib на 3-8%

Website developmentAlgorithms
Один из сотрудников Google в свободное время разработал новый алгоритм сжатия Zopfli, который на 3,7-8,3% эффективнее, чем стандартная библиотека zlib на максимальном уровне сжатия. Изначально алгоритм создавался для формата сжатия без потерь WebP, но его можно применять и для другого контента.

Новый алгоритм является реализацией стандартных алгоритмов Deflate, поэтому он совместим с zlib и gzip, а разархивирование данных уже поддерживается всеми браузерами. Достаточно подключить Zopfli на сервере. Например, его можно использовать с веб-сервером Nginx без изменений в модуле gzip, просто указав новый «прекомпрессор».

Правда, сжатие с помощью Zopfli требует примерно в 100 раз больше ресурсов, чем gzip, зато декомпрессия в браузере осуществляется с той же скоростью.
Читать дальше →
Total votes 62: ↑59 and ↓3+56
Views21K
Comments 42

Допиливание exdupe.exe — шустрого дедуплицирующего архиватора

Server Administration
Sandbox
Какое-то время назад я столкнулся с неприятной проблемой — понадобилось бэкапить несколько виртуальных машин. Надо сказать, что бэкапить для меня — значит иметь в результате не только архив с последней копией, а небольшую кучку этих архивов, сделанных по заданной схеме. Батничек для архивации, понятное дело, был написан быстро и работал без нареканий, но размер… Размер комплекта бэкапов получался огромным. Особенно печалило то, что это были почти одинаковые виртуалки, и почти одинаковые бэкапы этих виртуалок. Так я узнал слово «дедупликация» и «дифф» и начал подыскивать какую-нибудь утилиту для сжатия с дедупликацией.
Читать дальше →
Total votes 5: ↑4 and ↓1+3
Views7.2K
Comments 6

Скрипт на NodeJS для Backup-а данных: Окончание

JavaScriptNode.JS
Recovery mode
Продолжаю описывать процесс создания скрипта для Backpup-па данных. В прошлой статье я написал (а затем переписал) функцию определения списка изменившихся файлов. В текущей я буду описывать процесс создания файла измененных данных.

Создание архива файлов


Измененные данные в данном случае — это изменившиеся файлы и директории (они могли быть добавлены/удалены). Так что наш файл измененных данных будет представлять собой по сути архив. При создании архива у нас есть два пути —
  1. Упаковывать каждый файл отдельно
  2. Упаковывать все файлы вместе
  3. Смешанная стратегия: мы можем упаковывать вместе все файлы с одним расширением

Вариант 2 не очень оптимальный: если в архив нужно добавить файл .gif и .txt то упаковав .gif мы получим увеличение его размера из-за того что данные в нем и так уже упакованы При это если не упаковывать, то тоже плохо, так как текстовые файлы хорошо сжимаются и оставив файл не упакованным мы теряем тот размер, который могли бы получить при упаковке.
Остаются варианты 1 и 3 — из которых я выбрал 1-ый вариант, так как он более простой в реализации.
Еще я буду делать шифрование файлов в архиве, чтобы можно было backup-ы хранить на внешних ресурсах типа яндекс-диска и при этом не бояться что данные украдут. :)
Читать дальше →
Rating0
Views2K
Comments 0

Литературный архиватор

Delirium codingAlgorithmsData storageData compression
Прежде всего, поздравляю всех православных и им сочувствующих с пасхой и окончанием великого поста, всех остальных — с наступлением весны. В песочнице только месяц назад наконец утонул мой дебют про программирование на кириллице. Не знаю, что привлекло внимание читателей к зелени, но комментировали простынями, как настоящую статью. В своей простыне TrllServ предложил использовать задумку для архивации. Обожаю людей, которые умеют находить практическое применение идеям. Развернув блокнот, я попробовал набросать алгоритм на основе свойства своей кодировки, а именно — однозначной типизации символа по первым битам. Сжимать таким алгоритмом удобно именно текст, то есть статьи, книги или копипасты из интернетов — то, что состоит из слов, и где регистр букв имеет грамматическое значение. Впоследствии к простому алгоритму добавились средние, основанные на правилах русского языка, и всё это собралось в одну сложную программу, эффективно сжимающую учебник литературы. Назовём его «Литературный архиватор».
Читать дальше →
Total votes 25: ↑15 and ↓10+5
Views5.6K
Comments 45

Файл 420 байт разжимается в картинку PNG на 40 гигапикселей (141 ГБ ОЗУ)

Demoscene
В старые времена были популярны zip-бомбы и рекурсивные архивы, которые распаковываются сами в себя. Zip-бомбу иногда можно использовать для DoS-атаки. Например, пресловутый файл 42.zip имеет размер 42 килобайта. Если начать его распаковку, то процесс будет идти до тех пор, пока набор данных не достигнет верхнего предела распаковки в 4,3 гигабайта. При этом процесс займет более 4,5 петабайт в оперативной памяти (4 503 599 626 321 920 байт).

Программист и хакер Дэвид Фифилд (David Fifield) задумался, где ещё можно применить «архивные бомбы». Сразу на ум приходит графический формат PNG, в котором используется алгоритм сжатия DEFLATE в библиотеке zlib.
Читать дальше →
Total votes 35: ↑30 and ↓5+25
Views12K
Comments 13

Энтропийное кодирование rANS или как написать собственный архиватор

Playrix corporate blogAlgorithmsData storageData compression
Эта статья может быть интересна тем, кто занимается сжатием данных или хочет написать собственный архиватор.



Статья написана, в основном, по материалам блога, который ведёт Fabian Giesen.
Читать дальше →
Total votes 34: ↑34 and ↓0+34
Views7.2K
Comments 8