Pull to refresh
  • by relevance
  • by date
  • by rating

7-Zip 9.03 Alpha — новая версия архиватора с поддержкой LZMA2

Lumber room

О программе:



Вышла очередная тестовая версия свободного, отечественного архиватора 7-Zip под номером 9.03. Программа использует свой собственный алгоритм для упаковки в формат 7Z с высокой степенью сжатия. Помимо этого, может упаковывать в форматы ZIP, GZIP, BZIP2, TAR и извлекать из ZIP, CAB, RAR, ARJ, LZH, GZIP, BZIP2, Z, TAR, CPIO, RPM, DEB архивов.
Читать дальше →
Total votes 24: ↑20 and ↓4 +16
Views 1.2K
Comments 16

xz — сила сжатия LZMA уже в твоей консоли

Data compression *
Многие наверное уже знают про утилитку для компрессии/декомпрессии xz. Но еще больше не знают. Поэтому написал этот ознакомительный топик.

xz — формат сжатия данных, наряду с gzip, bzip2 вошедший в gnu-шные приложения.
Использует алгоритм LZMA, тот же что и в 7z, а это значит что можно сильнее сжать многие виды данных, типа текста, бинарные еще не сжатые данные по сравнению с стандартными, упомянутыми выше.
xz используется в новом rpm 4.7.2 для компрессии архивов .cpio в rpm-пакетах (используется с Fedora 12).
В ArchLinux вообще используется .tar.xz в качестве пакета.
В GNU tar появились опции -J --lzma, которые исполняют туже роль что и -z для gzip, -j для bzip2
Читать дальше →
Total votes 15: ↑11 and ↓4 +7
Views 10K
Comments 11

FreeArc — современный архиватор

Data recovery *
Столько всего хочется хранить на жестком диске: фильмы, музыку, программы, документы… Но, к сожалению, винчестер – не резиновый. Заставить данные потесниться смогут программы-архиваторы. Сейчас довольно сильно распространены 7Zip и WinRAR, но в данный момент по эффективности все же лидирует FreeArc. По результатам одного из самых авторитетных тестов FreeArc занял три первых места, причём c большим отрывом от соперников:


Читать дальше →
Total votes 104: ↑93 and ↓11 +82
Views 28K
Comments 196

Пишем архиватор на основе ZLib в .NET

.NET *

Зачем пишем


  • потому что удобно иметь свой настраиваемый инструмент, в котором можно вмешаться в архивацию на любом этапе
  • потому что это интересно
  • потому что многие архиваторы имеющие api, платные, а насчет других см. первый аргумент.

Читать дальше →
Total votes 18: ↑12 and ↓6 +6
Views 14K
Comments 3

JSZip спустя полгода: распаковка архивов, работа на Node.js

JavaScript *Node.JS *
22 ноября 2011 года JiLiZART всем нам сообщил, что есть на свете полезная библиотека JSZip с открытым исходным кодом, написанная на джаваскрипте и умеющая создавать zip-архивы (и даже, если это необходимо — с подкаталогами) из скормленных ей текстовых и двоичных данных.

Первым же комментарием к его сообщению стали мои слова:

 — Прекрасно.

 — Теперь ему бы ещё распаковывать уметь.

Прошло полгода с тех пор, и можно видеть, что это естественное пожелание сбылось: очевидно, оно пришло на ум не одному мне, так что программисты принялись за дело — и в открытый на Гитхабе исходный код JSZip добавили методы, способные служить ещё и распаковке zip-архивов, а не только составлению их. (Подробности употребления новинок API смотрите в документации.)

В открытом коде всегда приятно видеть, как другие люди действуют в направлении твоих мыслей.

Поклонникам же джаваскриптового движка Node.js будет наверняка не менее приятно узнать о появлении модуля node-zip, содержащего весь код JSZip, оформленный в качестве модуля Node. Стало быть, теперь JSZip можно запускать не только во браузере, но и на сервере, а равно и у себя на компьютере.

Читать дальше →
Total votes 29: ↑25 and ↓4 +21
Views 4.8K
Comments 5

Новый алгоритм Zopfli улучшает сжатие zlib на 3-8%

Website development *Algorithms *
Один из сотрудников Google в свободное время разработал новый алгоритм сжатия Zopfli, который на 3,7-8,3% эффективнее, чем стандартная библиотека zlib на максимальном уровне сжатия. Изначально алгоритм создавался для формата сжатия без потерь WebP, но его можно применять и для другого контента.

Новый алгоритм является реализацией стандартных алгоритмов Deflate, поэтому он совместим с zlib и gzip, а разархивирование данных уже поддерживается всеми браузерами. Достаточно подключить Zopfli на сервере. Например, его можно использовать с веб-сервером Nginx без изменений в модуле gzip, просто указав новый «прекомпрессор».

Правда, сжатие с помощью Zopfli требует примерно в 100 раз больше ресурсов, чем gzip, зато декомпрессия в браузере осуществляется с той же скоростью.
Читать дальше →
Total votes 62: ↑59 and ↓3 +56
Views 21K
Comments 42

Допиливание exdupe.exe — шустрого дедуплицирующего архиватора

Server Administration *
Sandbox
Какое-то время назад я столкнулся с неприятной проблемой — понадобилось бэкапить несколько виртуальных машин. Надо сказать, что бэкапить для меня — значит иметь в результате не только архив с последней копией, а небольшую кучку этих архивов, сделанных по заданной схеме. Батничек для архивации, понятное дело, был написан быстро и работал без нареканий, но размер… Размер комплекта бэкапов получался огромным. Особенно печалило то, что это были почти одинаковые виртуалки, и почти одинаковые бэкапы этих виртуалок. Так я узнал слово «дедупликация» и «дифф» и начал подыскивать какую-нибудь утилиту для сжатия с дедупликацией.
Читать дальше →
Total votes 5: ↑4 and ↓1 +3
Views 7.2K
Comments 6

Скрипт на NodeJS для Backup-а данных: Окончание

JavaScript *Node.JS *
Продолжаю описывать процесс создания скрипта для Backpup-па данных. В прошлой статье я написал (а затем переписал) функцию определения списка изменившихся файлов. В текущей я буду описывать процесс создания файла измененных данных.

Создание архива файлов


Измененные данные в данном случае — это изменившиеся файлы и директории (они могли быть добавлены/удалены). Так что наш файл измененных данных будет представлять собой по сути архив. При создании архива у нас есть два пути —
  1. Упаковывать каждый файл отдельно
  2. Упаковывать все файлы вместе
  3. Смешанная стратегия: мы можем упаковывать вместе все файлы с одним расширением

Вариант 2 не очень оптимальный: если в архив нужно добавить файл .gif и .txt то упаковав .gif мы получим увеличение его размера из-за того что данные в нем и так уже упакованы При это если не упаковывать, то тоже плохо, так как текстовые файлы хорошо сжимаются и оставив файл не упакованным мы теряем тот размер, который могли бы получить при упаковке.
Остаются варианты 1 и 3 — из которых я выбрал 1-ый вариант, так как он более простой в реализации.
Еще я буду делать шифрование файлов в архиве, чтобы можно было backup-ы хранить на внешних ресурсах типа яндекс-диска и при этом не бояться что данные украдут. :)
Читать дальше →
Rating 0
Views 2.1K
Comments 0

Литературный архиватор

Delirium coding Algorithms *Data storage *Data compression *
Прежде всего, поздравляю всех православных и им сочувствующих с пасхой и окончанием великого поста, всех остальных — с наступлением весны. В песочнице только месяц назад наконец утонул мой дебют про программирование на кириллице. Не знаю, что привлекло внимание читателей к зелени, но комментировали простынями, как настоящую статью. В своей простыне TrllServ предложил использовать задумку для архивации. Обожаю людей, которые умеют находить практическое применение идеям. Развернув блокнот, я попробовал набросать алгоритм на основе свойства своей кодировки, а именно — однозначной типизации символа по первым битам. Сжимать таким алгоритмом удобно именно текст, то есть статьи, книги или копипасты из интернетов — то, что состоит из слов, и где регистр букв имеет грамматическое значение. Впоследствии к простому алгоритму добавились средние, основанные на правилах русского языка, и всё это собралось в одну сложную программу, эффективно сжимающую учебник литературы. Назовём его «Литературный архиватор».
Читать дальше →
Total votes 25: ↑15 and ↓10 +5
Views 5.7K
Comments 45

Файл 420 байт разжимается в картинку PNG на 40 гигапикселей (141 ГБ ОЗУ)

Demoscene
В старые времена были популярны zip-бомбы и рекурсивные архивы, которые распаковываются сами в себя. Zip-бомбу иногда можно использовать для DoS-атаки. Например, пресловутый файл 42.zip имеет размер 42 килобайта. Если начать его распаковку, то процесс будет идти до тех пор, пока набор данных не достигнет верхнего предела распаковки в 4,3 гигабайта. При этом процесс займет более 4,5 петабайт в оперативной памяти (4 503 599 626 321 920 байт).

Программист и хакер Дэвид Фифилд (David Fifield) задумался, где ещё можно применить «архивные бомбы». Сразу на ум приходит графический формат PNG, в котором используется алгоритм сжатия DEFLATE в библиотеке zlib.
Читать дальше →
Total votes 35: ↑30 and ↓5 +25
Views 12K
Comments 13

Энтропийное кодирование rANS или как написать собственный архиватор

Playrix corporate blog Algorithms *Data storage *Data compression *
Эта статья может быть интересна тем, кто занимается сжатием данных или хочет написать собственный архиватор.



Статья написана, в основном, по материалам блога, который ведёт Fabian Giesen.
Читать дальше →
Total votes 34: ↑34 and ↓0 +34
Views 7.3K
Comments 8