varerysan Feb 19 2015 at 00:41

Обработка больших запакованных файлов на Mac и не только

2 min

8.2K

Development for MacOS*

Tutorial

Comments 32

Disasm Feb 19 2015 at 03:30

Естественно, что все описанное выше можно использовать и в обычном Linux'е.

Вот только в Linux unzip -p прекрасно работает (unzip 6.0)

MaximChistov Feb 19 2015 at 04:11

Может тут кто подскажет, как перехватывать из своего приложения исходящий трафик другого?

MaximChistov Feb 19 2015 at 04:46

upd
отмена, вопрос сильно упростился — как считывать вот такой лог, в который другое приложения пишет? i.gyazo.com/3bf58561103d66361a88b3b9d22c456c.png желательно чтобы как только оно туда дописывало, ямогу это обработать. Подойдет вариант на С# или Objective C

mcleod095 Feb 19 2015 at 07:20

Ну если уж в статье про мак и linux вы спрашиваете решение на C#, то позволю себе дать ссылку www.opensource.apple.com/source/text_cmds/text_cmds-9/tail/tail.c
Думаю переписать на нужный язык не составит труда. Ну или погуглить в нужном направлении.

romik Feb 19 2015 at 06:42

А ещё наверное можно написать

./unar -D -f data.zip >(./process.pl)

aim Feb 19 2015 at 07:04

нет. в маке, похоже, 32битный анзип. надо попробовать с хипом из brew

romik Feb 19 2015 at 08:22

а при чём тут unzip?

aim Feb 19 2015 at 09:15

Автор пишет:

Файл обрабатывался моментально, но результат был пустой. Оказалось, что файлы больше 4 ГБ не распаковываются.

romik Feb 19 2015 at 09:16

Прекрасно, но в моём предложении unzip никак и не участвовал.

romik Feb 19 2015 at 08:24

Хотя так не получится, имя совпадать не будет.

voidMan Feb 19 2015 at 07:30

Ставьте через homebrew unzip 6.0, запускайте через /usr/local/Cellar/unzip/6.0/bin/unzip — таких проблем быть не должно.

varerysan Feb 19 2015 at 08:26

Спасибо за информацию о homebrew. я почему-то считал, что это что-то типа jailbreak, поэтому не стал даже смотреть варианты с его установкой, хотелось, чтобы всё было стандартно. Но плюс моего варианта, что пришлось скачать только один файл unar :-)

olegkrasnov Feb 19 2015 at 09:45

Зря вы так. brew, это пожалуй самый офигенный пакетный менеджер что я видел. Настоятельно рекомендую.

varerysan Feb 19 2015 at 10:02

Ну, я и говорю надо попробовать. Просто слово homebrew чем-то похоже на jailbreak :-) это меня и напугало.

olegkrasnov Feb 19 2015 at 12:08

Чем плох jailbreak?

DevMan Feb 19 2015 at 12:11

[sarcasm]Да вы что, он же жутко снижает стсбильность системы![/sarcasm]

DevMan Feb 19 2015 at 11:15

запускайте через /usr/local/Cellar/unzip/6.0/bin/unzip

Если brew правильно установлен, то достаточно просто unzip.

voidMan Feb 19 2015 at 11:17

А вы пробовали? brew ругается на то, что unzip используется системой, и заменять эту функциональность неразумно, поэтому и не подменяет её.

DevMan Feb 19 2015 at 11:24

Пробовал.
На самом деле brew ничего не подменяет, поскольку устанавливает (в реальности делает симлинки) софт в /usr/local/bin.
Если вылезли какие проблемы, то brew unlink zip, и опять используется системный unzip.

voidMan Feb 19 2015 at 11:28

Я понимаю как работает brew. Я просто хотел подчеркнуть то, что при установке brew не будет линковать новую версию, а покажет предупреждение

brew install unzip
==> Installing unzip from homebrew/homebrew-dupes
==> Downloading downloads.sourceforge.net/project/infozip/UnZip%206.x%20%28latest%29/UnZip%206.0/unzip60.tar.gz
######################################################################## 100.0%
==> make -f unix/Makefile macosx
==> make prefix=/usr/local/Cellar/unzip/6.0 MANDIR=/usr/local/Cellar/unzip/6.0/share/man install
==> Caveats
This formula is keg-only, which means it was not symlinked into /usr/local.

Mac OS X already provides this software and installing another version in
parallel can cause all kinds of trouble.
==> Summary
/usr/local/Cellar/unzip/6.0: 14 files, 380K, built in 6 seconds

DevMan Feb 19 2015 at 11:29

brew link --force unzip

Eugney Feb 19 2015 at 08:32

Сталкивался с подобной проблемой на маке, когда unzip не мог распаковать файл больше 4Гб, проблема решилась довольно просто:
tar xvf filename.zip

varerysan Feb 19 2015 at 09:03

tar умеет распаковывать в stdout или в именованный канал?

Tishka17 Feb 19 2015 at 10:05

да

-O, --to-stdout
направляет извлекаемые из архива файлы на стандартный вывод

varerysan Feb 19 2015 at 10:12

Да, спасибо. Про tar я знал, но что-то в опциях этого не заметил, хотя искал. Сейчас проверил, похоже работает.

softwind Feb 19 2015 at 09:00

Вещь, конечно, полезная из разряда must to know, но вы с постом лет на 20 опоздали…
В UNIX подобных системах (а MacOS X это — фактически — клон FreeBsd), а так же в Linux-системах с помощью утилит
mknod и mkfifo возможно создание именованного канала. На современных FreeBSD системах уходят от использования mknod (утилита объявляется как deprecated), а — как правило — используют mkfifo.
В 90-х гг. использовал для упаковки/распаковки на лету дампов СУБД Oracle при экспорте/импорте при ограниченности свободного дикого пространства.
Да — удобно, но это из разряда базовых знаний, sorry.
P.S.> Но всё равно плюсую…

varerysan Feb 19 2015 at 09:04

Да, это базовые знания, там вверху у заметки так и написано «tutorial».

citius Feb 19 2015 at 09:27

>>MacOS X это — фактически — клон FreeBsd

OS X имеет весьма опосредованное отношение к FreeBSD.
См wiki.freebsd.org/Myths

rdc Feb 19 2015 at 16:35

где-то до леопарда man ipfw вообще в открытую сообщал, что The ipfw utility is the user interface for controlling the ipfw(4) firewall and the dummynet(4) traffic shaper in FreeBSD.
и таких цельнотянутых кусков полно

DevMan Feb 19 2015 at 16:52

И что в этом удивительного? Такое и сейчас встречается.
Если софт портанут из FreeBSD, они этого не скрывают.
Но это вовсе не означает, что

MacOS X это — фактически — клон FreeBsd

citius Feb 19 2015 at 16:53

Тем не менее «клоном» не назовешь. Да и яббл в ответ коммитит в опенсорс, разве нет?

rdc Feb 19 2015 at 16:32

64-разрядность ОС тут не при чём.
Проблема вызвана тем, что в оригинальном zip поле длины файла 32-битное — blog2k.ru/archives/3391
Различные расширения к формату zip были приделаны позже и их реализация может отличаться.