Обработка больших запакованных файлов на Mac и не только

[Disasm]

Естественно, что все описанное выше можно использовать и в обычном Linux'е.

Вот только в Linux unzip -p прекрасно работает (unzip 6.0)

[MaximChistov]

Может тут кто подскажет, как перехватывать из своего приложения исходящий трафик другого?

[MaximChistov]

upd
отмена, вопрос сильно упростился — как считывать вот такой лог, в который другое приложения пишет? i.gyazo.com/3bf58561103d66361a88b3b9d22c456c.png желательно чтобы как только оно туда дописывало, ямогу это обработать. Подойдет вариант на С# или Objective C

[mcleod095]

Ну если уж в статье про мак и linux вы спрашиваете решение на C#, то позволю себе дать ссылку www.opensource.apple.com/source/text_cmds/text_cmds-9/tail/tail.c
Думаю переписать на нужный язык не составит труда. Ну или погуглить в нужном направлении.

[romik]

А ещё наверное можно написать

./unar -D -f data.zip >(./process.pl)

[aim]

нет. в маке, похоже, 32битный анзип. надо попробовать с хипом из brew

[romik]

а при чём тут unzip?

[aim]

Автор пишет:

Файл обрабатывался моментально, но результат был пустой. Оказалось, что файлы больше 4 ГБ не распаковываются.

[romik]

Прекрасно, но в моём предложении unzip никак и не участвовал.

[romik]

Хотя так не получится, имя совпадать не будет.

[voidMan]

Ставьте через homebrew unzip 6.0, запускайте через /usr/local/Cellar/unzip/6.0/bin/unzip — таких проблем быть не должно.

[varerysan]

Спасибо за информацию о homebrew. я почему-то считал, что это что-то типа jailbreak, поэтому не стал даже смотреть варианты с его установкой, хотелось, чтобы всё было стандартно. Но плюс моего варианта, что пришлось скачать только один файл unar :-)

[olegkrasnov]

Зря вы так. brew, это пожалуй самый офигенный пакетный менеджер что я видел. Настоятельно рекомендую.

[varerysan]

Ну, я и говорю надо попробовать. Просто слово homebrew чем-то похоже на jailbreak :-) это меня и напугало.

[olegkrasnov]

Чем плох jailbreak?

[DevMan]

[sarcasm]Да вы что, он же жутко снижает стсбильность системы![/sarcasm]

[DevMan]

запускайте через /usr/local/Cellar/unzip/6.0/bin/unzip

Если brew правильно установлен, то достаточно просто unzip.

[voidMan]

А вы пробовали? brew ругается на то, что unzip используется системой, и заменять эту функциональность неразумно, поэтому и не подменяет её.

[DevMan]

Пробовал.
На самом деле brew ничего не подменяет, поскольку устанавливает (в реальности делает симлинки) софт в /usr/local/bin.
Если вылезли какие проблемы, то brew unlink zip, и опять используется системный unzip.

[voidMan]

Я понимаю как работает brew. Я просто хотел подчеркнуть то, что при установке brew не будет линковать новую версию, а покажет предупреждение

brew install unzip
==> Installing unzip from homebrew/homebrew-dupes
==> Downloading downloads.sourceforge.net/project/infozip/UnZip%206.x%20%28latest%29/UnZip%206.0/unzip60.tar.gz
######################################################################## 100.0%
==> make -f unix/Makefile macosx
==> make prefix=/usr/local/Cellar/unzip/6.0 MANDIR=/usr/local/Cellar/unzip/6.0/share/man install
==> Caveats
This formula is keg-only, which means it was not symlinked into /usr/local.

Mac OS X already provides this software and installing another version in
parallel can cause all kinds of trouble.
==> Summary
/usr/local/Cellar/unzip/6.0: 14 files, 380K, built in 6 seconds

[DevMan]

brew link --force unzip

[Eugney]

Сталкивался с подобной проблемой на маке, когда unzip не мог распаковать файл больше 4Гб, проблема решилась довольно просто:
tar xvf filename.zip

[varerysan]

tar умеет распаковывать в stdout или в именованный канал?

[Tishka17]

да

-O, --to-stdout
направляет извлекаемые из архива файлы на стандартный вывод

[varerysan]

Да, спасибо. Про tar я знал, но что-то в опциях этого не заметил, хотя искал. Сейчас проверил, похоже работает.

[softwind]

Вещь, конечно, полезная из разряда must to know, но вы с постом лет на 20 опоздали…
В UNIX подобных системах (а MacOS X это — фактически — клон FreeBsd), а так же в Linux-системах с помощью утилит
mknod и mkfifo возможно создание именованного канала. На современных FreeBSD системах уходят от использования mknod (утилита объявляется как deprecated), а — как правило — используют mkfifo.
В 90-х гг. использовал для упаковки/распаковки на лету дампов СУБД Oracle при экспорте/импорте при ограниченности свободного дикого пространства.
Да — удобно, но это из разряда базовых знаний, sorry.
P.S.> Но всё равно плюсую…

[varerysan]

Да, это базовые знания, там вверху у заметки так и написано «tutorial».

[citius]

>>MacOS X это — фактически — клон FreeBsd

OS X имеет весьма опосредованное отношение к FreeBSD.
См wiki.freebsd.org/Myths

[rdc]

где-то до леопарда man ipfw вообще в открытую сообщал, что The ipfw utility is the user interface for controlling the ipfw(4) firewall and the dummynet(4) traffic shaper in FreeBSD.
и таких цельнотянутых кусков полно

[DevMan]

И что в этом удивительного? Такое и сейчас встречается.
Если софт портанут из FreeBSD, они этого не скрывают.
Но это вовсе не означает, что

MacOS X это — фактически — клон FreeBsd

[citius]

Тем не менее «клоном» не назовешь. Да и яббл в ответ коммитит в опенсорс, разве нет?

[rdc]

64-разрядность ОС тут не при чём.
Проблема вызвана тем, что в оригинальном zip поле длины файла 32-битное — blog2k.ru/archives/3391
Различные расширения к формату zip были приделаны позже и их реализация может отличаться.