Dmitriy Vatolin 3Dvideo

Вы какой-то старый список привели, PKWARE в ЭТОМ году в zip даже MP3 втащили (ID 94) ))). Они пытались и пытаются спасти это направление своего бизнеса, сделав из zip контейнер и пытаясь туда запихнуть все доступное (включая PPMd Дмитрия Шкарина, кстати). Но комбайн явно неудачный получился, он нравится только ну очень избранным людям (это я предельно вежливо). Попробуйте сжать zip не в Deflate и послать кому-нибудь))) И сейчас PKWARE в основном в криптографии.

Под ключами я имею ввиду -1, -9 которые позволяют сжимать сильнее или слабее без потерь, но тратя на это существенно разное время.

Потому, что gzip и zip — это один алгоритм сжатия, а поддержка gzip вообще говоря выше, поскольку он поддерживается, например, во всех броузерах.

А с zip человек сравнивается (пусть и с ключем максимальной степени сжатия), поскольку он сжимает хуже, конечно).

Для сравнения: у 7zip 44 место в рейтинге, у WinRAR — 71 место, у bzip2 (крайне популярен под Linux) — 116, а у gzip — 146 место (из 199))). При том, что все архиваторы внесены с наилучшими опциями (сжатие может сильно отличаться в зависимости от опций).

Мой личный рецепт в последнем разделе статьи — ориентироваться на лучших. Лучшие часто алгоритмами зарабатывают (не всегда сжатия без потерь, тема все-таки довольно узкая, но тем не менее))).

Есть такой проект «Effective Video Transcoding», где как суть в том, что можно анализируя небольшую совокупность кадров пережать кусок, причем получив гейн по размеру до 15% в среднеми до 50% в лучших случаях. Как человек, имеющий прямое отношение к разработке этого алгоритма замечу, что как ни странно нейросети пока проигрывают классическим алгоритмам построения модели кодека). Посмотрим, конечно, что дальше будет, останавливаться на достигнутом не планируем.

При этом сегодня нейросети массово уходят внутрь кодеков. В новом AV1, например, который молитвами Google уже в каждом новом смартфоне под Android, внутри десятки небольших сеток на 5-7 слоев, заменивших методы принятия решений предыдущих поколений. Наш аспирант в этот проект код контрибьютил, в итоге сейчас работает в офисе Google в Лондоне.

Итого, ha уверенно лидирует, показывая результат на 5-10% лучше. Но только если файл — чистый текст

Если уж нестандартный формат гоняете, попробуйте интереса ради новые LSTM-based кодировщики текста. Там преимущество перед старыми алгоритмами как раз на текстах в 2.2-2.7 раза (вот nncp, например, по сравнению с обычным gzip):


Интересно CMIX посмотреть, например).

Вообще на Large Text Compression Benchmark у Мэтта Махоней топ-10 (из примерно 200 архиваторов текстов) выглядит так:

                Compression              Compressed size      
Program           Options               enwik8      enwik9    
-------           -------             ----------  ----------- 
cmix v18                              14,838,332  115,714,367 
phda9 1.8                             15,010,414  116,544,849 
nncp 2019-11-16                       16,292,774  119,167,224 
paq8pxd_v48_bwt1  -s14                16,004,759  126,183,029 
tensorflow-compress v2                16,828,585  127,146,379 

durilca'kingsize  -m13000 -o40 -t2    16,209,167  127,377,411 
cmve 0.2.0        -m2,3,0x7fed7dfd    16,424,248  129,876,858 
paq8hp12any       -8                  16,230,028  132,045,026 
drt|emma 1.23                         16,523,517  134,164,521 
zpaq 6.42         -m s10.0.5fmax6     17,855,729  142,252,605 

Понятно, что это заточка именно под Large Text, но тем не менее хорошо новых лидеров измерить.
phda9 (2 место), кстати — это Саша Ратушняк, durilca'kingsize (6 место) — это Дмитрий Шкарин, и к paq8* (4 и 7) Саша Ратушняк руку также прикладывал)

Волшебная история! ) На хабре о ней тоже упоминали habr.com/ru/post/170487, но без анализа «алгоритма»)

А вот был такой формат архивов как HA. И им любили сжимать книги… утверждали, что текст он лучше всех жмёт…

Потому что других доступных реализаций ppm order-4 не было. А теперь у вас есть более мощный PPMd в составе, как минимум, 7z. При том, что PPMd — по нынешним временам уже легендарный старичок.

Интересно следить за новыми экспериментами, например, NNCP: Lossless Data Compression with Neural Networks. Не рекордный, но на enwik9 сжимает тексты В 2.7 РАЗА(!) сильнее gzip!

А за ними еще есть tensorflow-compress (последнее обновление которого на гитхабе 2 дня назад(!!!)), или DeepZip: Lossless Data Compression using Recurrent Neural Networks, CMIX с нейросетевой LSTM и т.д.

Это крайне интересные ростки завтрашнего дня! Надеюсь, руки дойдут и про это нейросетевое безобразие напишу. )

Безусловно:

1. en.wikipedia.org/wiki/Category:Lossless_audio_codecs
2. wiki.hydrogenaud.io/index.php?title=Lossless_comparison
3. stsaz.github.io/fmedia/audio-formats

5 патентами на арифметик владела IBM и никому их не лицензировала. И тоже не обогатилась на этом)

LZW в GIF: вроде бы за него Unisys успешно сдирали деньги.

Патент подан Sperry Corporation, а не человеком (жизненный цикл патента примерно 25K USD — это без судов), но даже в случае их активных вложений в суды Unisys обогатиться (к счастью))) не удалось…

Абсолютно верно ))))

)))) Да, что такое хаффмановское кодирование современная молодежь не знает

Бальзам на душу, спасибо! 3 автора книги комментарии читают)

Деньги, конечно, в основном в сжатии видео. Но приколитесь, я уже 17 лет читаю курс на ВМК МГУ, где есть сжатие (хотя большую часть — обработка видео). Так еще года три назад хотел кусок про сжатие вообще прибить. Так первые, кто были против — это российский Intel. Они занимаются всем спектром кодеков, но, говорят, совсем нигде энтропийному не учат, брать неоткуда людей будет. И даже платную магистратуру оплатили человеку, со студенческой лабораторией несколько лет помогали. Сейчас вот Huawei пришел — говорит — нужны люди на кодеки. И даже конкурс проспонсировали. Причем интерес идет со стороны разработчиков алгоритмов сжатия видео с потерями, т.е. самого что ни на есть мейнстрима.

Про «отсутствие принципиально более эффективных алгоритмов» — рекомендую глянуть как прямо сейчас захватывает рынок Brotli ( github.com/google/brotli ) в силу его принципиального (порядка 20% для отдельных кейсов) преимущества перед Deflate. Также интересно, что как раз сейчас появился реальный шанс на появление нового заметного прорыва благодаря DL. Тут надо будет через пару лет смотреть.

Четыре года назад мне хватало гигабайта с небольшим трафика в месяц, чтобы скоротать время в пути на работу. Сейчас не хватает пяти.

Это всегда будет. Иногда смотришь как векторные картинки сжимают в JPEG вместо PNG — плакать хочется.

Но и оптимизировать будут. Недавно разговаривал с коллегами, которые грамотно пережимают тысячи картинок вконтакта в JPEG2000. Там хороший гейн был получен. И нетривиальная работа по оптимизации реализации JPEG2000 на GPU проведена.

Скажем сжимать мультипликацию в целом и аниме в частности явно можно лучше чем стандартными видеокодеками просто в силу методов создания мультипликации.

Там скоро с переводом в векторный формат может быть недетский рывок.

Для текста тоже можно вынести изрядную часть избыточности в специализированный архиватор.

На Hutter Prize ровно об этом речь. И там сейчас минимальный приз 5000 EUR (они подняли).

Сорри, не слежу. Запросы на screen capture codec получали от разных компаний, в последний раз от Huawei.

А приличные алгоритмы сжатия аудио видео сегодня — это пару лет работы. И не одного человека, а нескольких.

В примере, который я привел над коммерческой реализацией технологии сжатия без потерь работало 6 человек и там было порядка 20-25 человеколет суммарно. Там нормальная сложность (особенно когда делается поддержка битых данных, работы в стримминге и т.д.). Не стоит ее сложность недооценивать. И я тоже давно в индустрии видеокодеков, у вас очень скромная на мой вкус оценка сложности «приличного алгоритма сжатия видео»)

Про конкурсы — на десятки тысяч долларов логика в статье совершенно конкретная: множество людей по непонятной причине полагает, что они изобретут классный алгоритм, дорого продадут его и будут богаты. Реальные же примеры — скорее ближе к ML/DL пути, т.е. победы на конкурсах и далее работа в компаниях. Т.е. заработок будет на зарплате, а не на патентах/продаже технологии. В чем однобокость? )

Я бы не говорил «надежда», но нейросети многое в сжатии перетряхнут (с заметным повышением эффективности алгоритмов). Это уже четко видно.

Конечно) Кстати — при сжатии википедии в Hutter Prize умное применение предварительных статистик крайне актуально.

Вы точно внимательно прочитали? )
1. Речь шла про сжатие mp3 БЕЗ ПОТЕРЬ, психо-аккустика при этом не применяется, только энтропийный движок.
2. Сжатие видео — отдельная интересная тема, которой автор много и плотно занимается и о которой писал на хабр, ссылка на статью в конце для тех кому интересно приведена.
3. В тексте несколько раз даны примеры именно коммерческой эффективности алгоритмов сжатия без потерь. И ровно по этой причине компании объявляют конкурсы на десятки тысяч долларов (2 примера дано, в последнем конкурсе 12 номинаций).

А какой алгоритм сжатия покажет наибольшую эффективность, если в наличии много ресурсов и времени, а сжатие нужно произвести только 1 раз, например сжимаем видео 16K HDR 3D?

Тут нельзя говорить «например», поскольку для видео — свои алгоритмы, более того — для 3D видео свои))). Для 2D видео рекомендую следить за нашими отчетами по 4K (релиз этого года скоро будет), а сильные универсальные алгоритмы через месяц можно будет посмотреть в Global Competition Leaderboards (сейчас многие сильные алгоритмы авторы не заливают).

И в 2 словах: почему сжатие через поиск последовательности в числе Pi гиблая идея? :)

Потому, что фон Нейман таки в чем-то прав)))

зато я увидел, что не один так думаю! Спасибо! )))

Спасибо! Ровно так же ситуацию вижу.

Из забавного. Тем временем пост Не держите людей за идиотов или почему человек с инженерным образованием может сжечь вышку сотовой связи уже набрал +205 и там спрашивают в комментариях инструкции, как жечь вышки 8-) и говорят, что канистры бензина на такое дело не жалко.

Т.е. явно происходит ровно то, что тут нужно было натягивая сову на глобус приписывать. )

Кстати! Недавно на хабре вышла статья Не держите людей за идиотов или почему человек с инженерным образованием может сжечь вышку сотовой связи, которая уже +166 набрала и где речь про шумовое загрязнение, но живущим рядом людям от этого не легче.

Вас не смущает, что автор там явно ведет речь о поджогах вышек? )

Там же в комментариях интересные ссылки типа emftests.com/countless-studies-show-5g-frequencies-cause-illness
В том числе: «According to GreenMedInfo, who published a very well sourced article about 5G, 180 scientists and doctors have called for a moratorium on 5G, understanding it will be hazardous to human health.»

Конечно неправильно. Мне интересна биомедицина (в ключе массовой безопасности) и неинтересна социопсихология (в ключе луддизма).

Не уверен, что мне удастся это объяснить, поскольку вам интересно спорить и нападать, а для этого хороши любые приемы, сколь угодно далекие от того, что говорилось оппонентом реально. Вы проводите жизнь в постоянной борьбе, что вы оставите после себя, когда неизбежно оглянитесь на жизнь в старости?

Кстати, в трудах международного конгресса «Слабые и сверхслабые поля и излучения в биологии и медицине» в одной из статей автор, из Физико-технического института им. А.Ф. Иоффе пишет про СВЧ «смог» от станций базовой связи, мобильных телефонов и т.п.: «Наиболее наглядно это проявляется на эмбриональной стадии развития. К 10 – 12 недели созревания эмбриона, когда только начинают формироваться его защитные системы, СВЧ излучения их подавляют, и эмбрион погибает от любых инфекций или генетических изменений. Так погибает в настоящее время 20% -30% эмбрионов в развитых странах мира, включая Россию. Врачи называют этот процесс «замершей беременностью», в реальности, это убийства не родившихся детей радиопередатчиками, вблизи которых проживали, гуляли или работали эти женщины. Эмбрион по закону не считается человеком, и только поэтому истинных убийц ещё не привлекли к должной ответственности.»

Возможно я неправильно понимаю вашу логику, но по ней вы сами явственно куда-то не туда относитесь (вы бы написали к убийцам, думаю).

Я понимаю, что научный сотрудник просто не смотрел видео приведенного вами блоггера, что сотовая связь совершенно безопасна. )))

Не стану решать за автора, конечно, но для меня, например, такая постановка вопроса выглядит некорректно. Так, первый и пятый вопросы опираются на информацию, которая в данном контексте неизвестна и может быть неверна, второй и третий придают эмоциональную оценку тому ответу, который с большой долей вероятности является правильным по смыслу

Ага! ) Это как известный прикол:
«Ты уже перестал пить коньяк по утрам? Да или нет? Не увиливай от прямого ответа!!!» )

Категорически протестую! )))) Авторы криминальных боевиков хотя бы показывают бандитов (часто в романтическом ключе, как они стреляют и т.п.). А тут я призываю изучать тему глубже (т.е. исследовать ее). А человек мне приписывает борьбу с вышками (при том что при любой борьбе наука сразу умирает) и дальше сам же за это и пытается шельмовать.

Тему отлично разобрал Каптерев недавно.

Это логично, в общем, но не правильно. Это вина по ассоциации, это плохое индуктивное рассуждение. На базе всего одного произведения мы делаем вывод о глобальных представлениях личности. Возможно, он жалел, что написал это стихотворение. Потом мы переносим (аналогия — это форма индукции) свойства Киплинга, на свойства совсем другого человека.

Очень слабое логическое рассуждение. Да, люди которым нравится Киплинг, могут быть расистами и империалистами, но таких людей, вероятно, будет меньшинство.

У него там, кстати, хороший разбор слабости-силы логических утверждений.

Другое дело, что наблюдаемый нами человек воюет, а в войне любые средства хороши (ровно этим война убивает науку), поэтому с логикой там плохо.

Кстати — забавно (я про это пишу выше), что в Англии кипеш с поджогом вышек начался с поста популярного блоггера-конспиролога. А единственная ссылка, которую привел taujavarob в качестве аргумента была тоже на блоггера, который написал пост, что излучения совершенно неопасны, причем в логике — если два события произошли одновременно, это не значит, что между ними есть связь.

Это, конечно, верное утверждение. Есть одна маленькая логическая проблема — из того, что связь не обязательно есть, НЕ ЗНАЧИТ, что связи точно нет. Для блоггера это не очевидно. А поскольку людей, владеющих логикой даже на среднем уровне, в принципе немного — у таких блоггеров (равно как и у блоггеров, призывающих жечь вышки) — всегда найдется своя аудитория.

Но тут каждый развлекается как хочет, мне интереснее, что у исследователей в этой теме происходит (ибо там процесс вполне идет).

Добавил ответ на ваши вопросы в habr.com/ru/post/488610/#Q10_5 )))

Выполняю обещание, добавил в FAQ длинный ответ по мотивам ваших «хотя нет ни одного научно подтвержденного свидетельства в пользу того, что излучение такой мощности, хотя бы в теории, может приводить к подобным последствиям»:
habr.com/ru/post/488610/#Q10_3

Там во второй конференции статья о переводе ЭМП в Группу 1 канцерогенов и много других интересных материалов

Алексей, отличный материал, спасибо!
(особенно хорошо голосование в прошлой части и его сравнение с VC)))

Там не только к одной статье. Там к диссертациям отсылки есть. Про неодинаковый нагрев и проникновение излучения у детей и взрослых есть даже на 1 странице гугла, если правильно запрос составить.

Более того — даже в России уже много лет проводится конгресс «СЛАБЫЕ И СВЕРХСЛАБЫЕ ПОЛЯ И ИЗЛУЧЕНИЯ В БИОЛОГИИ И МЕДИЦИНЕ», на котором в 2018 году (когда он проходил уже в 8-й раз) было судя по тезисам 197 (сто девяносто семь!) докладов.



Понятно, что все эти сотни людей непонятно чем занимаются в вопросе, с которым уже давно всем всё понятно ))), но там много интересного есть, если покопаться. Например, про геннотоксичность излучения и т.п.

Впрочем — это ведь все ересь? ) Как вариант — конгресс можно ненаучными объявить) (ведь научных свидетельств влияния на организм слабых и сверхслабых полей нет и быть не может!!!)))

А вообще спасибо, что пишите! Пожалуй, еще один ответ добавлю, в трудах интересные цитаты есть.

Я к этому вопросу лет через 10 точно вернусь и если специалисты не ошибаются — будет очень интересно проанализировать упорство отстаивания полной безвредности удобных в быту вещей.

Связываю не я, а исследователи, в том числе ВОЗ, которая бодро несколько лет рапортовала что связи нет (хотя оговаривалась, что нужны дополнительные исследования), а потом включила радиоизлучение в потенциальные канцерогены. Думаю ваш вопрос надо адресовать им, ибо они не разбираются в вопросе и не понимают что связи быть не может даже теоретически ).

И прочитайте FAQ. При снижении миелинизации даже банальный тривиально измеряемый нагрев больше и говорить что «с воздействие излучения не связан вообще» — это довольно сильное утверждение.

А вообще, вопреки вашему желанию, исследования в этой области вполне продолжаются, статистика заболеваний копится, «The International Electromagnetic fields Project» ВОЗ продолжает собираться 2-3 раза в год. Ранее они раз в 6 лет нас пресс-релизами радовали, последний раз аккурат 6 лет назад было, специалист из института Общей Физики, занимавшийся вопросов предсказывает много интересных открытий по теме. Ибо именно из теории (и экспериментов) следует, что снижение длины волны (повышение частоты) увеличивает воздействие на клеточном уровне. И как оно проявляется на макроуровне нам и предстоит (с большим интересом) узнать.

И попробуйте таки дочитать FAQ, если можно.

Я бы даже сказал, что если аудитория достаточно велика, то в ней точно найдутся те, кто искренне поймут с точностью до наоборот ))).

Прочитайте FAQ. Там довольно подробно и про рак мозга и про присвоение группы 2В радиоизлучениям и про тенденции.

И, повторюсь: скорее всего в группе риска дети и молодежь (в первую очередь с задержкой миелинизации), а также пожилые люди в первую очередь бесконтрольно (т.е. без регулярных анализов на холестерин) принимающие статины. Таких в развитых странах заметный процент населения.

В России таких пока немного.

Вы дочитали FAQ? Единственное к чему я призываю снова и снова — это глубже исследовать тему. Ибо +21% рака мозга у детей в Австралии за 10 лет и +40% рака мозга за 20 лет в Англии — это звоночек. ВОЗ его услышала, кстати.

Скорее всего в группе риска дети и молодежь (в первую очередь с задержкой миелинизации), а также пожилые люди в первую очередь бесконтрольно (т.е. без регулярных анализов на холестирин) принимающие статины. Таких в развитых странах заметный процент населения.

Конечно безопасно, но некоторые то этого не понимают и уже приступили к реальным боевым действиям по поджогу рейхстага 5G вышек.

Ну Англия имеет богатую многовековую традицию луддизма и нео-луддизма)

Так часто случается, когда вместо исследований (т.е. включения головы) люди воевать начинают)

Вы знаете, когда в научных вопросах речь начинает идти о «войне», наука умирает.

В этом плане я предпочитаю методично пополнять FAQ habr.com/ru/post/488610/#faq (который уже заметно больше исходной статьи и продолжает расти), причем приглашаю всех «воинов» указывать что в нем и где не так… Почти все после этого пропадают. :(

Но интересные содержательные материалы народ присылает (см. предыдущий комментарий аккурат перед вашим).

А что на почве истерии социальный маятник качается в другую сторону — ну так на то и она толпа. Но мы то с вами понимаем, что все это абсолютно безопасно! ;)

Отличная глубокая аналитическая работа! Юрий, спасибо, было крайне интересно прочитать!

Спасибо за содержательный комментарий! (только его увидел)

Да, эксперименты с экранированнием магнитного поля земли и наведением своего (вплоть до записанных магнитных бурь) очень интересные проводят, добавил в FAQ в конце статьи ссылки, посмотрите!

Возможно и псих, я не провел с ним эксперимента (на мое предложение снять шапочку, он предложил потыкать меня паяльником чтобы проверить мою термочувствительность), но лет за несколько до этого лично наблюдал человека перехватывающего морзянку на 5.6 ГГц, в соседней палатке от трансивера (ключ был электронный вибратор, так что не по стуку, а вроде как прямо из эфира).

Спасибо, что не побоялись об этом написать!

Чувство направления (компас) имеют очень многие люди, достаточно «удачно» имплантировать в организм намагниченое железо (сойдет стружка, кончик иголки и все такое прочее). Нейросетка обучится и появится «врожденное чувство севера».

Можно и без иголок и как раз в последние годы тему магниторецепции начали активно исследовать — добавил в FAQ ссылки статьи на эту тему, посмотрите.