Comments 28
Интересно, а сравнение энтропии исходников программ о чём-нибудь скажет?
Хе-хе… думаю, да. Только анализировать надо не по буквам, а по семантическим единицам — операторам,
переменным.
Очевидно, прога, в которой все операторы и объявленные переменные встречаются равновероятно — это реальный хаос!
переменным.
Очевидно, прога, в которой все операторы и объявленные переменные встречаются равновероятно — это реальный хаос!
Смотря какой хаос. Если распределение будет близко к гауссу, то это уже не детерминированный хаос, а вероятностная модель, для нее Энтропия Колмогорова — Синая по теории должна к бесконечности стремиться. Для систем с детерминированным хаосом она положительна. Вообще в нелинейной динамике, если система описывается большим числом степеней свободы и на определенном этапе нельзя получить ее описание в конечном числе степеней свободы, говорят, что это Джокер, в противном случае — Русло.
Тогда порядок — это прога, в которой половина кода — это if-else :)
Для динамических систем несколько проще подсчитать показатели Ляпунова (которые связаны с КС энтропией)
А, если не секрет, как Вы КС энтропию считали и для каких систем?
А, если не секрет, как Вы КС энтропию считали и для каких систем?
Конечно, связь показателей Ляпунова с КС — гораздо более прямая.
По крайней мере, я реально с выводом разобрался
(а вот доказательства связи сжатия и КС не очень понял, скорее, поверил).
Но то, что ляпуновские показатели проще считать — совсем не факт.
(С алгоритмом Бенеттина долго возился, но сделал на Mathematica).
Для детального анализа, они, конечно, нужны. А для общего сравнения разных данных
метод архивации очень симпатичен.
Системы самые любимые — это биллиарды
По крайней мере, я реально с выводом разобрался
(а вот доказательства связи сжатия и КС не очень понял, скорее, поверил).
Но то, что ляпуновские показатели проще считать — совсем не факт.
(С алгоритмом Бенеттина долго возился, но сделал на Mathematica).
Для детального анализа, они, конечно, нужны. А для общего сравнения разных данных
метод архивации очень симпатичен.
Системы самые любимые — это биллиарды
Алгоритм Бенеттина, это если у вас система в аналитическом виде известна
Если у вас временной ряд или вектор, то используется алгоритм Вольфа.
Если у вас временной ряд или вектор, то используется алгоритм Вольфа.
А можно на Вольфа ссылку? Честно говоря, «готовые» временные ряды по Ляпунову еще не анализировал.
Конечно — метод
Там отличие от Бенеттина незначительное, если есть реализация бенеттина, то допилить можно мгновенно
Но вам еще нужно будет восстановить сам аттрактор методом задержек, найти размерность пространства и т.д., а это уже искусство и шаманство )
Там отличие от Бенеттина незначительное, если есть реализация бенеттина, то допилить можно мгновенно
Но вам еще нужно будет восстановить сам аттрактор методом задержек, найти размерность пространства и т.д., а это уже искусство и шаманство )
Последние значения наверняка зависят от количества авторов.
UFO just landed and posted this here
Конечно, анализ текста по буквам — это детский сад. Но серьёзных работ по сжатию текстов на уровне семантики не нашёл.
Понятие энтропии используется практически во всех областях науки и техники,
от проектирования котельных до моделей человеческого сознания.
О! А можете дать ссылки на несколько моделей человеческого сознания?
Вот, пожалуйста.
А энтропия и информация мощно используется в модели Джулио Тонони «Information integration».
Мечтаю о ней пост на Хабре написать.
А энтропия и информация мощно используется в модели Джулио Тонони «Information integration».
Мечтаю о ней пост на Хабре написать.
Подпишите оси координат, если не трудно.
Сколько (минимум!) вопросов надо задать, чтобы узнать, где крестик?
Ответ — «4». Во всех подобных играх минимальное число вопросов будет равно информационной энтропии.
При этом не имеет значения, какие вопросы задавать.
Правильно будет:
Сколько (минимум!) вопросов надо задать, чтобы гарантированно узнать, где крестик?
Ответ — «4». Во всех подобных играх минимальное число вопросов будет равно информационной энтропии.
При этомнеимеет значения, какие вопросы задавать.
Очень даже имеет значение, какие вопросы задавать. Просто представьте, если задавать
вопросы типа: «а в первой клетке есть? а во второй есть?.. а в 16-й есть?»
Спасибо за интересную статью.
Возможно дополнением к теме, будет этот пост: habrahabr.ru/post/171759/ где я рассказывал о применении энтропии в машинном обучении. А также, ещё один вариант вывода формулы энтропии Шеннона :-)
Возможно дополнением к теме, будет этот пост: habrahabr.ru/post/171759/ где я рассказывал о применении энтропии в машинном обучении. А также, ещё один вариант вывода формулы энтропии Шеннона :-)
Интересная статья, но попробуйте померить степень стахостичности не от осмысленных произведений, а от случайного набора слов (перемешайте случайно слова в имеющихся источниках). Также можно попробовать перемешать имеющиеся в источниках буквы. Есть подозрение, что результат будет аналогичный :), и зависит он не от смысла произведений, а от количества букв в алфавите(можно перемешать буквы и мерить степерь сжатия, как функцию от используемых букв в тексте) и от количества каждой конкретной буквы в тексте. Но это лишь предположение, конечно :)
Sign up to leave a comment.
Энтропия и WinRAR