Comments 25
вы запустили частицы мячи и они в нескольких контекстах(информационная на сколько я понял, и физическая визуализация + вероятность) получается их можно рассматривать как и змейку на необратимость, у змейки я в каком-то видосе смотрел на ютубе тоже есть ентропия нам доступна опция либо есть либо не есть, и если сьесть или не сьесть ситуация необратима, пс извиняюсь вы далее пишите об этом, классная статья
Как-то все слишком сложно объясняется, у Veritasium все проще и намного нагляднее, я прям дочке в средней школе включал и ей понятно было. А начинается с вопроса: Что Земля получает от солнца? И если ответ будет "энергию", то второй вопрос: а как много энергии, относительно полученной от солнца, земля излучает в космос? :)
Оригинал: https://www.youtube.com/watch?v=DxL2HoqLbyA
На русском: https://www.youtube.com/watch?v=g1Sdngywob4
Ну статья все же повыше будет, чем научпоп. А так то "попроще" еще в книгах времен СССР обьяснялось, типа "Юный кибернетик" и похожие.
Почерпнул для себя немного математических штучек)
Ну, я-бы так не сказал. В статье хорошо описано как посчитать энтропию и почему именно так считать. Но вторая часть, там где формулы заканчиваются, про время и т.д. (по-сути выводы на тему, а зачем считать энтропию) уже сильно мутная и вместо того, чтоб объяснять, только запутывает, вот для этой части ролик значительно лучше все раскладывает по полочкам.
Ибо на мой личный взгляд, гораздо важнее сначала понять, а уже потом понять как считать, чем сначала понять как считать, а потом вообще ничего не понять. :)
Есть еще один пример, не про энтропию (хотя про нее) а про единицу информации - бод. Вася общается с Машей по переписке. Делает ей предложение. И тут есть два варианта от Васи - если Маша согласна, то она шлет ему пустое письмо. Если не согласна - то не шлет (ну такой пример, не учитывающий потери). Второй вариант - она шлет ему в обоих случаях письмо , в одном из них будет слово "да" а в другом слово "нет". По сути для Васи что в первом варианте 1-0, что во втором 1-0. Вместо "да" или "нет" можно вообще послать целую бандероль с рукописью на 100 страниц, почему так. Субьективно такое письмо бы содержало большое количество информации. А по сути для Васи только 1-0 и значимо, вне зависимости от канала передачи. Только от его ожиданий. И вот это уже точка отсчета.
я смогу представить результат с помощью 3 битов: 000 для 1, 001 для 2, 010 для 3 и т.д.
Извините, а почему тогда десятичную 1 в двоичной системе обозначают как 001, а не как 000? Из желания обозначить двоичным нулём десятичный ноль?
Дело в том, что если в эволюции материи двоичным нулём обозначать первую форму материи, то смена старшего разряда в двоичном числе указывает на появление качественно новой формы, обозначаемой таким числом. Это удобно и нагляднее:
х000 - кварки, х001 - адроны, х010 - атомы, х011 - молекулы, х100 - клетки, х101 - многоклеточные организмы, х110 - цивилизации, х111 - вселенские системы цивилизаций или разумные вселенные, они же фотоны во вселенных следующего масштаба пространства и времени, Х000 - кварки во вселенных следующего масштаба.
Старший 4-й разряд обозначен через х(Х), поскольку неизвестен номер нашего масштаба пространства и времени в масштабном измерении вечного и бесконечного пространства, в которое "вложена" наша Вселенная.
Извините, а почему тогда десятичную 1 в двоичной системе обозначают как 001, а не как 000?
В данном случае речь идет об игральных кубиках, у них нумерация начинается с 1, а не с 0. И важно количество возможных состояний, а не что там конкретно на гранях написано. На монетке тоже не написано на одной стороне 0, а на другой 1, однако вас устроило то, что состояние орел или решка можно записать одним битом.
Спасибо, то есть выбор обозначения номера чего-либо зависит от конкретного случая нумерации. Обозначается состояние объекта (выпадение определённой грани кубика, образование определённой формы материи в эволюции), а оно не может быть нулевым - отсутствующим. Поэтому оно обозначается натуральными десятичными числами 1, 2, 3..., и им соответствуют двоичные числа 00, 01, 10...
"неизвестен номер нашего масштаба пространства и времени в масштабном измерении вечного и бесконечного пространства, в которое "вложена" наша Вселенная"
Чего, мля???
Это в моей эволюционной модели мира.
Эх, концовке статьи не хватает контрольного выстрела в голову, а именно теоремы о возвращении.
Пуанкаре в 1890 показал, а Каратеодори в 1919 доказал, что для любой заданной наперёд точности эпсилон и произвольного начального состояния через некоторое конечное время Т наши шарики в коробке вернутся в начальное состояние с требуемой точностью, энтропия соответственно уменьшится, второе начало будет нарушено, а время опишет замкнутую траекторию, изобразив натуральный "день сурка".
Теорема элементарно доказывается для простейшего тривиального случая с двумя частицами и однобитной точностью ("слева"/"справа").
Живите теперь с этим:)
Подвох в том, что...
для сколько-нибудь крупной системы "шариков" (частиц) это время будет огромным даже по космологическим меркам.
через некоторое конечное время Т наши шарики в коробке вернутся в начальное состояние с требуемой точностью, энтропия соответственно уменьшится, второе начало будет нарушено
Возможно это говорит о неполноценности примера с шариками в коробке. Дается анимация процесса, но не объясняется почему шарики вообще начинают движение. В примере нет энергии. А физическая энтропия это как раз про энергию.
для сколько-нибудь крупной системы "шариков" (частиц) это время будет огромным даже по космологическим меркам.
Это интересный момент. Ведь чем больше пройдет времени, тем больше будет накоплено информации о процессе. А значит увеличится возможность моделирования и предсказания. То есть информационная энтропия действительно будет уменьшаться. И системе даже необязательно возвращаться в исходное состояние. Достаточно того что начнет расти предсказуемость.
Но это с точки зрения информации. С точки зрения физики система описана недостаточно точно. Непонятно что с начальной энергией стенок.
Пример в этой статье плохо описан. Предполагается, что шарики это частицы идеального газа с некоторой температурой, т.е. шарики обладают случайно распределёнными начальными энергией и импульсом. Стенки коробки изнутри считаются зеркальными и находящимися в тепловом равновесии с газом, все взаимодействия упругими, а сама коробка - абсолютно изолированной от внешних воздействий. Т.о. система замкнута, притока/оттока энергии или импульса вовне - нет.
Другой вопрос, что с т.з. квантмеха математически сложно определить позицию частицы в зеркальной коробке, но то уже квантмех.
Да, если мы просто возьмём металлические шарики в плоской коробке, то они с вероятностью 99% соберутся в одном её конце... ах да, мы забыли про гравитацию и тот факт, что нам трудно удержать коробку идеально параллельно поверхности земли, а шарики, собравшись в одном конце коробки, перевешивают, и препятствуют равномерному распределению по коробке...
Всё верно, металлические шарики соберутся в одном конце коробки и энтропия системы возрастет. Потому что гравитационная потенциальная энергия шариков отличается от теплового движения молекул очевидной "направленностью" в пространстве. В случае теплового движения "направленность" находится в квантово-механической области - энергетические состояния, колебательные уровни и т.п.
Есть еще статья Татьяны Афанасьевой Эренфест на эту тему, про стрелу времени и п. Лошидта в т.ч. ей приходится вводить две эпохи с глобальным ростом энтропии и убылью и они обе равнозначны, а значит нет обьяснения почему мы живем именно в одну из них. Т.е. больцмановский принцип работает для состояний, но не процессов
Есть несколько более интересных вопросов, связанных с энтропией:
1) Обладает ли энтропией электрон (если он неделим)? А разные состояния/ электронные облака в атоме?
2) А фотон обладает энтропией? И как она связана с частотой колебаний?
3) В начале Большого взрыва энтропия была минимальна. Предположим Вселенную, где нет тёмной энергии, и Вселенная через какое-то время начинает сжиматься, и сжимается в точку. Что происходит с энтропией?
4) Газ сжимается в ЧД, а потом она испаряется (превращается в газ фотонов). Почему энтропия продолжает увеличиваться?
Обладает энтропией система, допускающая стат.описание. электронный газ - вполне, набор уровней с несколькими электронами тоже. Фотонный газ тоже годится для расчетов.
В моем скромном понимании чтобы приписать энтропию электрону или фотону нужно соединить его с резервуаром и создать возможность реализации разных состояний. Одиночная изолированная частица энтропией не должна обладать, если только она не рассматривается как носитель в неравновесном процессе (теплопроводность, электропроводность). Тогда можно поставить потоку физической величины в соответствие энтропийный поток.
Про 3 и 4 лучше спекулировать не буду.
Эту величину I обычно называют информативностью или неожиданностью, поскольку чем меньше вероятность появления состояния, тем больше неожиданность, когда оно вдруг наступает.
Когда вероятность мала, неожиданность велика, а когда вероятность велика, неожиданность мала.
Вместо "неожиданности" лучше использовать "удивление". Если вероятность была мала, то удивление будет велико. А если вероятность была велика, тогда нечему удивляться.
Некоторые примеры из реального мира противоречат утверждению, что энтропия всегда возрастает.
Например Хабр. Энтропия Хабра низкая, когда за день не находишь ни одной интересной статьи. А когда вдруг появляется что-то интересное, то - "Черт возьми, что происходит?! Неужели, неужели... энтропия возрастает?! ... Ах нет, показалось. Как же все предсказуемо. Проклятая энтропия не желает расти."
энтропия — это ожидаемая неожиданность
Я все понял!
Энтропия - явление макроскопическое и статистическое, отнесенное к какой-то выделенной, фактически или мысленно, системе. "Энтропия" единичного объекта - это удельная величина, результат деления на количество таких объектов, или на единичный объем и т.д. Т.е. нельзя говорить об энтропии игральной кости в отрыве от 29 (а лучше - больше) штук таких же костей. После того, как их бросили одновременно, уже можно говорить об энтропии этой системы. А после операции деления на 30 - об "энтропии" единичного объекта.
Энтропия (без кавычек), как я понимаю, это явление, связанное с энергией системы. Что-то вроде способа сложить как можно больше вещей в отпускной чемодан. В систему подается энергия, и система начинает "упаковывать" эту энергию максимально экономно, т.е. так, чтобы любые её части отклонились от предыдущего "спокойного" состояния минимально. Например, чтобы прикипячении спирта не было в одном конце колбы разрыва молекулярных связей, а в другом - самопроизволной кристаллизации.
Энтропия - это способ максимально плотно принять энергию в систему извне и хранить её там. Это принцип Ле-Шателье - Брауна. Можно прибегнуть к грубым аналогия и предложить аналогию с инертной массой.
Если вернуться к игральным костям, то эту "энтропию" можно даже моделировать программно. Взять матрицу 3-битных "байтов" размером 8 х 8, закинуть туда "энергию" в виде хаотичного циклического взаимодействия с ближайшими соседями битовыми операциями (or, xor, and) с опеределнной частотой, и сравнить побитно с такой же матрицей, только с одновременно брошенными костями, тоже 8 х 8. Наверно, получится удельное изменение в 2,4 бита на кость.
Энтропия шулерской 8-гранной игральной кости, в которой игральная кость выпадает одной гранью 99% времени, а другими гранями остальные 1% времени с равной вероятностью между ними (около 0,14% каждая), составляет:
Забавно, нумпай считает немного иначе:
>>> import numpy as np
>>> -(.99*np.log2(.99)+.0014*np.log2(.0014)*7)
np.float64(0.10726207708158401)
А возрастает ли энтропия положительных событий? Т.е. общая плотность хороших событий возрастает, а плохих уменьшается. Возрастает ли энтропия чёрной дыры?
Что такое энтропия