Преобразование Лежандра со всех сторон

[Devpiligrim]

Спасибо за статью - давно хотел увидеть обзор, где преобразование Лежандра не размазано по пяти учебникам, а собрано в одну нить. Связка "максимум энтропии <--> ОМП как двойственные задачи" и вывод ELBO через сопряжение logsumexp и негэнтропии - самые ценные места текста, потому что обычно ELBO действительно выводят "хитрыми единицами", и фундаментальная идея при этом теряется. То, что вы показали лежандров зазор как KL до апостериора, и есть то самое объяснение, которого не хватает в курсах.

[rudnyi]

Энтропия и преобразование Лежандра появились в классической термодинамике. В этом смысле полезно вначале понять смысл энтропии в классической термодинамике, посколько в статистической механике есть много тонких моментов.

Первое преобразование Лежандра в классической термодинамике - это энтальпия: H = U + pV. Было бы полезно начать рассмотрение термодинамики с этого преобразования в классической термодинамике. Интересно, в этом случае играет роль выпуклость или нет?

[rudnyi]

Я посмотрел более внимательно, но сразу же скажу, что я не математик и раздел Алгебра остался для меня неясным. В термодинамике использование преобразований Лежандра гораздо проще, поэтому сходу непонятно, зачем такие сложности. Возможно, что в термодинамике используется только часть функциональности.

С точки зрения математики мне осталось непонятным требование “наклон f растет быстрее, чем наклон касательной”. Можно взять гиперболу и повернуть ее на девяносто градусов, если хочется. Разве это не будет выпуклой функцией?

Также непонятно утверждение “Оказывается, для выпуклых функций оба описания эквивалентны.” Но насколько я помню, для всех гладких функций сама функция и ее производная являются эквивалентными описаниями. Разве не так?

Теперь про термодинамику. Ваше описание неровно. По всей видимости вы начинаете с микроканонического ансамбля, но в этом случае нельзя говорить про разбиение на ячейки. Это было у Больцмана, но он работал в фазовом μ-пространстве.

Также в термодинамике говорится про введение потенциалов в виде тождества, например для энергии Гельмгольца F ≡ U - TS. Здесь не должно быть ничего другого.

Я подумал про требование выпуклости. В термодинамике есть критерии устойчивости фаз, но при этом можно также можно рассматривать нестабильные состояния. Например, на типичном рисунке энергии Гиббса при расслаивании раствора (см. рисунок), энергия Гиббса раствора невыпуклая. Выпуклость достигается в равновесии при расслоении на две фазы, но ведь невыпуклая энергия Гиббса также рассматривается. А энергия Гиббса есть двойное преобразование Лежандра G ≡ U - TS + pV.