Понятие энтропии используется практически во всех областях науки и техники,
от проектирования котельных до моделей человеческого сознания.
Основные определения как для термодинамики, так и для динамических систем и способы вычисления понять не сложно. Но чем дальше в лес — тем больше дров. Например, недавно выяснил (благодаря Р. Пенроуз, «Путь к реальности», стр 592-593), что для жизни на Земле важна не просто солнечная энергия, а её низкая энтропия.

Если ограничится простыми динамическими системами или одномерными массивами данных (которые могут быть получены как «след» движения системы), то и тогда можно насчитать минимум три определения энтропии как меры хаотичности.
Самое глубокое и полное из них (Колмогорова-Синая) можно наглядно изучить,
используя программы — архиваторы файлов.

Теория динамического хаоса давно является популярной (можно сказать, «модной») темой среди интеллектуалов — технарей, айтишников, даже гуманитариев.
Околонаучные книги и интернет-страницы о хаосе экплуатируют одни и те же модели, известные чуть ли не с XIX века: фракталы, турбулентность, логистическое отображение…
Между тем, в последние 10 лет стало понятно, что динамический хаос (наравне с самоорганизацией) —
ключ к пониманию мироздания, в том числе происхождения и работы нашего сознания.
Серьёзные монографии на эту тему требуют высокого уровня подготовки и математической культуры.
(У кого таковой имеется, рекомендую:
А.Б. Каток, Б. Хасселблат «Введение в современную теорию динамических систем»).
Разумеется, есть примеры сбалансированного подхода:

• Г.М. Заславский, Р.М. Сагдеев «Введение в нелинейную физику»
• С.П. Кузнецов «Динамический хаос»
• А. Лихтенберг, М. Либерман «Регулярная и стохастическая динамика»

расчитанные на уровень 2-3 курса техвуза.
Есть и сайты содержательные:
Саратовская группа нелинейной динамики
Загадочный сайт

Вот довольно свежая, интересная публикация об иерархии хаоса, критериях стохастичности.
Математика там только выглядит пугающе; достаточно знания теории множеств.
Здесь я хотел бы осветить похожую тему: разобрать один из критериев случайности и
предложить домашний эксперимент для само-анализа.