Комментарии 2
В русскоязычной литературе Information Gain принято называть взаимной информацией.
По описанной здесь логике также работают алгоритмы отбора признаков, основанные на информационных кретериях.
Ещё есть работы, показывающие, как работают нейронные сети с точки зрения теории информации (https://adityashrm21.github.io/Information-Theory-In-Deep-Learning/)
Статья полезная, но если честно, примеры тяжело поддаются пониманию. Нужно будет еще 50 раз перечитать, чтобы понять все детально, а уже тем более — запрограммировать.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Энтропия: как Деревья Решений принимают решения