Comments 13
Спасибо за наводку на библиотеку dtreeviz.
Справедливости ради скажу, что категориальные фичи правильнее обрабатывать с помощью OrdinalEncoder:
Difference between OrdinalEncoder and LabelEncoder
https://datascience.stackexchange.com/questions/39317/difference-between-ordinalencoder-and-labelencoder
У вас что-то не то с картинками. Последняя вообще нечитаемая.
Объясните пожалуйста, вот всё никак не пойму - а зачем их визуализировать?
Есть конечно одно объяснение - "для бизнеса", тобишь презентации для всяких эффективных и не очень менеджеров делать, но на практике - какой смысл?
Ведь любая крупная модель с 50+ фичами - там уже будет дерево огромных размеров, а если лес визуализировать. С нейронками еще хуже, даже на среднюю модель уже пикселей не хватит, а представьте мешанину на экране, если условный ChatGPT попробовать визуализовать.
Более того, суть даже не в "неудобно смотреть", по моему это напрочь противоречит сути машинных моделей - они и должны быть черными ящиками. Потому что веса нам говорят чуть меньше чем ничего, а мы начинаем играть в сломанный телефон "ага модель сделала предположение и замаксила эти веса, поэтому я делаю предположение что между этими параметрами зависимость, и делаю новую супер-пупер модель, которая фитит именно эту взаимосвязь". В итоге выходит предположение на предположении, и ошибка растет по экспоненте.
В общем, я не понимаю, в чем вообще смысл пытаться визуализировать веса, какая от этого польза?
Могу предположить, что визуализация может быть полезна, хотя и вряд ли в таком виде. Я бы ожидал увидеть что-то вроде лиц Чернова, чтобы получить приблизительное понимание, какие слои на что влияют, или, возможно, для первых шагов дебага (которые можно и бизнесу показать). Например, имея нейронку про распознование лиц - визуализировать, на какие части лица нейронка возбуждается сильнее. И целенаправленно тестировать людей без этих частей лица (бровей, там, или морщинок). Ну или мы можем узнать, что на левую половину лица нейронка возбуждается намного сильнее, чем на правую - а это, потенциально, ошибка.
Что до чёрных ящиков - я не уверен, что это корректный аргумент. Если что-то является чёрным ящиком - это вовсе не означает, что нам не нужно его изучать. Тем более, когда речь идет о подобных штуках. В вашем примере - если кто-то ошибочно связал два параметра - это не проблема визуализации, а проблема связующего. Если бы он связал параметры и это оказалось бы верным - то это и была бы польза от визуализации весов.
Про необходимость для нейросети быть черным ящиком - это конечно же абсолютно некорректное утверждение. Причем во множестве аспектов. Как минимум для оптимизации и адаптации нейросетей нужно понимать что в них происходит. Помимо этого существует отдельные направления исследований по извлечению экспертных знаний из нейросетей или по построению объясняемых резульатов и процессов их деятельности. Можно даже предположить, что данный ложный посыл вызван идеей того, что не надо нейросеть ограничивать в выборе способа решения задачи. Но это отнюдь не про то, чтобы она осталась черным ящиком.
Ну, возможно я не совсем правильно выразился про черный ящик. Я хочу сказать, что мы пытаемся нейронам и синапсам сетей придать какой-то смысл по типу "вот эти два нейрона и синапс между ними означают вот такую-то входную переменную и её влияние на вот такую-то выходную". Но вот вопрос - а кто сказал, что такой смысл в принципе можно вкладывать в данные связи? Почему вообще у данных связей есть какой-либо "человекочитаемый" смысл?
Конечно можно. Его может быть трудно найти, может быть трудно назвать или понять. Надо перейти от слова смысл к слову закономерность. Тут все просто. Либо нейросеть действует случайным образом, либо на основе закономерности.
Соответственно, если нейросеть статистически значимо решает задачу, то значит существует закономерность которую нашла нейросеть и которую она реализует, то эту же закономерность можно искать в нейросети. Это как раз удобнее делать, чем в сырых данных.
Ну, с визуализацией "на какую часть реагирует больше" - я отчасти соглашусь, хотя тут скорее что-то вроде корреляционного анализа, а не визуализации (и уж тем более визуализации весов)
А насчет "если кто-то ошибочно связал два параметра - это не проблема визуализации, а проблема связующего", но ведь нету абсолютно никакого способа понять, а правильно ли связаны параметры? Может быть человек связал два неправильных параметра, но получил условные 80% которые на выборке в миллион значений просто совпали, но как только идем в "реальный мир", там эта связь уже не проявляется. И визуализация весов - это способ решить эти связи, имхо.
Визуализация необходима в рамках объясняемого искусственного интеллекта XAI, существует множество способов и это один из его видов. И да, у данного метода есть недостаток трудная для восприятия визуализация при большой размерности данных. Это один из инструментов, для каждой задачи его необходимо подбирать, универсального решения нет
Про то что это XAI - понятно, но зачем он нужен - вот это мне непонятно.
Всякие условно банковские программы, которые проводят расчеты - там ии в принципе нельзя применять, потому что точность не 100% (пусть даже и 99.(9), это все равно недостаточно), для такого нужны конкретные алгоритмы а не ии с элементом случайности.
Те же условно банковские алгоритмы кредитования "выдать или нет" скорингом - да, такое делают, пытаются обьяснить "а вот так вот данная модель смотрит на такие-то параметры", но это уже опять превращение нейронной сети в какой-то конечный алгоритм и попытки понять связи между весами и их "смыслом". Но ведь этого смысла там в принципе может и не быть. Да, "похоже", но это же не говорит о том что это "оно и есть".
Поэтому и для скоринга, где нужно обьяснять что куда и почему - обычные алгоритмы с весами приемлемее чем нейронки. Ибо вот сделал скоринговую модель через нейронку, обьяснил что куда почему в модели, но в реальности все так, что по двум параметрам например "белая зп" и "траты на еду" модель получает какой-нибудь скрытый третий параметр "серая зп" и уже на основе этого параметра выдает скоринг. И ведь никаких методов узнать это нету буквально, как и узнать, а реально ли там смысл есть.
Поэтому и вопрос, зачем и как такое нужно, и где это можно применить с пользой?
Отвечу на ваш пример про кредит. Нельзя однозначно построить экспертную систему для решения этой проблемы, так как есть скрытые факторы, о которых вы и говорили. Банки всегда валидируют свои модели, и если бы экспертная система, основанная только на алгоритмах давала бы лучше показатели, то продолжали использовать её, но на данный момент инструменты с применением нейронных сетей показывают себя лучше. Следовательно XAI необходим, чтобы мы видели на что модели опираются при выводе результата и смогли проверить, не являются ли факторами на самом деле ложными, т.е. выбросами из данных и не относятся к реальным процессам
У деревьев нет весов. Да, все поняли о чем речь, но это не веса.
Визуализация весов в машинном обучении на примере алгоритма Random Forest и Decision Tree