LIME (Local Interpretable Model-Agnostic Explanations) — популярный модет в решении задачи интерпретации. Он основан на простой идее — приблизить прогнозы сложного оценщика (например, нейронной сети) простым — обычно линейной/логистической регрессией.

Применить LIME можно из коробки при помощи одноименной библиотеки [lime]. Однако, при применении LIME к, в частности, к временным рядам возникают особенности. Поэтому в чистом виде lime для TimeSeries не всегда легко применить. И в этом туториале мы сделаем приближенение метода самостотельно! :)

Привет, друзья!

Я продолжаю цикл статей по туториалам, посвященным области explainable AI. Так, уже были разобраны метод Logit Lens на примере ViT, зондирование gpt2, CAM на примере Yolo NAS — всё можно найти по статьям в профиле. В этом же туториале мы разберем идею применения автокодировщиков для анализа и извлечения признаков из скрытых состояний модели.

Привет, Хабр! В этом туториале разобран метод для анализа внутренних представлений "логит-линза" (Logit Lens).

В результате практики по туториалу, вы:
1. Изучите подход и концепцию Logit Lens;
2. Реализуете Logit Lens для Visual Transformer;
3. Познакомитесь с анализом результатов применения логит-линзы.

Как всегда, весь код будет на гитхаб — step by step. Welcome!

Привет, друзья!

Этот туториал посвящён зондированию (probing) — простому, но мощному методу для изучения внутренней работы LLM (больших языковых моделей). С его помощью можно получить приближенные знания о паттернах, которые выучивает модель и о том, как эти знания распространяются по слоям.

Метод простой, но довольно интересный. К туториалу прилагается ноутбук с кодом. Всех заинтересовавшихся — прошу к чтению!

Методы объяснения моделей — практичный инструмент для понимания модели, оценки её точности и стабильности. Однако, часто можно столкнуться с ситуацией, когда фреймворк, в котором метод реализован, просто не "дружит" с реализацией модели. В этом туториале хочу подробно показать CAM (class activation map) для объяснения моделей зрения.

Привет, друзья!

Признаки, которыми орудует модель ИИ, в чём-то похожи на группы лиц, соединяющихся, чтобы сыграть в игру и выиграть максимально много. Этой идеей в задаче оценки важности коэффициентов в модели вдохновлен метод SHAP. И теперь не он один! Про метод, основанный на идее выборов в парламент в этой статье.

Привет, Хабр!

Значения Шепли (Shapley values) — один из наиболее популярных методов интерпретации ML и DL алгоритмов как на практике, так и в исследованиях. Но если посмотреть на формулу вычисления shapley values и сравнить их с реализациями SHAP во фреймворках можно увидеть, что на практике прямое вычисление не делается.

Отсюда возникают вопросы, ответы на которые мы рассмотрим с вами в этой статье :)

При чтении статей в области explainable AI, нередко можно встретить интерпретируемость (Interpretability) и объяснимость (explainability) как взаимозаменяемые сущности. Между этими понятиями существует путаница, которая вызывает трудности, особенно масштабные при отслеживании и анализе литературы [1].

В этом посте разобрана разница между explainable AI и interpreted AI, приведены примеры и небольшой монолог на тему: "что всё-таки важнее".

Прошу к чтению =)

Предупреждение и радостная весть: статья рассчитана в том числе на тех, кто видит математику впервые в жизни. 

Коротенькое введение. 

Думаю, многие встречали визуализацию с подписью “какой-то там граф”, где были изображены круги, соединенные либо палками, либо разнонаправленными стрелками. Так вот, очень сильно прошу вас сейчас выкинуть это отождествление из головы. 

Да, встречаемые картинки являются визуализацией базовых графов и, кроме того, они являются полезным инструментом в жизни, но математика нежно обидется, если сказать или даже подумать – что граф принадлежит  миру 2D. Теперь от лирики к строгому определению:

Графом — называется пара $(N, E)$, где $N$ — nodes, множество вершин, называемых также узлами, а E — edges множество ребер, называемых также связями. 

В чем отличие этого определения от 2D-мира? Как пример то, что множество N может являться семейством множеств. 

Понимаем и создаём

Байесовские сети при помощи Питона — объяснение с примерами