Comments 11
Сдается мне, вы что-то путаете. Приведите пример интерпретируемого, но необъяснимого искусственного интеллекта. Посмотрим, что за штука.
Два политолога:- Слушай, ты можешь понять, что вообще происходит?
- Тебе объяснить?
- Да нет, объяснить я и сам могу. Ты понять можешь?
Соглашусь с «критикой» предыдущих комментаторов - тема очень интересная и «богатая», но само объяснение хромает.
Я зашёл в канал и посмотрел, о чем пишет автор - мне понравилась фраза «должно быть зафиксировано в статье» - жаль, что это самоцель (написать статью) - лучше бы было «должно быть зафиксировано в мозгу», но, к сожалению, в статье нет ничего, что в мозгу останется после прочтения.
После прочтения задумался, на какие вопросы автор ответил? По сути приведены просто определения, приведенные утверждения предлагается принимать на веру, нет подтверждений даже на примерах. Если стоит проблема путаницы терминов, то нет даже примеров последствий этой путаницы. Кажется, что эта статья ни о чем, это просто реклама собственного телеграм канала
Жаль, что мне не удалось идеально написать для каждого, но я проанализирую слабые места и постараюсь улучшить свое изложение! Спасибо всем за обратную связь!)
Да нормально написали, если кто варится в теме - не сказать что новое, но заострили внимание хорошо.
Интерпретируемость - это когда дизайн модели позволяет объяснить влияние изменений во входах на изменение выходов. На 1% больше одного из входов - выход меняется на X%. Есть и глобальная (на все данные) и локальная (для сэмпла) интерпретация. Проще говоря - как модель прогнозирует в принципе.
Объяснимость - это когда локально только. BERT выдаст на "я пошел в магазин и купил..." [хлеб] потому что "магазин" и "купил" важны (наиболее влияют на вероятность) в предикте. Локальная интерпретация, причем не полная. То есть объяснение - это что привело модель к прогнозу в конкретном случае.
Всем нужна интерпретируемость, но в случае Страшно Больших Сеток - это как геном расшифровать. Удовлетворяются объяснениями, как тестами из KDL ("на генетическом уровне у этого человека непереносимости глютена нет").
Отличный пример!
Во-первых, в BERTe очень много слоев и как-бы это сказать, нейронов (хотя какие нейроны в трансформере, многоголовое внимание сплошное), и ваше объяснение упрется в проблему проверки множественных гипотез, а при таком объеме возможных вариантов это все не объяснение: даже точного метода корректировки на множественность нет, даже мощные FDR выдают свою долю ошибок, не говоря уже об интерпретации трансформера. Поэтому вы не сможете провести связь между входом и выходом, боюсь, даже вероятностную.
Во-вторых, BERT офигенно конеткстен, да еще и с позиционным эмбеддингом, да еще и с эмбеддингом предложений, да еще с эмбеддингом частей слов: это-же не word2vec, и предсказывать, что "купил" и "магазин" повлияли на ответ, это опять-же не объяснение: нет там прямой связи вход-выход, она контекстна, а не локальна, и влияет сразу все, одновременно.
Боюсь, что никто не сможет объяснить, почему BERT сказала "хлеб", и даже указать метод, которым это можно определить. Поэтому говорить об объяснимости BERT, даже 'локальной' - обманывать себя, как мне кажется.
Спасибо и отдельное спасибо за вашу информативность! Ваши примеры более наглядны, чем абстрактные формулировки в тексте у меня. Надеюсь, они помогут заинтересовавшимся понять лучше)
Interpretability versus explainability: Интерпретируемость или объяснимость?