Комментарии 7
Спасибо за перевод, интерпретируемость пока является одной из основных причин медленного проникновения ML в биомед.
Человек может постфактум обосновать свои действия. Поэтому было бы информативно, если бы модель также могла объяснять то, что сделала, лучше – в виде утверждений на естественном языке. Наивные методы сопровождения решений текстом, вероятно, будут оптимизироваться до состояния «как сформулировать это объяснение, чтобы оно звучало для человека правдоподобно», а не «как дать объяснение, наиболее точно обобщающее шаги, проделанные моделью».
Человек может "обосновать" свои действия. Сознательная/речевая часть разума человека профессионально занимается тем, что придумывает объяснения действиям бессознательной/интуитивной/эмоциональной/автоматической частью разума, и, главное, потом сама в них верит. Поэтому требовать от моделей "настоящих" объяснений, в то время как не ясно, способен ли на них сам человек (или, по крайней мере, 99% людей, в том числе принимающих важнейшие решения), - это очередной пример человеческого шовинизма по отношению к моделям.
Следовательно, на мой взгляд, надо фокусироваться скорее на структуре мотивов, т. е. выборе loss functions и качестве, которое в широком смысле включает в себя робастность, которая может, в свою очередь, быть улучшена приемами которые также улучшают объяснимость/интерпретируемость. Но мы не должны ставить интерпретируемость впереди лошади.
> Другая работа, Interpreting Interpretability: Understanding Data Scientists' Use of Interpretability Tools for Machine Learning, показала, что даже специалисты по data science не всегда понимают, что сообщается в интерпретируемых визуализациях. Это может приводить к необоснованной уверенности в основополагающей модели и даже провоцировать попытки импровизированно обосновать подозрительные результаты.
Хорошая иллюстрация сказанному выше. Людям надо сначала разобраться с собой, прежде чем важно заявлять, что они-то все понимают, и требовать чтобы модели соответствовали выдуманным стандартам.
Еще забавный момент: сейчас есть определенный тренд иррационального позитивизма, дескать, ну не может человек избавиться от эмоций и искажений при принятии решений, ну так это и не плохо, а, наоборот, даже хорошо.
И я даже где-то с этим согласен, но исключительно в том контексте, что мы не может полностью рационализировать и вербализировать наш собственный "черный ящик". И это нормально, пока этот черный ящик принимает лучшие решения, чем какие-то не черные ящики (или псевдо не черные), или искусственные черные ящики, т. е. модели. Но как только они начинают доказуемо принимать худшие решения, вся эта иррациональность и wetware-романтика должны отправиться на мороз.
Так глядишь, появится новая научная дисциплина - психология ИИ :)
Карты значимости (saliency maps) – это широкий класс подходов, рассматривающих, как изменение ввода (или части ввода) сказывается на выводе
Что первое бросается в глаза при взгляде на приведённые карты, так это характерный "текстильный" рисунок. Это - след пулинга 3х3 со страйдом 2. При этом пикселам с чётными Х и Y "везёт" - они попадают в перекрывающуюся область четырёх окон, у них в четыре раза больше шансов повлиять на выход слоя по сравнению с нечётными, которые попадают только в одно окно. Вот такое социальное неравенство.
Интерпретируемость машинного обучения: состояние дел