Здравствуйте, уважаемая аудитория! Предлагаю вашему вниманию первую часть перевода большой обзорной статьи на тему рекомендательных систем, а именно - одной из ее областей, рекомендаций с обоснованием.

В статье проблема обоснований в рекомендательных системах рассматривается с нескольких точек зрения, анализируются открытые проблемы и задачи в данной области и затрагивается тема обоснований в глубоком обучении и ИИ в целом.

Статья может быть интересна всем, кто желает составить целостное и подробное представление об истории развития рекомендательных систем, методах, которые в них применяются, методах оценки моделей с обоснованием и посмотреть на примеры использования рекомендаций с обоснованием в приложениях.

Для облегчения восприятия текста устойчивые фразы и клише переводятся на русский язык, но в тех случаях, когда англоязычный термин является популярным, означает название подхода или области и может помочь в поиске информации, либо может быть переведен неоднозначно, он приводится в скобках сразу после переводенного словосочетания.

Рекомендации с обоснованием: обзор и новые перспективы

Аннотация. Рекомендации с обоснованием (explainable recommendation) предполагают разработку моделей, которые генерируют не только качественные рекомендации, но также предоставляют интуитивные объяснения выданных рекомендаций. Объяснения могут как идти постфактум, так и непосредственно выводиться из модели обоснования (в таком случае их называют также интерпретируемыми, или прозрачными). Рекомендации с обоснованием отвечают на вопрос «почему» путем предоставления объяснений пользователям и разработчикам системы и помогают человеку понять, по каким причинам тот или иной объект был рекомендован алгоритмом. Рекомендации с обоснованием помогают улучшить прозрачность, убедительность, результативность, надежность и опыт использования рекомендательных систем, а также помогают разработчикам в процессе поиска ошибок в системе. В последнее время в реальных системах было предложено и реализовано большое количество подходов для рекомендаций с обоснованием – особенно с использованием методов, основанных на моделях.

В данной статье мы приводим всесторонний обзор исследований в области рекомендаций с обоснованием. Сначала мы показываем место проблемы рекомендаций с обоснованием в общем направлении исследований по рекомендательным системам путем классификации актуальных проблем по пяти категориям под названием «5W»: что, когда, кто, где и почему (what, when, who, where, why). Далее приводим полный обзор проблемы рекомендаций с обоснованием с трех точек зрения:

Хронология исследований рекомендаций с обоснованием, включая ранние примитивные подходы и подходы более позднего времени, основанные на моделях.
Двумерная таксономия для классификации направлений исследований в данной области: первое измерение – источник рекомендаций, или форма их представления, и второе – алгоритм генерации обоснований.
Применение рекомендаций с обоснованием в различных задачах предоставления рекомендаций, таких как рекомендация продуктов, социальные рекомендации, рекомендации достопримечательностей (point-of-interest or POI recommendation).

Также один из разделов посвящен рассмотрению перспектив исследований проблемы рекомендаций с обоснованием в более широких областях исследований получения информации (information retrieval or IR), искуственного интеллекта (ИИ) и машинного обучения (МО). Статья завершается обсуждением потенциальных направлений исследований в будущем для дальнейшего развития данной области.

Раздел 1. Введение

1.1. Рекомендации с обоснованием

Рекомендации с обоснованием – алгоритмы, предоставляющие персонализированные рекомендации и решающие проблему «Почему», т.е. помимо предоставления пользователям или разработчикам системы результатов рекомендаций, они также предоставляют объяснения, уточняющие, почему данные объекты были рекомендованы. Таким образом, данный механизм помогает улучшить прозрачность, убедительность, результативность, надежность и опыт использования рекомендательных систем, а также помогает разработчикам диагностировать систему, искать ошибки и настраивать алгоритм рекомендаций.

Для того, чтобы показать место проблемы рекомендаций с обоснованием в области исследований рекомендательных систем, мы приводим концептуальную таксономию. В частности, исследования в области рекомендаций с обоснованием могут быть классифицированы согласно «5W», т.е. на категории, отвечающие на вопросы когда, где, кто, что и почему (what, when, who, where, why), или, соотвественно, на рекомендации, зависящие от времени, от места, социальные рекомендации, рекоммендации в зависимости от предметной области и рекомендации с обоснованием.

Модели рекомендаций с обоснованиями могут разделяться на использующие внутренние модели (intristic models) и безмодельные (model-agnostic) (Lipton, 2018 [1]; Molnar, 2019 [2]). Подход с внутренними моделями предполагает создание интерпретируемой модели, где механизм принятия решений является прозрачным и, таким образом, становится возможным действительно обеспечить объяснение принятого решения (Zhang et al., 2014a [3]). В безмодельном подходе (Wang et al., 2018d [4]), который иногда так же называют «подход с объяснениями постфактум» (Peake and Wang, 2018 [5]), механизм принятия решения рассматривается как черный ящик, и модель объяснения генерируется уже после принятия решения. Основа философии обоих подходов лежит в области когнитивной психологии – в одном случае человек принимает взвешенные, рациональные решения и может объяснить, почему данное решение было принято, а в другом случае сначала принимает решение и затем ищет объяснение, чтобы обосновать решение или оправдать себя. (Lipton, 2018 [1]; Miller, 2019 [6])

Область рекомендаций с обоснованием включает в себя не только разработку прозрачных моделей МО, получения информации (information retrieval) или глубинного анализа данных (data mining), но и также разработку эффективных методов представления рекомендаций или обоснований пользователям и разработчикам системы, т.к. человек [прямо или опосредованно] вовлечен в цикл решения задачи предоставления рекомендаций с обоснованием на протяжении всего времени. Значительные усилия в исследованиях поведения пользователей и взаимодействия человек-компьютер направлены на понимание того, как пользователи работают с обоснованиями.

В данном разделе мы приводим не только постановку задачи рекомендаций с обоснованием, но также масштабное описание области исследований рекомендательных систем. Оно поможет читателям понять уникальность проблемы рекомендаций с обоснованием, ее место в данной области и ее важность для исследований в области рекомендательных систем.

1.2. Историческая справка

В данном разделе мы представим историю развития исследований в области рекомендаций с обоснованием. Несмотря на то, что сам термин «рекомендации с обоснованием» формально был введен недавно (Zhang et al., 2014a [3]), основная концепция, тем не менее, была введена в ранних работах по рекомендательным системам. Например, Schafer et al. (1999) [7] отмечает, что рекомендации могут быть объяснены с помощью других объектов, с которыми знаком пользователь, например обоснование «продукт, который Вы ищете, похож на данные продукты, которые вам понравились ранее». Данное наблюдение приводит к фундаментальной идее коллаборативной фильтрации (КФ) (Collaborative filtering or CF), основанной на релевантных объектах (item-based collaborative filtering or item-based СF); Herlocker et al. (2000) [8] изучает проблему получения обоснований для рекомендаций, полученных с помощью КФ, в MovieLens, используя обзоры пользователей, а Sinha and Swearingen (2002) [9] подчеркивают роль прозрачности в рекомендательных системах. Кроме того, даже если рекомендации с обоснованием и ранее серьезно привлекали внимание исследователей, то на практике в основном использовались объяснения, полученные ручными или полуавтоматическими методами, например объяснение «пользователи также просматривали» в системах электронной торговли (Tintarev and Masthoff, 2007a [10]).

Для того, чтобы помочь читателям проследить предварительную историю исследований в области объяснения рекомендаций и причину выделения рекомендаций с обоснованием в качестве весьма важной исследовательской задачи в последние годы, в данном разделе мы предлагаем исторический обзор проведенных исследований.

Ранние подходы к созданию персонализированных рекомендательных систем в основном фокусировались на использовании рекомендаций на основе контента (content-based) или на основе КФ (Ricci et al., 2011 [11]). Рекомендательные системы на основе контента моделируют пользовательские и объектные профайлы с помощью различной доступной контентной информации, такой, как цвет, цена, марка товаров в электронной торговле, или жанр, режиссер и длительность фильмов в системах обзоров (Balabanovic and Shoham, 1997 [12]; Pazzani and Billsus, 2007 [13]). Т.к. контент, относящийся к объекту, легко понимается пользователями, то объяснения для пользователей, почему объект был рекомендован, интуитивны. Например, одним из очевидных подходов является предоставление пользователю тех признаков контента, которые могут представлять для него интерес в рекомендованном объекте. Ferwerda et al. (2012) [14] проводит всестороннее исследование возможных способов предоставления обоснований для рекомендаций, основанных на контенте.

Тем не менее, сбор контентной информации для различных предметных областей может являться трудоемким процессом. С другой стороны, подходы, основанные на коллаборативной фильтрации, предпринимают попытку избежать данной проблемы, используя т. н. «народную молву» (Ekstrand et al., 2011 [15]). КФ, основанная на релевантных пользователях (user-based CF) - один из ранних алгоритмов КФ, применялась в GroupLens для рекомендательной системы новостей (Resnick et al., 1994 [16]). КФ, основанная релевантных пользователях, представляет каждого пользователя как вектор оценок, и предсказывает недостающие оценки сообщений, основываясь на взвешенном среднем оценок данного сообщения другими пользователями. Подобным образом Sarwar et al. (2001) [17] представляет метод КФ, основанной на релеватных объектах (item-based CF), и далее Linden et al. (2003) [18] описывает использование данного метода в рекомендательной системе товаров Амазон. КФ, основанная на релеватных объектах, представляет каждый объект как вектор оценок, и предсказывает недостающие значения, основываясь на взвешенном среднем оценок похожих элементов.

Несмотря на то, что механизм предсказаний, основанный на оценках, должен быть относительно сложным для понимания среднего пользователя, КФ, основанная на на релеватных пользователях или объектах, легко объясняется благодаря философии алгоритма. Например, объекты, рекомендованные КФ, основанной на релеватных пользователях, могут объясняться фразой «пользователи со сходными интересами предпочитают данный продукт», в то время как КФ, основанная на релеватных объектах, объясняется фразой «данный продукт похож на продукты, которые Вам понравились ранее». Тем не менее, несмотря на то, что идея КФ достигла значительного прогресса в улучшении точности рекомендаций, она менее интуитивна с точки зрения предоставления обоснований рекомендаций в сравнении с алгоритмами, основанными на контенте. Важность данной проблемы отмечается в ранних исследованиях в данной области (Herlocker and Konstan, 2000 [19]; Herlocker et al., 2000 [8]; Sinha and Swearingen, 2002 [9]).

Идея КФ достигла дальнейшего успеха в 2000х гг., когда в работе Koren (2008) [20] была представлена интеграция КФ и скрытой факторной модели (Latent Factor Models or LFM). Матричная факторизация (Matrix Factorization or MF) и ее разновидности оказались особенно успешны в задачах предсказания оценок (Koren et al., 2009 [21]). Исследования, посвященные скрытым факторным моделям, были ведущими в области рекомендательных систем в течении многих лет. Тем не менее, несмотря на хорошую производительность, показанную в задаче предоставления рекомендаций, «скрытые факторы» в скрытых факторных моделях не поддаются интуитивному объяснению, что делает трудным понимание, почему тот или иной объект получил высокий рейтинг рекомендации или почему был выбран именно он среди других объектов. Недостаточность объяснимости модели усложняет задачу предоставления обоснований пользователям, т.к. высокий рейтинг, полученный при решении задачи рекомендации не может служить удовлетворительным объяснением для конечного пользователя.

Для того, чтобы сделать рекомендательные модели более понятными, исследователи постепенно обратились к проблеме рекомендательных систем с обоснованием (Explainable Recommendation Systems), т.е. таких систем, в которых рекомендательный алгоритм не только выводит список рекомендаций, но также предоставляет обоснования для рекомендаций. Например, Zhang et al. (2014a) [3] определяет проблему рекомендаций с обоснованием и предлагает явную факторную модель (Explicit Factor Model or EFM) путем выравнивания скрытых измерений с явными признаками для получения рекомендаций с обоснованиями. Для решения проблемы обоснований были также предложены другие подходы, которые в дальнейшем будут рассмотрены в данной статье. Стоит отметить, что в последние годы появились примеры применения моделей глубокого обучения (deep learning or DL) для получения персонализированных рекомендаций. Мы полагаем, что использование моделей глубокого обучения для улучшения производительности в рекомендательных системах может иметь спорный результат (Dacrema et al., 2019 [22]) , но данная проблема выходит за рамки нашего исследования. В этом обзоре мы фокусируемся на том, что глубокие модели имеют природу черного ящика, и данная характеристика моделей вносит сложности в обеспечение обоснований. Далее мы рассмотрим исследования в области построения рекомендательных систем на основе моделей глубокого обучения.

В широком смысле, свойство объяснимости (explainability) систем ИИ уже было в центре обсуждения в 1980х в эпоху исследований «старого», или логического ИИ, когда системы, основанные на знаниях (knowledge-based systems), выполняли задачи предсказания или диагностики с достаточным качеством, но не могли объяснить, почему был сделан тот или иной выбор. Работа (Clancey, 1982 [23]) показала, что предоставление обоснований требует гораздо больших знаний, чем простое предсказание. Недавний взрыв в области больших данных и быстрый рост вычислительных мощностей вывели производительность ИИ на новый уровень, но более широкое сообщество исследователей ИИ в последние годы вновь осознало важность ИИ с обоснованием (Explainable AI or XAI) (Gunning, 2017) [24]. Область ИИ с обоснованием включает исследование широкого круга задач обоснования ИИ в глубоком обучении, компьютерном зрении, системах беспилотного вождения и задачах обработки естественного языка. Тот факт, что данная задача является существенным направлением исследований в области ИИ, подчеркивает необходимость пристального внимания исследователей из области получения информации и рекомендательных систем (IR/RecSys) для решения задач обоснований в различных системах поиска и получения рекомендаций. Кроме того, проблема рекомендаций с обоснованием является подходящей задачей для основания нового направления исследований теорий и алгоритмов машинного обучения с обоснованием (Explainable Machine Learning).

1.3. Классификация методов

В данном обзоре мы приводим таксономию существующих методов рекомендаций, что поможет читателю понять уровень развития рекомендаций с обоснованием.

В частности, мы классифицируем существующие исследования рекомендаций в двух ортогональных измерениях:

Источник информации, или форма представления обоснований (напр., обоснование в виде предложений текста), что раскрывает аспект человекомашинного взаимодействия (Human‑Computer Interaction or HCI) в исследованиях обоснования рекомендаций.
Модели для генерации обоснований, что отражает аспект машинного обучения в данном направлении исследований. Потенциальные модели с обоснованием включают в себя метод ближайшего соседа (nearest-neighbor), матричную факторизацию, тематическое моделирование (topic modelling), графические модели (graph-models), глубокое обучение, механизмы вывода (knowledge reasoning), поиск по ассоциативным правилам (association rule mining) и др.

С использованием данной таксономии, каждая комбинациях двух измерений относится к конкретному направлению исследований в области рекомендаций с обоснованием. Стоит отметить, что между понятиями «как обоснования представлены (форма представления обоснований)» и «тип информации, использующейся для генерации обоснований (источник обоснований)», может присутствовать концептуальная разница. Тем не менее, в контексте проблемы рекомендаций с обоснованиями оба понятия тесно связаны друг с другом, т.к. тип информации обычно определяет форму представления информации. Вследствие этого мы объединяем оба понятия в одном измерении классификации. Мы полагаем, что среди множества возможных данная таксономия является единственно подходящей для организации исследования, т. к. в ней рассматриваются аспекты и человекомашинного взаимодействия, и машинного обучения.

В таблице 1.1. показана классификация . Например, явная факторная модель для рекомендаций с обоснованием (Zhang et al., 2014a [3]) используется в сочетании с методом матричной факторизации, в результате обоснование представляется в виде предложения для рекомендованного объекта. Таким образом, данная модель попадает в категорию «матричная факторизация с текстовым обоснованием». Интерпретируемая сверточная нейронная сеть (Seo et al., 2017 [25]), с другой стороны, предполагает использование модели глубокой сверточной нейронной сети и в качестве обоснований предлагает использование признаков объектов. Следовательно, она попадает в категорию «глубокое обучение с обоснованием с помощью признаков объектов/пользователей». Другим примером является рекомендация с визуальным обоснованием (Chen et al., 2019b [26]), что предполагает использование модели глубокого обучения для генерации изображения-обоснования, что относится к категории «глубокое обучение с визуальным обоснованием». Подобным образом мы классифицируем и другие исследования согласно данной таксономии, так что читатели могут проследить отношения между существующими методами рекомендаций с обоснованием.

Т.к. в данной области проведено множество исследований, таблица 1.1. является неполным перечислением методов рекомендаций с обоснованием. Мы приводим одну работу для каждой комбинации «модель-информация» в соответствующей ячейке. Тем не менее, в разделах 2 и 3 данного обзора мы рассмотрим детали множества методов рекомендаций с обоснованием.

Таблица 1.1 (начало)

	Метод ближайшего соседа	Матричная факторизация	Тематическое моделирование	Графические методы
Релевантные пользователи или объекты	Herlocker et al., 2000 [8]	Abdollahi and Nasraoui, 2017 [32]	-	Heckel et al., 2017 [37]
Признаки пользователя или объекта	Vig et al., 2009 [30]	Zhang et al., 2014a [3]	McAuley and Leskovec, 2013 [34]	He et al., 2015 [38]
Текстовое обоснование, предложение	-	Zhang et al., 2014a [3]	-	-
Визульное обоснование	-	-	-	-
Социальное обоснование	Sharma and Cosley, 2013 [31]	-	Ren et al., 2017 [35]	Park et al., 2018 [39]
Кластер слов	-	Zhang, 2015 [33]	Wu and Ester 2015 [36]	-

Таблица 1.1 (продолжение)

	Глубокое обучение	Системы, основанные на знаниях	Поиск правил	Объяснения постфактум
Релевантные пользователи или объекты	Chen et al., 2018c [40]	Catherine et al., 2017 [42]	Peake and Wang 2018 [5]	Cheng et al., 2019a [47]
Признаки пользователя или объекта	Seo et al., 2017 [25]	Huang et al., 2018 [43]	Davidson et al., 2010 [45]	McInerney et al., 2018 [48]
Текстовое обоснование,предложение	Li et al., 2017 [41]	Ai et al., 2018 [44]	Balog et al., 2019 [46]	Wang et al., 2018d [4]
Визульное обоснование	Chen et al., 2019b [26]	-	-	-
Социальное обоснование	-	-	-	-
Кластер слов	-	-	-	-

1.4. Объяснимость и результативность

Цели улучшить свойства объяснимости (explainability) и результативности (effectiveness) могут конфликтовать при разработке архитектуры модели, что приводит к необходимости компромисса (Ricci et al., 2011 [11]). Например, мы можем либо выбрать простую модель для улучшения качества объяснимости, либо выбрать сложную модель для улучшения точности в ущерб объяснимости. В то же время последние исследования показали, что обе цели необязательно являются конфликтующими в проектировании рекомендательных моделей (Bilgic et al., 2004 [27]; Zhang et al., 2014a [3]). Например, новейшие методы – такие как глубокое обучение представлениям (deep representation learning) – могут помочь проектировать рекомендательные модели, являющиеся одновременно и объяснимыми, и результативными. Разработка моделей глубокого обучения с обоснованием (explainable deep models) также является востребованным направлением в более широкой области ИИ, что приводит к дальнейшему прогрессу не только в области рекомендаций с обоснованиями, но и в фундаментальных проблемах машинного обучения с обоснованием (explainable machine learning).

При описании моделей рекомендаций с обоснованиями в следующих разделах мы также обсудим отношение между объяснимостью и результативностью в персонализированных рекомендациях.

1.5. Объяснимость и интерпретируемость

Объяснимость (explainability) и интерпретируемость (interpretability) являются тесно связанными концепциями в литературе. В целом, интерпретируемость – один из подходов для достижения объяснимости. Более подробно, ИИ с обоснованием предназначен для разработки моделей, которые могут объяснить свои решения или решения других моделей пользователям или разработчикам. Для достижения данной цели, модели могут быть как интерпретируемыми, так и не интерпретируемыми. Например, в интерпретируемых моделях (такие как интерпретируемые модели машинного обучения) механизм вывода прозрачен в локальном или глобальном смыслах, и, таким образом, выходные данные модели обычно легко объяснимы. Выдающимися примерами интерпретируемых моделей может служить множество линейных моделей, таких как линейная регрессия и модели, основанные на деревьях, такие как деревья решений. Между тем, интерпретируемость является не единственным способом достигнуть объяснимости, например, некоторые модели могут раскрывать свой внутренний механизм принятия решений для предоставления обоснований с помощью сложных методов обоснования, таких как механизмы внимания (neural attention mechanisms), объяснения на естественном языке, а также существует множество моделей обоснования постфактум, широко использующихся при получении информации (IR), в задачах обработки естественного языка (NLP), компьютерном зрении (computer vision), анализе графов (graph analysis) и множестве других задач. Исследователи и практикующие специалисты могут разрабатывать и выбирать подходящие методы обоснований для достижения объяснимости в ИИ для различных задач.

1.6. Как читать данный обзор

Аудитория читателей данного обзора включает в себя как исследователей, так и практикующих специалистов, заинтересованных в области рекомендательных систем с обоснованиями. Читателям рекомендуется приобрести базовые представления о рекомендательных системах, например, о рекомендациях, основанных на контенте (Pazzani and Billsus, 2007 [13]), коллаборативной фильтрации (Ekstrand et al., 2011 [15]) и оценке рекомендательных систем (Shani and Gunawardana, 2011 [28]). Кроме того, читателям будет полезно ознакомиться с другими обзорами, посвященными теме обоснований в рекомендательных системах с точек зрения пользователя (Tintarev and Masthoff, 2007a [10]) или интерпретируемого машинного обучения (Lipton, 2018 [1]; Molnar, 2019 [2]), а также с ИИ с обоснованием в целом (Gunning, 2017 [24]; Samek et al., 2017 [29]).

Данный обзор структурирован следующим образом. В разделе 2 мы рассмотрим рекомендации с обоснованием с точки зрения взаимодействия с пользователем. В частности, мы обсудим различные источники информации, которые могут использоваться для получения обоснований, и тесно связанные с ними различные форматы представления информации. Раздел 3 фокусируется на аспекте машинного обучения в примении к решению задачи рекомендаций с обоснованиями и содержит классификацию моделей. В раздел 4 вводятся стандарты оценки рекомендаций с обоснованиями, а в разделе 5 обсуждается применение методов получения рекомендаций с обоснованием для решения практических задач в реальных рекомендательных системах. В разделе 6 мы завершаем обзор обсуждением нескольких открытых важных проблем и будущими направлениями исследований в данной области.

Список литературы

Список литературы

Lipton, Z. C. (2018). “The mythos of model interpretability”. Communications of the ACM. 61(10): 36–43.
Molnar, C. (2019). Interpretable Machine Learning. Leanpub.
Zhang, Y., G. Lai, M. Zhang, Y. Zhang, Y. Liu, and S. Ma (2014a). “Explicit factor models for explainable recommendation based on phrase-level sentiment analysis”. In: Proceedings of the 37th International ACM SIGIR Conference on Research & Development in Information Retrieval. ACM. 83–92.
Wang, X., Y. Chen, J. Yang, L. Wu, Z. Wu, and X. Xie (2018d). “A reinforcement learning framework for explainable recommendation”. In: 2018 IEEE International Conference on Data Mining (ICDM). IEEE. 587–596.
Peake, G. and J. Wang (2018). “Explanation mining: Post hoc interpretability of latent factor models for recommendation systems”. In: Proceedings of Beyond Personalization 2005: A Workshop on the Next Stage of Recommender Systems Research at the 2005 International Conference on Intelligent User Interfaces, San Diego, CA, USA. ACM. 2060–2069.
Miller, T. (2019). “Explanation in artificial intelligence: Insights from the social sciences”. Artificial Intelligence. 267: 1–38.
Schafer, J. B., J. Konstan, and J. Riedl (1999). “Recommender systems in e-commerce”. In: Proceedings of the 1st ACM Conference on Electronic Commerce. ACM. 158–166.
Herlocker, J. L., J. A. Konstan, and J. Riedl (2000). “Explaining collaborative filtering recommendations”. In: Proceedings of the 2000 ACM Conference on Computer Supported Cooperative Work. ACM. 241–250.
Sinha, R. and K. Swearingen (2002). “The role of transparency in recommender systems”. In: CHI’02 Extended Abstracts on Human Factors in Computing Systems. ACM. 830–831.
Tintarev, N. and J. Masthoff (2007a). “A survey of explanations in recommender systems”. In: Data Engineering Workshop, 2007 IEEE 23rd International Conference. IEEE. 801–810.
Ricci, F., L. Rokach, and B. Shapira (2011). “Introduction to recommender systems handbook”. In: Recommender Systems Handbook. Springer. 1–35.
Balabanovic, M. and Y. Shoham (1997). “Fab: Content-based, collaborative recommendation”. Communications of the ACM. 40(3): 66–72.
Pazzani, M. J. and D. Billsus (2007). “Content-based recommendation systems”. In: The Adaptive Web. Springer. 325–341.
Ferwerda, B., K. Swelsen, and E. Yang (2012). “Explaining contentbased recommendations”. New York. 1–24.
Ekstrand, M. D. et al. (2011). “Collaborative filtering recommender systems”. Foundations and Trends® in Human–Computer Interaction. 4(2): 81–173.
Resnick, P., N. Iacovou, M. Suchak, P. Bergstrom, and J. Riedl (1994). “GroupLens: An open architecture for collaborative filtering of netnews”. In: Proceedings of the 1994 ACM Conference on Computer Supported Cooperative Work. ACM. 175–186.
Sarwar, B., G. Karypis, J. Konstan, and J. Riedl (2001). “Item-based collaborative filtering recommendation algorithms”. In: Proceedings of the 10th International Conference on World Wide Web. ACM. 285–295.
Linden, G., B. Smith, and J. York (2003). “Amazon.com recommendations: Item-to-item collaborative filtering”. IEEE Internet Computing. 7(1): 76–80.
Herlocker, J. L. and J. A. Konstan (2000). Understanding and Improving Automated Collaborative Filtering Systems. University of Minnesota Minnesota.
Koren, Y. (2008). “Factorization meets the neighborhood: A multifaceted collaborative filtering model”. In: Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM. 426–434.
Koren, Y., R. Bell, and C. Volinsky (2009). “Matrix factorization techniques for recommender systems”. Computer. 42(8): 42–49.
Dacrema, M. F., P. Cremonesi, and D. Jannach (2019). “Are we really making much progress? A worrying analysis of recent neural recommendation approaches”. In: Proceedings of the 13th ACM Conference on Recommender Systems. ACM. 101–109.
Clancey, W. J. (1982). “The epistemology of a rule-based expert system: A framework for explanation.” Tech. Rep. Department of Computer Science, Stanford University, CA.
Gunning, D. (2017). “Explainable artificial intelligence (XAI)”. Defense Advanced Research Projects Agency (DARPA).
Seo, S., J. Huang, H. Yang, and Y. Liu (2017). “Interpretable convolutional neural networks with dual local and global attention for review rating prediction”. In: Proceedings of the 11th ACM Conference on Recommender Systems. ACM. 297–305.
Chen, X., H. Chen, H. Xu, Y. Zhang, Y. Cao, Z. Qin, and H. Zha (2019b). “Personalized fashion recommendation with visual explanations based on multimodal attention network: Towards visually explainable recommendation”. In: Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM. 765–774.
Bilgic, M., R. Mooney, and E. Rich (2004). “Explanation for recommender systems: Satisfaction vs. promotion”. Computer Sciences Austin, University of Texas. Undergraduate Honors. 27.
Shani, G. and A. Gunawardana (2011). “Evaluating recommendation systems”. In: Recommender Systems Handbook. Springer. 257–297.
Samek, W., T. Wiegand, and K.-R. Müller (2017). “Explainable artificial intelligence: Understanding, visualizing and interpreting deep learning models”. arXiv preprint arXiv:1708.08296.
Vig, J., S. Sen, and J. Riedl (2009). “Tagsplanations: Explaining recommendations using tags”. In: Proceedings of the 14th International Conference on Intelligent User Interfaces. ACM. 47–56.
Sharma, A. and D. Cosley (2013). “Do social explanations work?: Studying and modeling the effects of social explanations in recommender systems”. In: Proceedings of the 22nd International Conference on World Wide Web. ACM. 1133–1144.
Abdollahi, B. and O. Nasraoui (2017). “Using explainability for constrained matrix factorization”. In: Proceedings of the 11th ACM Conference on Recommender Systems. ACM. 79–83.
Zhang, Y. (2015). “Incorporating phrase-level sentiment analysis on textual reviews for personalized recommendation”. In: Proceedings of the 8th ACM International Conference on Web Search and Data Mining. ACM. 435–440.
McAuley, J. and J. Leskovec (2013). “Hidden factors and hidden topics: understanding rating dimensions with review text”. In: Proceedings of the 7th ACM Conference on Recommender Systems. ACM. 165–172.
Ren, Z., S. Liang, P. Li, S. Wang, and M. de Rijke (2017). “Social collaborative viewpoint regression with explainable recommendations”. In: Proceedings of the 10th ACM International Conference on Web Search and Data Mining. ACM. 485–494.
Wu, Y. and M. Ester (2015). “Flame: A probabilistic model combining aspect based opinion mining and collaborative filtering”. In: Proceedings of the 8th ACM International Conference on Web Search and Data Mining. ACM. 199–208.
Heckel, R., M. Vlachos, T. Parnell, and C. Duenner (2017). “Scalable and interpretable product recommendations via overlapping coclustering”. In: 2017 IEEE 33rd International Conference on Data Engineering (ICDE). IEEE. 1033–1044.
He, X., T. Chen, M.-Y. Kan, and X. Chen (2015). “Trirank: Review-aware explainable recommendation by modeling aspects”. In: Proceedings of the 24th ACM International on Conference on Information and Knowledge Management. ACM. 1661–1670.
Park, H., H. Jeon, J. Kim, B. Ahn, and U. Kang (2018). “UniWalk: Explainable and accurate recommendation for rating and network data”. arXiv preprint arXiv:1710.07134.
Chen, X., H. Xu, Y. Zhang, Y. Cao, H. Zha, Z. Qin, and J. Tang (2018c). “Sequential recommendation with user memory networks”. In: Proceedings of the 11th ACM International Conference on Web Search and Data Mining. ACM.
Li, P., Z. Wang, Z. Ren, L. Bing, and W. Lam (2017). “Neural rating regression with abstractive tips generation for recommendation”. In: Proceedings of the 40th International ACM SIGIR conference on Research and Development in Information Retrieval. ACM. 345–354.
Catherine, R., K. Mazaitis, M. Eskenazi, and W. Cohen (2017). “Explainable entity-based recommendations with knowledge graphs”. In: Proceedings of the Poster Track of the 11th ACM Conference on Recommender Systems. ACM.
Huang, J., W. X. Zhao, H. Dou, J.-R. Wen, and E. Y. Chang (2018). “Improving sequential recommendation with knowledge-enhanced memory networks”. In: The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. ACM. 505–514.
Ai, Q., V. Azizi, X. Chen, and Y. Zhang (2018). “Learning heterogeneous knowledge base embeddings for explainable recommendation”. Algorithms. 11(9): 137.
Davidson, J., B. Liebald, J. Liu, P. Nandy, T. Van Vleet, U. Gargi, S. Gupta, Y. He, M. Lambert, B. Livingston, et al. (2010). “The YouTube video recommendation system”. In: Proceedings of the 4th ACM conference on Recommender systems. ACM. 293–296.
Balog, K., F. Radlinski, and S. Arakelyan (2019). “Transparent, scrutable and explainable user models for personalized recommendation”. In: Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM.
Cheng, W., Y. Shen, L. Huang, and Y. Zhu (2019a). “Incorporating interpretability into latent factor models via fast influence analysis”. In: Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. ACM. 885–893.
McInerney, J., B. Lacker, S. Hansen, K. Higley, H. Bouchard, A. Gruson, and R. Mehrotra (2018). “Explore, exploit, and explain: Personalizing explainable recommendations with bandits”. In: Proceedings of the 12th ACM Conference on Recommender Systems. ACM. 31–39.

Рекомендации с обоснованием (2020). Часть первая