Привет, Хабр!
Меня зовут Анатолий, я помогаю бизнесу автоматизировать процессы, в том числе применять Искусственный Интеллект в решении реальных задач.

Автоматизация ответов на часто задаваемые вопросы (FAQ) - актуальная задача в процессах, где важно быстро и качественно взаимодействовать с клиентами и с аудиторией.

Если клиент долго не может найти информацию, долго не получает ответа в чате, то он уходит к другому продавцу. В итоге и продажа теряется, и клиент теряется. Особенно это критично во время проведения активной рекламной кампании, когда количество обращений резко возрастает и очень большая часть не успевает обрабатываться.

Что можно сделать, чтобы не терять обращения, продажи и клиентов?
Самое простое - автоматизировать ответы на часто задаваемые вопросы (FAQ).

Автоматизация ответов на часто задаваемые вопросы (FAQ) - один из распространенных способов применения Искусственного Интеллекта в бизнесе.

Раньше клиент был вынужден искать информацию самостоятельно на сайте, в том числе в FAQ‑разделе сайта. Если же вопрос отправлялся оператору, то оператору приходилось самому готовить ответ, опираясь на свой опыт и имеющую документацию.

Теперь у клиентов появилась возможность составлять свой вопрос на естественном языке, и система автоматически выдает ответ, основываясь на соответствующей Базе Знаний.

Основные способы автоматизации ответов на часто задаваемые вопросы (FAQ) с помощью Искусственного Интеллекта:

Отдельный сервер и контекстная близость
Конструкторы для создания чат-ботов
Генеративный Искусственный Интеллект (GenAI)
Fine-tuning (дообучение)

Отдельный сервер и контекстная близость

Основной механизм работы:

Готовится База Знаний формата «Вопрос-Ответ».
С помощью соответствующей искусственной сети все вопросы из Базы Знаний переводятся в векторное представление (эмбеддинги, embeddings), получившиеся эмбеддинги хранятся в базе данных.
Поступивший вопрос отправляется на сервер и также переводится в векторное представление, после чего рассчитывается контекстная (косинусная) близость (сходство) между поступившим вопросом и каждым вопросом из Базы Знаний. Вопрос с максимальным показателем контекстной близости считается наиболее подходящим по смыслу. Выдается ответ из соответствующей пары «Вопрос-Ответ».
Ответ может автоматически выдаваться клиенту.
Ответ может автоматически выдаваться оператору для подготовки окончательного ответа клиенту. При этом оператору могут выдаваться несколько вариантов ответов для выбора или комбинации.

Трудности, которые могут возникнуть

Понадобится:

арендовать отдельный сервер
написать файл на python, сделать из него flask-приложение, чтобы иметь возможность обращаться к нему с помощью http-запросов, и разместить файл на сервере
переводить вопросы Базы Знаний в векторное представление (эмбеддинги, embeddings) и сохранять эмбеддинги в специальной базе данных
программировать отправку запроса и вывод ответа

В общем, с одной стороны этот способ является довольно надежным, с другой - требует наличия в штате программистов-разработчиков или обращения к внешним специалистам с соответствующим заданием.

Конструкторы для создания чат-ботов

Конструкторы для создания чат-ботов удобны тем, что в некотором смысле берут на себя программирование основных распространенных задач и остается лишь правильно соединить разделы. Часто возникает ситуация NoCode, то есть пользователю не нужно писать код, а нужно только мышкой соединить соответствующие разделы и выбирать соответствующие настройки.

Конструкторы часто содержат сразу специальные шаблоны для бота, отвечающего на часто задаваемые вопросы (FAQ). Достаточно добавить пары «Вопрос-Ответ» или загрузить соответствующий excel-файл и бот почти готов.

При этом на конструкторах удобно выводить бота во «внешний мир». Бот может быть легко выведен в telegram, VK, виджет на сайте и так далее, и это не требует дополнительного программирования или дополнительных серверов.

В итоге, чтобы организовать автоматические ответы на часто задаваемые вопросы (FAQ) с помощью конструктора, понадобятся лишь непосредственно База Знаний формата «Вопрос-Ответ» и несложные настройки. Это самый низкий порог входа и последующего применения.

Генеративный Искусственный Интеллект (GenAI)

Распространенным примером применения Генеративного Искусственного Интеллекта является ChatGPT и аналогичные системы. Уже стало привычным отправлять запрос (prompt), содержащий просьбу ответить на какой-нибудь вопрос, а также дополнительные пояснения, каким в принципе должен быть ответ по стилю, формату, содержанию и так далее.

Такой же принцип может быть использован и для генерации ответов на часто задаваемые вопросы. Однако модели могут не обладать информацией по конкретной компании и эту информацию нужно как-то сообщить модели.

Одним из способов передачи дополнительной информации в модель является добавление этой информации в запрос и формулирование запроса соответствующим образом. Также информация может быть приложена к запросу в виде файла.

Есть открытые доступные модели, обращение к которым происходит посредством API с использованием ключа доступа. Это позволяет обращаться к моделям прямо с сайта, из приложения, из мессенджера и так далее.

Трудности, которые могут возникнуть

Нужно программировать отправку запроса и вывод ответа.
Если База Знаний большая (превышает окно контекста модели), то нужно применять RAG (Retrieval-Augmented Generation — генерация с расширенным поиском), то есть дополнительно делить Базу Знаний на фрагменты (чанки), при поступлении вопроса определять наиболее релевантные фрагменты и отправлять в модель для генерации ответа только выбранные фрагменты.
Как правило, обращение к открытым моделям по API платное и плата за обработку запросу зависит от объема обрабатываемых данных. Чем больше данных обрабатывается, тем обработка дольше и дороже.
В некоторых случаях необходимо, чтобы на один и тот же вопрос каждый раз был абсолютно один и тот же ответ, но генеративная модель будет каждый раз генерировать ответ заново,то есть ответы на один и тот же вопрос могут отличаться.

Преимущества генеративного способа

Иногда этот способ кажется более удобным, чем предыдущие, так как необязательно готовить Базу Знаний в формате «Вопрос-Ответ» - можно просто собрать и объединить тексты из разрозненных источников.

Недостатки генеративного способа

Ответы на один и тот же вопрос могут отличаться.
Кажется избыточным и нелогичным каждый раз генерировать ответ заново, если такой вопрос уже задавался и ответ на него уже есть.

В принципе, генеративный способ можно применять и для генерации ответов на часто задаваемые вопросы, хотя он больше подходит для генерации ответов на любые вопросы по дополнительной информации, не только часто задаваемые. Система не будет различать, является ли вопрос часто задаваемым или это какой-то редкий вопрос - в любом случае система будет генерировать ответ обычным образом. Но если информации немного, часто задаваемых вопросов немного и они простые, то целесообразно сразу составить Базу Знаний формата «Вопрос-Ответ» и выдавать стабильный ответ из Базы Знаний из соответствующей пары.

Fine-tuning (дообучение)

Fine-tuning является вариантом обогащения исходной модели новой информацией. При этом применяются специальные алгоритмы обучения. В дальнейшем вопрос задается получившейся модели обычным образом и модель отвечает обычным образом, как обычная генеративная модель.

Этот способ является самым сложным из-за создания новой модели.

Можно сказать, что этот способ для данной задачи применяется крайне редко, так как сложнее других способов, представленных в статье, и уступает им по результатам.

Как можно применить на практике

Наиболее эффективно автоматизация ответов на часто задаваемые вопросы применяется в случаях, когда дополнительной информации немного, вопросов немного и они простые. Например, запись на консультацию, запись на прием по расписанию, запись в спортивную секцию, запись на пробное занятие, простой заказ на доставку, заказ типовой услуги. Пользователь уточняет распространенные несложные вопросы (какая цена, как добраться, как оплачивать,как происходит и так далее) и переходит к оформлению, оплате и так далее.

Если пользователь задаст вопрос в чат и долго не получит ответа или позвонит по телефону и будет долго ожидать на линии, то продажа может сорваться, даже если вопросы были бы предельно простыми и часто задаваемыми. В случае автоматизации ответов такая продажа состоится автоматически.

FAQ-раздел на странице сайта

На странице сайта устанавливается соответствующая форма для ввода и отправки вопроса пользователя. Вопрос отправляется на сервер и под формой выводится обработанный ответ. Применяется первый или третий способ.

Чат-бот в виджете на странице сайта

На странице сайта устанавливается виджет с чат-ботом. Пользователь задает вопросы и получает ответы в этом виджете. Можно разрабатывать виджеты самостоятельно или сразу применять конструкторы для создания чат-ботов (второй способ).

Чат-бот в мессенджерах

Пользователь задает вопросы и получает ответы в распространенных мессенджерах. На старте наиболее удобно применять конструкторы для создания чат-ботов (второй способ), чтобы не заниматься собственной поддержкой коммуникаций с мессенджерами.

Ассистент оператора (менеджера, сотрудника, специалиста)

Система выдает ответ оператору для подготовки ответа клиенту. Это позволяет оператору подготовить ответ клиенту значительно быстрее.

Вывод

Автоматизировать ответы на часто задаваемые вопросы (FAQ) можно несколькими способами с помощью Искусственного Интеллекта и в ряде случаев это уже может быть достаточно эффективным. В итоге клиенты получают быстрые и точные ответы на типичные вопросы и переходят к оформлению и оплате.

Способы автоматизации ответов на часто задаваемые вопросы (FAQ)