Рассказываем, как искусственный интеллект помогает нам оперативнее помогать пользователям и предсказывает, чего им не хватает в общении с нашей службой поддержки.
Кто такой Манибот
Рассказывает Ксения, руководитель направления автоматизации бизнес-процессов в ЮMoney.
Манибот — это виртуальный ассистент ЮMoney для клиентской поддержки в чатах на сайте и в мобильном приложении. Создан на базе Naumen Erudit (это AI-платформа для генерации диалоговых роботов и управления их работой). Мы запустили бот в 2019 году, и за шесть лет нам удалось в разы сократить количество тикетов (так называется обращение пользователя, которое обрабатывается по электронной почте) и звонков, а также увеличить число обращений в чатах. Сегодня Манибот закрывает более 70% обращений от пользователей без привлечения операторов.
Как Манибот сократил время обработки запросов с 24 часов до 15 минут
Раньше, чтобы решить проблему пользователя, мы тратили один рабочий день. Вот пример:
Клиент запрашивал нужный документ в чате (чат доступен на сайте и в мобильном приложении, чтобы он открылся, нужно быть залогиненным).
Робот направлял клиента на портал для создания тикета или переводил на оператора. Оператор не мог отправить документ клиенту напрямую — для этого ему также нужно было завести тикет.
Справку составляли вручную и отправляли клиенту по почте, когда приходила очередь его тикета.
Сегодня на решение подобных вопросов мы тратим не более 15 минут:
Клиент запрашивает документ в чате.
Чат-бот самостоятельно формирует задачу и отправляет запрос в систему.
Справка составляется автоматически и направляется клиенту на почту.
Кейс 1: антифрод-блокировка счёта на 24 часа из-за смены номера телефона
Раньше, если у пользователя менялся номер телефона, мы блокировали его кошелёк, а когда он шёл в чат уточнять причину, бот переводил его на оператора.
Теперь Манибот самостоятельно проверяет профиль обратившегося клиента и задаёт ему уточняющие вопросы, чтобы свериться с нужными критериями и снять блокировку. Если пользователь подходит под эти критерии, бот разблокирует кошелёк. Если пользователь не проходит проверку, переводим его на оператора.
Почему это удобно для клиента: разблокировка проходит быстрее и проще — не нужно ждать оператора, нет сложного списка вопросов и путаницы. Требуется ответить всего на один уточняющий вопрос Манибота, который сам сверится с внутренними системами.
После запуска новых сценариев с обработкой Маниботом уровень автоматизации разблокировки карт и счетов поднялся с 0% до 76%.
Кейс 2: блокировка и разблокировка карты прямо в чате с роботом
Раньше, когда клиент обращался в чат по поводу блокировки или разблокировки карты, робот давал ему инструкцию, как самостоятельно сделать всё на сайте, или переводил на оператора. В таком подходе были определённые риски и неудобства: пользователю приходилось ждать или самостоятельно вникать в инструкцию. Но клиент мог так и не разобраться, как заблокировать карту, а во время ожидания оператора средства могли продолжать списывать.
Теперь Манибот видит все карты пользователя и выводит в формате виджета кнопки с последними четырьмя цифрами карт. Пользователь должен выбрать, какую карту нужно заблокировать или разблокировать. В первом случае бот блокирует карту автоматически в момент диалога с клиентом, а при разблокировке уточняет подробности ситуации, которая привела к блокировке, и сверяется с кейсами, где возможна разблокировка по запросу в чат без привлечения оператора.
Анализ удовлетворённости клиентов и работа с оценками CSI: с какими сложностями мы столкнулись
Рассказывает Наталья, ведущий аналитик в отделе развития клиентского сервиса ЮMoney.
В ЮMoney огромный пул обращений в службу поддержки, много чатов и тикетов. Всё это нужно обрабатывать, чтобы улучшать клиентский сервис и пользовательский опыт. Но есть несколько нюансов:
После каждого взаимодействия со службой поддержки пользователи выставляют оценку по шкале от 1 до 5. И чаще всего это либо единица, либо пятёрка — 2, 3 и 4 балла ставят редко.
В части обращений оценка не отражает истинной ситуации и всей полноты картины. Например, когда клиент отметил, что его проблему не решили, но поставил самую высокую оценку и даже поблагодарил оператора в конце. И наоборот — когда проблему решили, но клиент поставил единицу, потому что его не устроило это решение.
На этом сложности не заканчиваются: только в 9% обращений клиенты выставляют оценки, большая часть остаётся неоценённой.
После закрытия обращения пользователю приходит опрос с просьбой оценить работу оператора и качество решения проблемы.
Выставленные оценки обрабатывают и анализируют специалисты по контролю качества. Чтобы аналитика была максимально корректной, нужно не только поставить оценку, но и выделить критерий, по которому пользователь дал службе поддержки тот или иной балл.
Нам требовалось:
Оценить обращения, оставшиеся без оценки, чтобы повысить конверсию.
Понять возможные причины недовольства клиентов, которые ставят низкие баллы или указывают, что их вопрос не решили.
Оценить качество работы сотрудников ЮMoney по всему пулу обращений клиентов.
LLM как способ спрогнозировать оценки CSI
Мы обучили LLM-модель анализировать, как отработал конкретный оператор в неоценённых обращениях — решил ли он проблему клиента и какое качество консультации предоставил. Проведя анализ, модель выставляет две оценки, то есть предсказывает поведение пользователя и даёт объяснение, почему оценки именно такие.
Оценка 1: решила ли служба поддержки вопрос клиента. Модель смотрит на диалог глазами клиента и оценивает его впечатления от процесса и качества решения проблемы. При этом LLM не должна ориентироваться на то, соответствует ли решение нашим бизнес-процессам и стандартам.
Оценка 2: качество работы оператора в диалоге. Модель смотрит на работу оператора глазами клиента: учитывает формальность ответов, уровень эмпатии, внимательность.
Как мы подбирали модель под эту задачу и почему вообще выбрали LLM
Модель должна была:
Уметь работать с длинными текстами.
Быть устойчивой к ситуациям, когда одинаковые обращения получают разные оценки из-за субъективных факторов.
Различать и учитывать сообщения от клиента, оператора и бота, поскольку реакция и удовлетворённость клиента зависит не только от содержания ответа, но и от предыдущих этапов коммуникации.
Уметь находить нюансы в шаблонных и часто одинаковых сообщениях.
Независимо оценивать конкретные обращения, не опираясь на какие-либо исторические данные.
Мы протестировали:
ML (Классификация, Регрессия).
DL (MLP, LSTM, Transformer).
LLM (Gemma).
В итоге выбрали LLM, потому что для ML и DL не подходили наши исходные:
мало тренировочных данных (доля оценённых обращений — 9%);
сильный дисбаланс оценок;
однотипность текстов (особенно ответов операторов);
хаотичность оценок в одинаковых обращениях.
Результаты прогнозирования CSI с помощью LLM
Ниже представлены неоднозначные случаи, когда оценки модели не совпали с реальными оценками пользователей. Мы не могли понять, например, почему клиент, который очень ругался, поставил в итоге пятёрку. И из-за этой пятёрки отдел контроля качества мог пропустить такое обращение. Но модель в этом случае сразу ставила единицу и объясняла почему. Это помогло нам не пропускать потенциально плохие обращения и в дальнейшем предотвратить подобные ситуации, улучшив стандарты обслуживания.
Мы показали результаты предсказания LLM коллегам из отдела контроля качества, а они дали обратную связь на предмет корректности оценок. Коллеги выставили оценки, которые, по их мнению, должен был поставить клиент:
В 60% случаев их оценки совпали с оценками модели.
В 90% случаев их оценка отличалась от оценки модели не больше, чем на один балл.
В 80% обращений коллеги были согласны с объяснением модели, почему она поставила ту или иную оценку.
В результате мы:
Получили возможность лучше понимать клиентов и узнавать о несовершенствах в процессах, которыми они недовольны.
Сгенерировали отчёт, который обновляется каждый день и визуализирует предсказанные оценки в различных разрезах.
А вы ставите оценки службе поддержки? И бывают ли случаи, когда эти оценки не соответствуют действительности? Например, когда вам не помогли, но вы были в хорошем настроении и поставили пятёрку, — или наоборот. Пишите в комментариях.