Мы в UX Feedback уже несколько лет занимаемся развитием ИИ-инструмента для работы с обратной связью. Это касается непосредственно этапа обработки фидбека, как самой «благодатной» для ИИ стадии в методологии Voice of the Customer. В общем-то, процесс несложный, но весьма трудоемкий. Исследователям порой приходится обрабатывать тысячи комментариев, что отнимает много времени и ресурсов. И вот тут на помощь, как раз, может прийти ИИ. Как это работает, и какие особенности связаны с ИИ-тегированием, расскажем в этой статье, основываясь на опыте экспертов UX Feedback.
Вика Макеева, Product Manager UX Feedback:
«Часто исследователи запускают сразу несколько кампаний по сбору фидбека в разных кусочках продукта. Всю эту обратную связь потом надо как-то обрабатывать. Сейчас у нас в продукте есть такая функция как ручное тегирование, либо тегирование с помощью правил. Тут все просто: читаешь комментарий, а потом присваиваешь ему тег, либо тематику. Есть еще второй вариант, ― раздел "Правила", где можно использовать регулярные выражения. Если пользователь оставил в виджете определенный заданный набор слов или словосочетаний, то в этом случае ему присваивается конкретный тег».
Однако есть нюанс. Ручное тегирование ― это долго, но очень точно, так как человек обрабатывает каждый комментарий сам. Правила ― это сложно, потому что необходимо разобраться в регулярных выражениях. Тут, по нашему опыту, нередко требуется помощь Customer Success. Еще один проблемный момент, ― какие-то комментарии могут быть пропущены, если нет определенного слова в регулярных выражениях. Соответственно, в случае если тег не присваивается, то это нужно делать вручную, а затем дорабатывать правила.
Адель Дукаева, BDM UX Feedback:
«Обработка ― это один из самых трудоемких этапов в работе с фидбеком. Разметить обратную связь несложно, но это большая задача, под которую нужны люди. Однако все инструменты, которые есть сейчас на рынке не исключаю�� ручной труд. Получается, что чем больше компания собирает фидбека, и чем качественнее она хочет с ним работать, тем больше нужно ресурсов. Представьте, что вы работаете над чем-то и вам нужна обратная связь в моменте. Вот вы собрали несколько тысяч единиц фидбека и вам нужно обработать его прямо сейчас, иначе данные устареют. Для этого понадобится собрать команду и несколько дней не спать, чтобы быстро все категоризировать».
В случае же с ИИ этой разметкой занимается не человек и не правила, которые поддерживает тоже человек.
Вика:
«В нашем случае мы используем OpenAI, на котором работает ChatGPT. Как это работает? Мы выгрузили 10 тысяч комментариев из нашего личного кабинета, вручную проставили им теги и дальше "скормили" это ИИ с запросом, чтобы он научился обрабатывать фидбек по правилам, которые там прописаны. Соответственно, ИИ изучает комментарий, далее изучает присвоенный тег и начинает искать закономерности и паттерны. Все это он самостоятельно разбирает и анализирует, а дальше ему уже можно давать все новые комментарии без тегов. ИИ, на основе полученных знаний, начинает автоматически присваивать теги обратной связи».
У ИИ-категоризации большой потенциал: она снимает огромный объем ручной работы с исследователя. Часто мы видим, что разметку фидбека даже отдают на ау��сорс, потому что это очень много монотонной работы. ИИ же значительно ускоряет процесс обработки и можно быстрее перейти на этап анализа. Тут еще есть один важный момент. Правила распознают фидбек только с точки зрения набора символов, которые должны совпадать с тем, что написано в регулярных выражениях. ИИ же воспринимает контекст, то есть он понимает, о чем именно комментарий.
Также ИИ может различать тональность, например, определять позитивный и негативный фидбек. Это помогает быстрее увидеть, что именно болит больше всего и начать с этим разбираться.
Адель:
«С ручным тегированием, например через регулярные выражения, связана еще одна проблема ― субъективность. Например, у нас есть комментарий: «Не могу оформить доставку онлайн». Один исследователь отнес его к категории «Оформление заказа», а второй посчитал, что его нужно протегировать «Доставкой». И тут оба могут быть правы, потому что нет какой-то единой схемы размечивания обратной связи. Так что некоторая субъективность всегда будет присутствовать. Даже в регулярных выражениях. Ведь они тоже настраиваются человеком.
И вот тут на сцену выходит ИИ, который может взять этот несложный, но большой по объему этап, на себя. Уже сейчас в нашем продукте мы пришли к тому, что точность ИИ-тегирования выше 80%, и эта цифра продолжает расти. То есть, уже в первой итерации мы получили довольно впечатляющий результат».
Проблемные моменты ИИ-категоризации
Очень легко объяснить, как работает правило: человек составил регулярное выражение и понимает, что туда входит и как это функционирует. А вот как работает ИИ «под капотом», очень сложно объяснить простыми словами. Он, по каким-то своим внутренним алгоритмам, определяет закономерности, поэтому есть недоверие и желание перепроверить, а действительно ли он правильно протегировал.
Второй момент ― процесс обучения. То, что специалисты обучили ИИ один раз, это не значит, что он не будет ошибаться. Соответственно, искусственный интеллект необходимо регулярно дообучать, чтобы получать более точные результаты.
Вика:
«Кроме того, чтобы использовать ИИ в продукте и автоматически тегировать фидбек, нужны ресурсы. Во-первых, большой объем данных для обучения, который изначально обработан вручную. В UX Feedback этим занимаются отдельные люди из команды продукта. Также они «тренируют» ИИ, чтобы о�� становился лучше. И это вторая проблема: нужны те, кто будут непосредственно работать над этим».
Еще ИИ не умеет сам определять тематики фидбека, ― ему необходимо задать уже готовый список тегов. Например, мы в UX Feedback создали собственное универсальное дерево тегов из 18 общих тематик, которыми оперирует ИИ при категоризации обратной связи. Это своего рода верхнеуровневая сегментация с возможностью встроить в процесс все необходимые подтемы.
Адель:
«Из проблемных моментов можно отметить то, что пользователям не хватает глубины. Например, в регулярных выражениях можно прописать тег с несколькими уровнями вложенности, скажем: «Доставка - курьеры - Москва». ИИ пока так не умеет».
Впрочем, несмотря на все обозначенные сложности, мы в UX Feedback продолжаем развивать этот функционал, чтобы снять с исследователей большой объем задач по обработке обратной связи. Это позволит сконцентрироваться на этапе анализа и поиске инсайтов, чтобы еще лучше понимать клиентов и принимать точные бизнес-решения.
