Comments 5
Чат-боты в поддержке это боль. В СДЭКе я так и не смог пробиться к кожаному мешку, что бы порешать вопросики. Может людей в поддержке там уже и нет.
Здесь особенно важна разница между быстрым ответом и решённой проблемой. После подключения бота метрики первой линии действительно становятся зелёными, но часть обращений просто исчезает из статистики: клиент перестал отвечать, повторил вопрос через другой канал или ушёл.
Я бы измерял не только время ответа и CSAT, но и повторное обращение по той же теме за 7–14 дней, долю переоткрытых диалогов, успешность передачи оператору и количество случаев, когда человек заново объясняет контекст. Ещё полезно разделять «диалог закрыт» и «результат подтверждён клиентом».
Получалось ли у вас связывать обращения одного клиента между каналами и считать повторный контакт продолжением исходной проблемы, а не новым тикетом?
Пункт про «побуждать ИИ проверять факты перед ответом» — самый слабый в списке решений, и он же спорит с приведенным выше исследованием MIT: если уверенность формулировок не коррелирует с правильностью, то самопроверка вернет тот же неверный ответ, только теперь дважды подтвержденный. На практике работает не самопроверка, а жесткое ограничение источника: отвечать только по найденному документу базы знаний, с видимой ссылкой на него, и молчать, если источник не нашелся — тогда галлюцинация превращается в честное «не знаю» и эскалацию. Как это сделано в Collabis: бот умеет отказываться отвечать, когда подходящего документа в базе нет, и какая доля обращений у вас в эту ветку попадает?
Действительно, самопроверка не защитит от галлюцинаций ИИ, но поможет корректно фильтровать информацию.
У нас в Collabis ИИ-агент ищет информацию в рабочем пространстве и отвечает на основании найденных страниц, показывая источник. Таким образом, при ограниченном контексте можно рассчитывать на более точный ответ.
Скорость ответа и число закрытых обращений не показывают качество работы. Полезно также считать ошибки бота, повторные обращения и те случаи, когда клиент не смог перейти к оператору. Проверяете ли вы отдельно обращения, которые влияют на возврат денег и расторжение договора?
ИИ убивает службу поддержки — даже несмотря на зелёные метрики