AI против рутинной оценки чатов: как мы заменили ручную аналитику чатов LLM

Онлайн‑чат — одна из главных точек контакта клиента с банком. От того, каким будет диалог, зависит не только пользовательский опыт, но и ключевые показатели. Системная работа над качеством поддержки — реальный рычаг влияния на эффективность бизнеса. Необходимо регулярно оценивать диалоги: отмечать, где специалист справился хорошо, а где упустил важные моменты. Своевременная обратная связь даёт возможность поддерживать единый стандарт коммуникации на высоком уровне.
В Точка Банк эту задачу решают диалог‑коучи — эксперты, которые оценивают чаты по множеству критериев и проводят подробные разборы на специальных встречах. Но при потоке в сотни обращений в день часть диалогов не попадает в разбор, а часть может оцениваться субъективно.
Мы задались вопросом: можно ли сократить объём рутинной ручной работы и при этом сохранить — а возможно, и повысить — точность оценки? Гипотеза была простой: если использовать LLM для предварительной оценки чатов, то диалог‑коучи смогут работать только с отобранными, действительно показательными диалогами без необходимости просматривать весь массив вручную.

















