Comments 3
Участие работников в пилоте было добровольное?
Как отреагировали менеджеры?
Как вы поняли, что конверсия выросла из-за применения "коуча на базе LLM", а не из-за того, что менеджеры стали чувствовать "большого брата" за спиной?
Вы проводили психологические тесты? Как изменилось состояние людей?
Я разработчик решения и автор статьи, отвечу по пунктам.
Мы выбрали 4 сектора. В целевой группе принимали участие все менеджеры из выбранных секторов. Сделано это для того, чтобы не было влияния одной группы на другую в рамках одного сектора. Тем более отчёты на менеджеров шли через руководителей этих секторов и было бы странно руководителю работать только с частью подопечных. В контрольной группе мы сделали сектора "виртуальными", выбрали менеджеров из незадействованных в пилоте отделов так, чтобы они совпали с целевой группой. Да, мы не спрашивали согласие менеджеров на участие в пилоте, но перед стартом мы подробно рассказали зачем все это делаем, чего хотим добиться и как этот инструмент может помочь самим менеджерам. Никаких протестов это не вызвало, так как подобные пилоты подходят постоянно.
Первый месяц мы очень плотно работали с менеджерами и собирали обратную связь. В основном негативные комментарии были связаны с ошибками в срабатывании тех или иных моделей и с галлюцинациями LLM. Но позитивной ос было гораздо больше. Менеджерам понравился инструмент и те, кто участвовал в пилоте, уже ждут полноценный запуск решения.
Это не первая речевая аналитика в Сбере. Все менеджеры (и не только у нас) уже давно записываются, транскрибируются и получают ос на основе их работы с клиентами. Важно понимать, что это не карательные, а развивающие инструменты. Введение нашего тренажёра в работу менеджеров призвано помочь новичкам в адаптации, а опытным в улучшении своих навыков. Так что для наших км не было эффекта "большого брата". Тут ещё такой момент, что на первом этапе пилота у нас была просадка. Пока разбирались в чем дело, поняли, что руководители так сосредоточились на улучшении отчёта, что забыли основную цель пилота - работать с рекомендациями по звонкам и развивать своих сотрудников. При этом руководители и так постоянно проводили наставнические сессии, процесс изменился только тем, что появились рекомендации от Гигачат.
Мы не проводили тестирование, а основывались на обратной связи. В течение пилота мы постоянно были на связи и проводили еженедельные синки с руководителями КМов. Я понимаю и полностью разделяю вашу заботу о менеджерах, поэтому мы очень старались сделать рекомендации максимально дружелюбными. Даже если какой-то менеджер сильно отставал от своих коллег по нашим метрикам, никакого негатива в отчёте не было, а лишь мотивируются обратная связь. Но идея с тестами хорошая, возьмём на заметку.
Спасибо за статью! Очень здорово читать про реальные кейсы внедрения LLM и отдельное спасибо что поделились цифрами
Тренируем клиентских менеджеров с помощью ИИ