Комментарии 10
для тех, кто не погружен в ML, прям интересна пошаговость процесса)
Но как работать с пунктом "Сотрудники не мотивированы делать качественную разметку и не будут тратить свое время на вдумчивое заполнение." ?
Такое происходит, если сотрудники заполняют данные в перерыве между своей основной работой. Например, после того, как поговорили с клиентом, проставляют метки в этом звонке.
Мы же используем другой подход. Разметчики - это специально выделенная группа сотрудников, которые на время разметки занимаются только нашей задачей. Их несколько человек, поэтому мы постоянно на связи со всеми и просим переделать, если что-то не так. Стоит сказать, что они действительно ответственно подходят к разметке, за что мы им очень благодарны.
Получилось ли финальный вариант задачи разметки сделать тоже бинарными вопросами или сделали выделение интервалов? Интуитивно кажется, что для выделения работы с возражениями по каждому продукту не достаточно да/нет на уровне звонка.
Очень хорошая статья!
Спасибо, было интересно. Но всё-таки интересно, получилось ли обойтись бинарными признаками?
Смотря, что вы имеете в виду :)
На этапе аналитики задачи мы использовали бинарные вопросы для проверки гипотез, и они очень помогли.
Непосредственно модель мы обучали end-to-end на текстах, то есть прям внутри звонка модель анализирует каждую фразу и предсказывает, например, сейчас мы говорим про этот продукт или нет (бинарный таргет).
А история-то чем закончилась?
Реализовали то решение, которое описано в пункте "Переходим к постановке задачи". На базе разметки обучили модель, сейчас она скорит все звонки. Все то, что планировали, модель сейчас умеет делать, например, мы: понимаем, сколько раз клиент уже отказывался от продукта (когда пора перестать предлагать), оцениваем работу менеджера в каждом звонке, определяем скилы продаж у сотрудников.
Как мы научились понимать продажи в колл-центре, или С чего начать ML-проект, если непонятно ничего