Как в Tele2 модель научилась разбирать 230 тысяч клиентских обращений

[pvsur]

Угу, настолько хорошо работает, что наши клиенты, переадресованные на мобильники менеджеров, попадают на антиспам-ботов. Сдали ТТ оператору - четвертый день ждём, пока "на сети сопряженного оператора ведутся работы по устранению" :(

[AnGord]

Да, я заметил качество общения вашей ТП - никакой разницы между ботом и живым сотрудником, одинаково бесполезны и те и эти.

[WondeRu]

Все мои диалоги в чатах поддержки последние пару лет:

-здравствуйте, чем вам помочь?

-оператор, специалист, живой человек

* к вам подключается оператор

[sunsexsurf]

Давайте немного по сути. В качестве модели вы выбрали логрег. Вопрос: что будете делать с мультиклассовыми запросами? TF-IDF ничего не скажет о семантике вопроса, что будете делать с этим?

Вообще, подход для такой компании в 2022 году крайне странный. Ощущение, что вам стоит написать новую модель на БЕРТе, это даст огромный прирост в «понимаемости» запроса пользователя.

[sshmakov]

Вы же понимаете, что задаёте вопрос боту Кате, отвечающей за PR?

[rinachistyakova]

Почему же, я попробую получить ответы от коллег).

[sunsexsurf]

надеялся, что "технари" придут или запилят отдельную статью. Вообще, удивлен ответом, что модель построили на tf-idf. Хотя, если сработало - ну ок, как бейзлайн можно, наверное, использовать. Но оч странный выбор для большой айтишной компании и времен, когда берт не просто придуман, а прям вовсю используется.

[rinachistyakova]

Я уточнила у коллег, почему выбрали такое решение). И вот, что мне ответили: "Было не так много времени до того момента, как надо было предоставить работающее решение. И размеченных данных немного. Хотя в планах есть попробовать BERT для этой задачи и сравнить качество".

От меня: круто, что задали вопрос по теме, спасибо).

[sunsexsurf]

расскажите, если не сложно, сколько времени ушло от "эх, нам бы модель, которая делает чудо" до "ну вот, теперь у нас есть модель, которая делает чудо"? Ну и да, хочется, конечно, ваших коллег или в комментарии или в отдельную статью.

[rinachistyakova]

Разработка была итеративной, от идеи до магии - пара месяцев, при условии, что мой коллега не занимался одной этой задачей :).

Согласна, что про общаться между собой интереснее, пока в доступе тут я)).

[ruslaniv]

Я так понял у вас явно древовидная иерархическая структура лейблов, зачем в таком случае предсказывать лэйблы 1-го уровня, если можно сразу предсказать лист не важно какого уровня в котором уже будет содержаться информация о пути от корня до данного листа?

Если модель неправильно предскажет лейбл 1-го уровня, то при обучении на "микроклассах" более низких уровней, модель обучится на ложных данных.

Мы тоже делаем что-то сильно похожее и из моделей МЛ наиболее высокую точность показал метод опорных векторов, гораздо выше логистической регрессии. Сейчас экспериментирую с НС и думаю что окончательным вариантом будет что-то на трансформерах.

[rinachistyakova]

Спасибо за вопрос :). Я связалась с коллегами, смотрите, что мне ответили: "Лейблы 1-ого уровня – намного более приоритетные для заказчика. Поэтому на них было важно получить более хорошее качество".

[edyanakov]

Обязательно попробуйте берт - всё таки сейчас sota в nlp.
При иерархической структуре лейблов попробуйте специальный лосс - https://github.com/Ugenteraan/Deep_Hierarchical_Classification.

С каким качество работает логрег?

[rinachistyakova]

Спасибо за вопрос). Поделилась с коллегами, мне ответили так: "Спасибо за лосс, попробуем. BERT – тоже есть в планах попробовать в этом году".