Как мы сделали аналитику контакт-центра на LLM в 7 раз дешевле

[vrangel]

Спасибо за статью. Не совсем понял, на чем основан компрессор? Это тоже LLM? Если да, то на чем экономия?

[codementor]

Да, компрессор тоже LLM, только маленькая.

Для основной модели использовали  7 миллиардов параметров , она оценивает критерии вроде “вежливость”, “продажа”, “возражения”.

Компрессор же мини версия Qwen 1.5B, обученная исключительно резюмировать диалоги и выкидывать  слова паразиты типа угу, ммм и прочий вербальный мусор.

Экономия получается за счёт архитектуры. Мы обрабатываем звонок первым, сжимая транскрипт примерно на 60%, а дальше в основную модель летит уже очищенный текст.

Маленькая LLM стоит копейки, а большая тратит меньше токенов и GPU-времени.

[yrub]

а для этого точно нужна llm? вроде как словарь-регулярка или простейший nlp подойдет

[codementor]

Если бы речь шла о коротких и формализованных фразах регулярка справилась бы.

Но в звонках нет чёткой структуры: люди перебивают друг друга, меняют тему на середине,

а одно и то же слово может значить и согласие, и отказ, и просто вежливую отговорку.

Подобрать универсальные правила под все такие кейсы нереально.

Маленькая LLM, в отличие от регулярки, понимает последовательность и контекст,

поэтому сохраняет смысловые опорные точки кто что сказал, зачем и чем разговор закончился.

[Badsanta83]

Эдак мы докатимся до того, что оператору и не надо будет думать что сказать. Модель будет анализировать вопрос и сразу выдавать ответ, а он будет тупо его читать вслух да и все.

А потом прикрутят озвучку и читать не надо будет, а оператор переедет под мост.