Comments 5
Спасибо, @MegaFon уже автоматизировал. Другого выхода, как ехать в салон (проще в прокуратуру онлайн написать) не просматривается.
Нужно обязательно оставлять возможность позвать оператора.
Здравствуйте! Бывает, что нам поступает много обращений, поэтому иногда робот не переводит на консультанта, так как в момент вашего обращения может не быть свободного специалиста. Стараемся отвечать как можно скорее. Также вы можете написать в личные сообщения нашей группы в Вконтакте https://vk.me/megafon, ботов там нет.
Понятно. Получается, оператор освободился? А я думал Елену томик ИИ-четверостиший растрогал. ))
Такого плана
Когда ответ не смог ты дать,
И сложен мой насущный труд,
Прошу, не нужно ожидать,
Оператора сейчас зовут!
Бот, я вижу — дальше тупик,
Твой алгоритм уже иссяк.
Прошу, не медли, в этот миг
Направь к живому человеку, так!
Твои ответы — просто фон,
Моя проблема — не решена.
Пусть будет сделан перезвон,
Мне нужен опытный дозна́ватель!
Слова твои не помогают,
Замкнулся наш с тобой диалог.
Пожалуйста, передавай
Мой сложный, срочный вам вопрос!
Я здесь застрял, недвижим я,
Твои ответы — лишь вода.
Скорей зови того, кто "я"
Не бот, а человек — сюда!
Устал я с роботом болтать,
Его логика мне чужда.
Пора мне с живым пообщаться,
Давай же, свяжи меня!
Твой поиск в базе был напрасен,
Проблема требует ума.
Пусть человек придёт, не парень,
Что пишет только по схемам сам.
Я доверял твоим советам,
Но кажется, они — пустяк.
Отправь запрос по всем приметам
К тому, кто знает всё вот так!
Сбой в системе, я замечу,
Или вопрос не по плечу.
Сказал тебе, чего хочу:
Оператора, я не шучу!
Короткий путь к решению —
Один, понятный, верный жест:
Прошу, без промедления
Мне дай с консультантом сеанс!
Ты — умный, спору нет, конечно,
Но тут же нужен специалист.
Нажми на кнопку, безупречно,
И пусть он мне сейчас звонит!
В слове бывает у вас ошибка. Постоянно - правильно. Тупой бот в ivr не знает многого, но на оператора упорно не переводит.
Рома, привет, я тут наткнулась на твое сообщение, и подумала, что я бы тоже не приняла такой ответ, сейчас попробую объяснить, почему именно....
Нету проверки, нужен ли вообще тут ML - технология то не из дешёвых))
Ты сразу прыгаешь в решения , но кажется, можно начать с вопроса - можно ли решить БЕЗ AI?. Может, 30% автоматизации > 60% автоматизации закрывается не моделью, а:
кнопочной навигацией на топ-30 интентов;
более чёткими FAQ;
редизайном фоллбэка.
Я бы этот шаг сделала первым, потому что если правила и UX закрывают 80% задачи, ML тут может быть и не нужен.
2. Мне ещё показалось, что слишком много метрик на одном уровне.
В реальном проекте я бы стала делить метрики на 3 уровня:
North Star (бизнесовая основная, онлайн) - что двигаем
Proxy (тож online, для A/B) - что измеряем в эксперименте (продуктовом)
Guardrails (ну и защитка) - что нельзя сломать ради North Star
У тебя в основных метриках лежит и CSAT, и CPAD, и % автоматизации, и FCR - но что главное? Надо выбрать что-то одно, иначе эксперимент рискует провалиться (если не ошибаюсь, это называется Goodhart's law в контексте разработки ML продуктов).
Я бы сформулировала так:
North Star: Resolution Rate без эскалации
Proxy для A/B: FCR + CSAT в Х времени
Guardrails: CSAT не падает, галлюцинейшен рейт еще какой нибудь взяла бы
Остальное (NPS, Retention, CPAD) выглядят как операционные и не первоочередные.
3. RICE с непрозрачным Impact - это слабое место.
Ты ставишь Impact "1.5 = очень высоко", "1 = высоко" - но без обоснования, не понятно, откуда оно взялось. Также финальное решение по метрике не стоит отдавать приоритизации, у каждого блока своя метрика.
4. Гипотезы - без критериев успеха
Каждая гипотеза должна звучать как:
Если X > метрика Y вырастет на Z, ИНАЧЕ не катим.
У тебя есть формулировки "+3-5 п.п." это хорошо, но не хватает второго : "если меньше +1 п.п. за 4 недели то закрываем".
5. Не хватило валидации перед запуском гипотез
Перед тем, как тащить RAG в разработку (это месяцы и дорого), можно:
Попробовать Wizard-of-Oz - оператор подсматривает в подсказки "как бы ответил RAG", меряем, помогает ли;
Фейкдор кнопку "новый умный ответ" в чате, меряем CTR до того, как строим систему;
И тестовые прогоны моделей гоняем гипотезу на исторических чатах.
Любой из этих экспериментов - 2 недели и 0 рублей на ML-команду
6. В целом - структура есть, но не хватает "зум-аута"
В кейсе ты ушёл вглубь (CPAD, PR-AUC, точные гипотезы), но в начале не показал, как ты видишь всю систему сверху. Я бы добавила схему: вход > обработка > выход и обозначила, где именно ML, где правила, где UX, тогда чуть более понятнее становится архитектура решения...
Не претендую на 100% правильность, просто делюсь своим видением и мнением...
Кейс Т-Банк на позицию AI-продакт-менеджера