Comments 79
Спасибо за передачу своего опыта!
Похоже это первый честный и по делу отзыв о внедрении AI в саппорте
Поддержу.
Не смотря на краткость, и, даже не смотря на почти полное отсутствие конкретики, это лучшая из известных мне статей о ИИ.
Ну и увеличилась моя уверенность в том, что не всех человеков заменят до моей пенсии.
«Не, мужик, с таким настроем ты этого слона не продашь» ©
OpenAI не нужно решить проблемы клиента. OpenAI нужно, чтобы клиент занёс им денюх. Эту задачу они вполне успешно решили.
Похоже это первый честный и по делу отзыв о внедрении AI в саппорте
Или это очередная котолампа.
О, да! Иногда пользуюсь саппортом. Почти всегда на первой лини меня любезно встречает тн ИИ. Никакого результата кроме раздражения ни разу не получил. Честно. Буду вторым. *шутка.
Мой первый вопрос такой поддержке: "Ты человек или робот?".
Если робот, то второй запрос: "Соедини меня с человеком".
А потом человек все равно не решает твою проблему потому что у тебя слегка необычный кейс. Не помню, когда мне вообще в последний раз техподдержка чем-то помогла.
В Мегафоне это уже вообще невозможно. Ни просьбы соединить с человеком, ни матюги (раньше мат помогал), ничего. На все один ответ: «я вам отвечу так же как живой человек, спрашивайте меня», а потом на любой вопрос — или ответ не по теме вообще, или что он не может мне помочь.
Как же бесит.
Если я однажды столкнусь с таким у компании, от которой проще и есть куда уйти, чем от мобильного оператора — уйду сразу.
Здравствуйте! В определенные промежутки времени количество звонков в службу поддержки может возрастать, в результате чего возникает очередь, что вызывает увеличение времени ожидания ответа специалиста или невозможность соединения со специалистом. Также вы можете написать нам в личные сообщения группы ВК (https://vk.me/megafon ). Обязательно все проверим и ответим на все вопросы.
я три часа пытался добиться от вашего чат бота, чтобы он просто принял от меня обращение и сообщил его входящий номер
в итоге каким-то чудом удалось добиться живого оператора и вопрос решился за пару минут
Позови человека, ... твою ...!
Ооо да!
Сразу перед тем, как мне робот предложил смену тарифного плана, а на мой отказ радостно сообщил, что "зафиксировал моё согласие" и бросил трубку? И я был вынужден почти 6 часов дозваниваться до "человека", что мне удалось лишь чудом, при звонке с номера другого ОпСоСа, зарегистрированного вообще в другом конце страны. Тут уже такие отмазки не катят.
Поддерживаю, причём если бы этот "Помощник Елена" реально помогала я был бы только за использовать его вместо сотрудника техподдержки, не понимаю в чём у мегафона проблема с тем, чтобы обучить нормально помощника. Причём я спрашивал банальный вопрос "Как рассторгнуть договор с оператором" а она не могла ответить, при этом на сайте мегафона есть ответ на этот вопрос
Такой вопрос должен обрабатываться человеком, возможно его даже специально исключили из контекста) Мы, кстати, может быть все еще находимся на стадии, когда для максимальной пользы общения с ии ботом нужно задавать правильные вопросы, как это было раньше с поиском. Бот в тиньке на вопрос как отключиться от них тоже сказал, что не понял меня, но ломаться не стал и перевел на оператора с формальной причиной "вопрос по карте"
для максимальной пользы общения с ии ботом нужно задавать правильные вопросы
Ага!
Шагая от звезды к звезде, Лек подошел к Ответчику, положил его на ладонь и поднес к глазам.
— Значит, ты — Ответчик.
— Да, — отозвался Ответчик.
— Тогда скажи мне, — попросил Лек, устраиваясь поудобнее в промежутке между звездами. — Что я есть?
— Частность, — сказал Ответчик. — Проявление.
— Задача мне подобных — собирать багрянец и сгребать его в кучу. Каково истинное значение этого?
— Это нужно для Реальности — сообщил Ответчик.
— Что такое Реальность?
— Частность…Проявление.Лек продолжал задавать вопросы, но Ответчик не мог ответить на них. Конечно он знал, что такое багрянец и для чего предназначена куча. Но объяснение таилось в большем объяснении. Лек не владел теми категориями знаний, через которые Ответчик смог бы ему доступно ответить. И тем не менее Ответчик мог бы объяснить... если бы Лек правильно формулировал вопросы и в правильной очередности.
Наконец Лек презрительно усмехнулся и ушел, стремительно шагая в межзвездном пространстве.
Один на планете, Ответчик ждал тех, кто придет к нему за ответами. Вселенная? Жизнь? Смерть? Багрянец? Восемнадцать?
Ответчик знает на эти вопросы ответы. Но чтобы дать ответ, ему требовался верно сформулированный вопрос. Вот только чтобы верно сформулировать вопрос, нужно знать бОльшую часть ответа...
С т2 тоже пару раз обращался,но у них "мия" тоже упертая, поэтому просто начинаю спам "соедини с человеком". Раза с 4 обычно перестает упорствовать (хотя время ожидания оператора конечно мрак)
Какой бы простой не казалось работа рядового саппорта. Полноценная замена на ИИ на данный момент всё ещё невозможна. Знаю несколько компаний которые используют его как помощник с постоянным переобучением на основе обратной связи. И даже так, полезные рекомендации он выдает не более чем в 40% случаев
В сбере прикольно с роботом общаться. Там ему (или ей) добавили самоиронию. Но это конечно если цель просто потрындеть. Реальные запросы все равно всегда заканчиваются просьбой перевести на оператора-человека.
В сбере один момент раздражает - звонит бот, что-то рассказывает и кашляет) я согласился его прослушать, потому что ожидаю - бот может выдать ровно полезную информацию и ничего лишнего, а на меня за это еще и накашляли.
Имитация разговора с живым человеком. У Мегафона подобная хрень - если раньше автоответом был стандартный текст абсолютно нейтральным голосом ("..абонент вне зоны действия сети.."), то сейчас зачитывают разные фразы то на фоне другого разговора, то разными голосами. Толку ноль (недоступный абонент от этого не ответит), только раздражает.
полезные рекомендации он выдает не более чем в 40% случаев
«А вы говорите наоборот — и верный ответ у вас будет в 60% случаев!» ©
Давайте еще раз скажем эмпирическое правило: если некоторый процесс успешно удалось автоматизировать ChatGPT - значит он был не нужен, и в идеальном мире вообще можно было не делать.
LLM - это семантический попугай! Он может идеально имитировать любую деятельность, не шибко вникая в суть. Как ребенок который бежит по улице и гудит - "я - автобус". Или как ребенок, который рисует каляку на бумаге, и на серьезных щах поясняет: "Это - киса. Вот у кисы хвостик, а вот у кисы - глазки". То есть он внешне делает все как взрослый (водит карандаш по бумаге, и слова говорит те же самые в том же порядке) - только разница в том, что у взрослого киса на бумаге появляется, а у неразумного дитя - нет!
Ровно то же случилось и у вас - ИИ вам имитировал начилие поддержки. Вам еще повезло - серьезно процессы не сломали - так, малой кровью отделались...
Игрались с n8n. Для быстрой сборки флоу и экспериментами без привлечения разработчика вполне себе. Но чем стабильнее хочется сделать финальную версию, тем чаще она просится в детерминированный код.
Прекрасно сформировано. Действительно, ИИ это имитация осмысленной деятельности.
Взрослые тоже частенько имитируют полезную деятельность. Взять хоть тех же депутатов.
GPT не помнит длинные диалоги. Если пользователь писал несколько сообщений подряд, модель начинала путаться: объединяла их в один запрос, забывала детали или отвечала на старый вопрос.
Это фраза многое объясняет :) Делали первый проект по автоматизации, не так ли?
ChatGPT настроен отвечать на вопросы из промпта, а если вы хотите превратить его в посредника-продажника - нужно либо очень хитроумную систему промптов сочинить и тщательно вручную протестировать её на работоспособность, либо обучить свою нейросеть.
А ещё есть ощущение что вы не читали на Хабре статью, где рассказывалось как бороться с выдумыванием ИИ - https://habr.com/ru/articles/945450/
Я не против ИИ-ботов в поддержке. Мне не нравится, когда нет никакой возможности соединиться с оператором-человеком.
Так для этого нужно что бы оператор был, а их обычно увольняют.
А ещё, как мне кажется, большинство людей не хочет общаться с ботами, и потому будут всегда просить соединить их с человеком.
Большинство людей хочет чтобы их проблемы решили. Причём желательно побыстрее. А на всё остальное им в общем-то наплевать.
Я заметил, что ИИ всегда говорит уверенно. И иногда для уверенности ещё и привирает. Нужно было какой-то скрипт на bash простенький подправить. Я не особо любитель bash, решил сделать через ИИ. Толком ничего не получалось, но потом ИИ мне заявил, что вот всё, у него есть точно работающий скрипт. И он его сам лично проверил на 3 разных версиях Linux :-D
Мне кажется, что когда пытаешься запустить такое, как минимум нельзя всё пускать на самотёк. Т.е. первое время должен сидеть человек и принимать или отклонять то, что предложила нейронка, чтобы убедиться, что всё работает корректно, а просто разом взять и поменять человека на нейронка без контроля это странно.
Кроме того, мне кажется путаются понятия поддержки и продажи. Поддержка - ответы на возникающие технические проблемы. Если в ходе общения с клиентом выясняется, что ему не хватает лицензий/товара - переводится уже на другого специалиста, который и работает по-другому.
Инструкция «не выдумывай» не помогла.
Я конечно в афиге как люди пытаются использовать то , чего не понимают.
Простой факт промпт "не нажимац на красную кнопку" , все еще сожержит токен "нажимай на кнопку" и при переполнении буфера только оно и остается.
Так самое интересное автор и не озвучил. Модель-то какая? (ChatGPT это не модель)
На третий день начали происходить странные вещи.
Кто‑то жаловался, что бот «перепутал имя», кто‑то — что тот извинился за отмену заказа, которой не было.
Пробовали правило трех сообщений? Т.е. не давайте боту написать пользователю больше трех сообщений. Если пользователь продолжает общение, просто переводите на Оператора. Ну и первым сообщением должно быть обобщенное summary обращений пользователя: «Правильно ли я понял, что Вы/у Вас…»
"Идеальная скорость бесполезна, если нет результата. Быстрый ответ не равен хорошему опыту"
100% AI-шная фразочка. Гладкая, лаконичная, бессмысленная.
Проблема с такими агентами в том, что все умеют писать промпты для LLM, но лишь единицы умеют делать это правильно.
В создании агентов очень много тонкостей даже не связанных с промптами напрямую. И даже в написании промптов очень много нюансов.
По тексту я вижу, что вы взялись за такую систему не обладая опытом и экспертизой. А сначала нужно было этот опыт каким-то способом получить.
И да технология, хотя и потрясающая, всё ещё не совершенна. У неё очень много ограничений.
Жаль, что технических подробностей нет.
Хотелось бы знать, как именно строился данный агент и вообще агент ли это(вдруг просто один волшебный системный промпт в заголовке, а с остальным модель в едином флоу разбирается сама).
Насколько я знаю, если спроектировать граф с ролями, классификаторами, судьями, суммаризатором, инструментами, внешней памятью - можно добиться вменяемого предсказуемого результата, где на каждом шаге состояние графа не будет перегружать контекст модели и минимизировать галлюцинации. По трейсу можно определять на каком шаге проблемы и корректировать работу конкретной ноды, а не править общий промпт.
По мне так сперва должен был быть проведен анализ потока заявок в ТП, с оценкой времени ответа человеком, и либо автоматизировать сбор первичных данных роботом, чтобы оператор, когда подключится, не тратил бы время на выяснение номера заказа и типа проблемы, либо точечно решать самые частые вопросы, и почему они вообще возникли. Вот для анализа ИИ и пригодился бы.
Автор, ну вы сами таким сервисом пользовались бы? Когда вместо решения проблемы вам отвечает железный дурак, часто не в тему, может врать и альтернатив выйти на человека нет? Конечно людей это бесит и они уходят. Ставите робота - вот пусть роботы этим сервисом и пользуются.
Спасибо за откровенный рассказ.
Подскажите, какие ваши дальнейшие мысли по использованию ChatGPT кроме роли ассистента? Собираетесь ли произвести работу над ошибками и повторить эксперимент или вы полноценно разочаровались?
ИИ не должен заменять человека, он должен помогать
То есть саппорт может копипастить вопрос клиента в ИИ, он быстро ищет по KB и выдает ответ. Саппорт проверяет его и на основе его отправлят уже сообщение клиенту.
А как же RAG, как-же файнтюнинг? Без всего этого неудивительно что не вышло, на край как агента сделать с логикой
Было бы полезно, если бы люди почаще делились своими гипотезами и опытом, особенного негативным. Спасибо, было интересно. Успехов в работе!
Я заменил контактную форму на своем сайте ссылкой на MyGPT, куда загрузил основные часто задаваемые вопросы. Раньше я получал около десяти писем в неделю — пользователи спрашивали, как выполнить то или иное действие или как решить технические проблемы. Ответы занимали примерно час каждую неделю. Продаж через эту форму никогда не было.
Сейчас у моего MyGPT уже больше 1k бесед на GPT-маркетплейсе, и он даже приносит новых пользователей. На запуск всей системы ушёл примерно час.
Когда возникает баг или у пользователя появляется предложение по улучшению, бот автоматически выдает форму для заполнения, которую я затем просматриваю.
Недавно у меня отвалилось половина интернета, часть работает, часть нет. Такое уже бывало у ростелекома, и я обратился в саппорт в чате. Там был бот, который, изучив проблему, создал заявку на вызов мастера мне на дом, причем меня поставили сразу перед фактом, бот прямо инициативен. Я сижу и думаю, и чем же мне поможет мастер, ведь с моим роутером всё в порядке. Решаю оставить заявку, чтобы поговорить с человеком, пусть это будет даже мастер, пришедший ко мне домой. Потом ночью всё снова заработало, и я отменил заявку, хотя мог этого и не делать. На следующий день мне позвонил мастер и поинтересовался, всё ли нормально, и сказал звонить ему лично, если что. Теперь в рабочем кабинете у меня есть отметка об успешно выполненной заявке. И это лишь недавний опыт общения с генератором текстов (называть его ИИ слишком громко). Зато ростелеком любит мне звонить и предлагать стать их абонентом, при этом я минимум 10 раз сказал, что я и так уже абонент, причем принудительно: они тупо купили моего провайдера, на котором я был лет 20.
Думаю, пузырь ИИ скоро лопнет. Да, это крутое изобретение наших дней, но это лишь инструмент и не более того. Его возможности крайне переоценены.
укаждого продакта или фаундера хоть раз возникала мысль: а что, если просто поставить ChatGPT вместо поддержки? Он ведь не устает, не болеет, отвечает мгновенно и не просит премию к праздникам.
Когда уже какой-нибудь "фаундер" догадается, что все наоборот: умный, доступный, решающий проблемы, а главное настоящий живой человеческий саппорт может стать мощнейшим конкурентным преимуществом и драйвером продаж?
Так пробовали уже неоднократно. Оно не особо окупается. Ну или точнее оно более-менее окупается только для всяких "премуим" брендов, у которых клиенты готовы за такое платить.
Все так, если решать задачу "в лоб". А может заменить ИИ какие-то другие позиции, а высвободившийся ФОТ направить в клиентский сервис?
А почему одно должно исключать другое? :)
Не совсем понимаю, что есть "одно" и что "другое" ?
Я внедрял агента по шагам и под контролем поддержки.
1 - переадресация на агента каждое третье письмо.
2 - за агентом следит поддержка - сразу видит чат, что он там пишет.
3 - можно моментально перехватить разговор, что и делает поддержка если бот чего-то не то делает..
4 - обязательно кнопка «Позвать оператора» (и приписка, что оператор следит за разговором).
А в чем проблема была сначала протестировать новую поддержку на старых кейсах? Берём 1000 звонков и проверяем справится или нет.
Столько вопросов.
Что за продукт? Схема продаж?
Пропустим критические ошибки, из разряда - ябы хотел чтоб саппорт продавал, саппорт должен решать проблемы пользователя. Нагрузить его продажами - задача амбициозная, но иногда нереальная.
1. Не понятна схема реализации - как сохранялся контекст, как использовались старые данные, как вы использовали эти данные и связывали с новыми обращениями.
2. Почему не было проведено тестирование 1 сценария, чтоб понимать в какой момент и почему LLM могла начинать выдумывать, есть инструкции, есть ограничения моделей. По вашему тексту выходит что вы широкую-на-широкую вывалили все модели, с некоторой классификацией.
3. Почему было все оставлено на ИИ, для меня наверное это самый важный момент, в любой воронке есть узкое место или критический фактор, например, оплата. Если со всем остальным можно мириться - то вот например оплата святое.
4. Зачем вы объединили обычного проверяльщика заказа - бота по сути, с ИИ? Для чего?
5. Было ли явно понятно что сейчас с человеком работает ИИ или живой человек? Важно ли это в контексте вашего продукта?
Мое мнение, возможно ошибочное: часть проблем которые вы описали - они вообще ваши, вы не смогли нормально наладить LLM и работу open AI агентов. Общее впечатление что вы дали людям агента с минимумом инструкций и не пониманием как они работают, как может выдумывать модель - у которой теплота 0 и она работает только с тем набором инструкций что ей дали?
В общем как и писал в начале, столько вопросов :)
Как я заменил саппорт-команду ChatGPT и потом неделю разбирался с жалобами