Как стать автором
Обновить

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Время на прочтение8 мин
Количество просмотров23K
Всего голосов 36: ↑32 и ↓4+28
Комментарии73

Комментарии 73

По опыту общения с авто-поддержками, иногда хотелось бы иметь опцию — связаться с живым человеком, которую многие не предусматривают

Согласна с вами, что нет ничего хуже, чем бот, который затягивает поиск ответа, а не ускоряет. Поэтому при оценке качества мы смотрим не только на оценки пользователей, но и на вероятность возникновения дополнительных вопросов. А ещё не боимся переключать на живого человека, если быстрый ответ не помог.
То есть такой опции не будет? Сначала нужно будет пообщатся с ботом, потом доказать что его ответ не помог и только потом будет доступен живой человек?
Если вам ответил бот, а дальше вы написали ответ, который мы протэгировали как не относящийся к тематике благодарностей, диалог сразу забирает человек. Так что доказывать боту ничего не придётся:)

тем не менее, лучше чтобы так же действовал прямой шаблон, типа "позови оператора"

Нет ничего хуже, чем бот который мимикрирует под живого человека.

По опыту общения с авто-поддержками двух банков (и я.денег), они всегда предлагали какие-то несуразные шаблонные ответы, которые только раздражают, и чтобы переключиться на оператора нужно всегда писать "соедините с оператором".


При этом здесь даже не поднимается вопрос о том, как улучшить поведение поддержки для пользователей, которые пишут в поддержку только когда у них есть проблема, которую нельзя решить из интерфейса. Чтобы таким людям повышать веса для перевода на реального оператора, а не просить об этом каждый раз.


Особенно весело, когда поддержка реализована в виде "мессенджера", и при этом если отвлечься на пару минут и вернуться обратно, опять ответит бот, и опять надо просить перевести на оператора.

Добрый день! Мы учли это в логике переключения на оператора: после перерыва диалог не оборвётся и не придётся вновь разговаривать с ботом.
Вообще уже клиентов за людей не считаете. Стремно все то что вы делаете… Клиент Вам бабки несет, а вы ему общение с ботом предлагаете.

Ну так задача бизнеса (настоящая) — не удовлетворять клиента, а зарабатывать деньги. А зарабатывать больше можно в том числе снижением издержек.


Работал как-то в конторе, делавшей чат-ботов для техподдержки. Так вот, у крупных компаний (операторов связи например) речь идет о реальных миллиардах рублей трат на техподдержку. При этом большая часть обращений — реально шаблонная фигня, с которой чатботы вполне справляются. И получается экономия в сотни миллионов в год на сокращении штатов поддержки и офисных площадей. Это гораздо важнее для бизнеса, чем абстрактное "недовольство" пары процентов прошаренных пользователей.

НЛО прилетело и опубликовало эту надпись здесь
Планируем и дальше развивать метод и довести процент использования автоответов на первой линии до 99.9%

(тихонько заплакал) а может не надо? и так уже полно всяких способов «как вызвать оператора у ОПСОСа», так и вы тудаже)

на самом деле

и уделять максимум внимания действительно сложным случаям

превратился в адский квест «докажи тупой машине что случай действительно сложный, чтобы она перевела тебя на живого человека»

а всё потому что вы, да собственно как и все на рынке коллцентров, жлобитесь на живых людей
===
и ваш пример с двойным списанием… помнится в одной конторе (не у вас) с меня списали два раза по 50р, автомат как заведенный отвечал что «это только холд проверьте выписку!»… ну и че через 30 дней оба списания по 50р подтвердились и списались, я тупо изза мелкой суммы не стал бегать искать правду
Мы внимательно смотрим, чтобы в аб эксперименте оценка нашему боту была не хуже, чем у саппорта, и вопросов после ответа у пользователя тоже больше не возникало.
Если что-то идет не так мы отключаем вызывающие вопросы шаблоны и тематики
Отдельный класс, для кейсов когда клиенту ответил бот и после этого он больше не пользовался такси от месяца и более есть? Или оно всё в положительные утекает? Какие параметры оценки тематики и шаблонов?
Мы следим за тем, как наши ответы влияют на отток пользователей. Шаблонов автоответов, после которых пользователи статзначимо чаще уходят из сервиса по сравнению с сотрудниками саппорта, не наблюдаем.
Также мы смотрим на такие метрики, как оценка пользователем поддержки и то, потребовалось ли еще обращение, чтобы решить проблему. Если тематики или шаблоны по этим метрикам в аб-эскперименте у бота хуже, чем у саппорта — отключаем их.
потребовалось ли еще обращение, чтобы решить проблему
Реализовано как количество попаданий на вопрос пользователем?

Ко мне (и к людям вместе с которыми я ездил), в течение 3 месяцев ни разу не приехал водитель, который бы пристегнулся в пути.
Об этом я писал в поддержку и каждый раз мне приходил ответ о том, что так действительно нельзя, вы разберётесь и этого конкретного водителя накажете при повторном нарушении.


Но и после десятка отрицательных отзывов так никто и не ответил, почему есть такая систематическая проблема. То что водители неохотно соблюдают ПДД — это недостаточно сложный случай, на который в принципе реагировать особо и не надо?

Здравствуйте! Я из команды поддержки Яндекс.Такси. Мы следим за соблюдением ПДД, напоминаем водителям о важности правил и проверяем их знания в этой области. Увы, действительно, встречаются водители, которые игнорируют ремни безопасности. В этих ситуациях мы делаем локальные проверки, особенно, если уже поступали подобные жалобы.

Вы отвечаете практически слово в слово, как мне уже отвечали у вас в комментариях к заказам и отдельно на электронную почту.


Но вы отвечаете на вопрос о последствиях для водителей, и опускаете тот момент, что это проблема не с водителями, а с вами, как сервисом. Не реагируете на это, не пытаетесь об этом рассказать, и сводите к вопросу о конкретных водителях.
Встречаются — это когда один водитель на сотню так делает, а не в каждой поездке.
Так же как и в случае с разговорами по телефону, о которых писали ниже.

Вопросы безопасности системно тоже решаем. Например, уже автоматически отслеживаем скорость и манеру вождения. В разработке камера, которая в режиме реального времени мониторит состояние водителя, его усталость. Думаем над тем, как постоянно проверять и выявлять нарушения с ремнями безопасности.
Все водители, с которыми я пересекался, работают сутками и с несколькими сервисами. Несколько раз встречал тех, кто хвастается, что ездит в «стеклянном» состоянии. Как вы собираетесь решать эту проблему? Камеру каждому водителю и оценку его состояния?
НЛО прилетело и опубликовало эту надпись здесь

А разве тут есть правильный ответ? "Да, мы налажали, но не прекратим, потому что большинство устраивает и выручка достаточная" вряд ли подойдёт.

НЛО прилетело и опубликовало эту надпись здесь
К сожалению, компании, внедряющие ботов, почему-то гордятся этим, и думают, что это — хорошо. Увы, это не так.
Да, экономия. Да, нет нужды искать и учить умных и толковых операторов поддержки. Но минусы перевешивают.
Юзер долбится в тупой автомат — минус. Юзер понимает, что на него положить наплевать — ещё один минус. Юзер отказывается от общения с тупой поддержкой дальше — тоже вряд ли плюс.
Я понимаю, что крупным компаниям нечего терять, они и так уже перестали быть адекватно-общительными с клиентами. Но все же — друзья, может, не нужно быть впереди планеты всей в деле забивания на клиентов?
Мне кажется, это как со спецэффектами в кино – их все ругают, потому что видно только плохие примеры. В фильме «Волк с Уолл-Стрит» все (почти все?) декорации и фоны дорисованы на компьютере. Сэкономили кучу денег, потому что не пришлось ездить в Европу для съемок. Зритель разницы не заметил. И в тысяче других примеров.

Но зато резиновых агентов Смитов из Матрицы каждый высмеял.

Не судите о технологии по негативным примерам. Я сам ненавижу этих ботов в телефонной поддержке mos.ru, например, но это не повод дискредитировать технологию целиком.

Слова у вас хорошие, только я пока приличного примера не знаю.

Для себя так определил: я в ТП обращаюсь, когда уже сам не смог решить вопрос, так что вопросы у меня чуть более сложные, чем «как нажать кнопку ОК». Боты, сами понимаете, не помогают, а время тратят.

И еще момент: если раньше в ТП сажали нужно число работников, то сейчас экономят, так что даже если боту сказать «оператора, пожалуйста», ответ от оператора будет минут через 10-15 (опыт общения с парой банков), и понятно, что сократили их в надежде, что 90% вопросов разрулят роботы.

Может, и разрулят, но мне каждый раз нужен живой вдумчивый ответ, и я по факту очень недоволен.

Технология — это хорошо, но, наверное, не нужно и в другую крайность впадать, верить в фантазии очередных эффективных менджеров, что их очередная сырая идея решит все проблемы.

Как говорится, никто из этих менджеров-выдумщиков не полетел бы на самолете, которые спроектировали бы так же скороспело, как они идеи генерят. «А давайте на самолет пилота не сажать, он же почти всегда только автопилот и включает», ага?

Мой аргумент был в том, что когда вам отвечает бот, вы можете об этом и не узнать. Например, в приложении такси нет кнопки "Водитель ехал не пристёгнутым", как и кучи других кнопок, которые в интерфейсе абсолютно не нужны, а в виде бота отлично справляются со своей задачей. Может, как раз в такси бот идеально подходит, в отличие от банка или опсос?)

Если все будут писать про такие мелочи как плохое состояние машины, езду не пристёгнутым, опасное вождение, то мы лишимся любимой многими услуги Я.Такси "10 км за 5 минут в прокуренном салоне с не говорящим по-русски водителем. Избавление от страха смерти в подарок".

НЛО прилетело и опубликовало эту надпись здесь
Я вам могу подсказать. Во первых есть разные боты. Первые мимикрируют под людей, вторые сразу представляются «голосовым помощником»(мне вторые больше нравятся за честность). Но не спешите ругать бота. Во первых я давно не слышал чего-то типа: «Ваш звонок очень важен для нас, оставайтесь на линии. вы 678 в очереди...» а еще чтобы услышать такой ответ надо было прослушать разные уровни голосового меню. "… если у вас вопрос Х нажмите 1, если у вас вопрос Y нажмите 2...". Уже только на этих пунктах можно сэкономить несколько минут(десятков минут). Да, бывает что у вас вопрос, с которым бот не справится. Последний мой разговор с ботом занял 10-20 секунд. на мой вопрос бот ответил «я не поняла». Я боту сказал: «раз не поняла, переключай на оператора». Со словами: «переключаю на оператора» бот перевёл меня на оператора.
Мне показалось это быстрее чем голосовое меню + ожидание оператора.
Был у меня и негативный опыт. на заре становления ботосаппорта. звонил я оператору сотовой связи и никак не мог переключить бота на человека. (автоматизированные системы перебывали в зародыше) и хотя оператор сотовой связи потом, по всей видимости переделал систему,(стало возможно переключать на специалиста ТП после слов «переключи на оператора») мой неудачный опыт подсказывал мне что саппорт проблемы не решит, что привело к накоплению негативного опыта и в конечном итоге сменой оператора сотовой связи.
Самое печальное на мой взгляд, нас ждёт, когда либо все повально начнут пользоваться лайфхаком «переключи на оператора» в том числе и простые обыватели с банальными вопросами и тогда опять или появятся задержки соединения «вы 678 на линии ваш звонок очень важен для нас» либо лазейка «переключи на оператора» будет отключена и тогда мы будем копить злость от неразрешенных проблем в себе, что приводит обычно к смене поставщика услуг
А что тут подсказывать? Вот пример: звонил я как-то в Ростелеком, потому что мне стали приходить напоминания об оплате счета за услуги РТ, хотя я не был их клиентом. По СМС. Роботом рассылаемые, конечно.

Звоню на 8-800 номер РТ, там бот «назовите цель звонка». «Уточнить». «Я не понимаю, назовите цель звонка» — и так по кругу. Ок, думаю, я тебя обману, и говорю «оплата счета». Робот подумал и распознал, и начал спрашивать номер счета.

Мало того, что на оператора он не умел переключить (не помню уже, как я его обошел, но был не рад процессу), так я еще и не любитель диктовать номер счета (любого) роботу. Да и вообще, с железками мне как-то странно общаться, я и с автомобилем не разговариваю, как многие *смайлик*. «Машина должна работать, а человек — думать».

В вашем же ответе ключевой пункт — это «Со словами: «переключаю на оператора» бот перевёл меня на оператора. Мне показалось это быстрее чем голосовое меню + ожидание оператора». В том и вопрос, что с ботами операторов посокращали, и теперь стало не просто «нажмите 9, чтобы поговорить с человеком», а появился некий квест, который нужно еще пройти, а уже потом таки начать ждать человека. Операторов-людей стало меньше, они заняты, время ожидания приличное. Это, конечно, неправильно.

Интересно к вопросу сейчас Билайн подошел, кстати. У них при каждом моем из звонке другое голосовое меню, и нельзя тупо запомнить, что при звонке к ним нажать 9, и будет человек. Нужно выслушать всё, выбрать наименьшее зло (варианта «говорить с оператором» там давно нет, есть только динамически порождаемые варианта «узнать, как платить больше меньше в роуминге», «узнать про новый тариф» (словно система не видит, что он невыгоднее моего лично мне), и прочее. Если удачно выбрать, робот скажет «ой, я это не осилю, сейчас переключу на человека».

Итого: если нам бот нужен, чтобы распознать фразу «переключи на оператора», то давайте его выкинем. Если он типа что-то должен делать, то делает он это нехорошо, а точнее, что и никак. Пока лучший бот — это голосовое меню, желательно неизменное хотя бы в основных пунктах.

P.S. Стоимость услуг банка или сотового оператора не падает, если они увольняют десяток девушек «первой линии», т.е. мне прямой выгоды нет. Качество поддержки падает, и тут есть прямая невыгода. Получается, что я плачу за хотелку «поиграться» кого-то из рук-ва конкретной организации, да еще за его бонусы от внедрения «суперсистемы» — может, ну такую идею нафиг?
Здравствуйте! Дело в том, что мы стремимся решать все ситуации быстро и качественно, чтобы пользователям не приходилось ждать. Ценность бота в том, что он может оперативно решать простые вопросы. А если понадобится помощь специалиста, то он всегда придёт и во всём разберётся.

Во-пкрвых, не всегда и не сразу. Во-вторых, вот вы здесь по ответам на ваши комменты видите, что всго-то люди хотят, чтобы их выслушивали и вникали в их вопросы/ситуации.


Боты этого не делают вообще. Увы.

Теперь и текстовое обращение в поддержку Яндекс-такси придётся начинать фразой «Добрый день. Позовите оператора.»
А вам никогда не бывает неловко, когда вы позвали оператора, а потом поняли, что на ваш вопрос мог бы ответить и бот шаблоном?
Для меня обращение в техподдержку по умолчанию подразумевает нешаблонный сценарий. Может быть именно поэтому все попытки бота с той стороны распарсить ключевые слова и выдать какой-то ответ обычно заканчиваются как пример из этой статьи о попытке поблагодарить водителя.

И отвечая на Ваш вопрос — нет, ни разу не возникало.
Это многое объясняет. Диалог коротко такой:
— Ожидания не было, водитель подал машину не по адресу.
— Ай-яй-яй, мы накажем водителя, простите за сервис, но оплата по счётчику включается в тот момент, когда вы меняете адрес.

Второй:
— Водитель говорил по телефону, мне выходить из машины следующий раз в такой ситуации?
— Отправили его на переаттестацию.
— Вы не ответили на мой вопрос.
— Ай-яй-яй, мы накажем водителя, простите за сервис, но оплата по счётчику включается в тот момент, когда вы меняете адрес.
— А что про телефон?
— Вот контакты таксопарка.

Вот прямо сейчас я еду Геттом, кстати.
Здравствуйте! Да, странные диалоги, хочу посмотреть на них и проверить. Напишите, пожалуйста, на почту blogs@taxi.yandex.ru, это поможет улучшить качество ответов.
Парни, напишите мне на noreply@mosigra.ru, пожалуйста. Ваш робот не решил мою проблему после поездки, я на вас очень обиделся, и постараюсь максимум из тех 200 тысяч километров в год, что я проезжаю на такси, сделать на Гетте. Вам это стоило промокода на 100 рублей, просто для информации )

В личку написал, когда и на каком аккаунте были диалоги.
На всякий: связались в личке, подтвердили, что увидели диалоги, саму проблему не решали.
НЛО прилетело и опубликовало эту надпись здесь

Печально, что если водитель не приехал, максимум — это устное извинение. А когда по моему адресу последовательно не доехало двое водителей в течение часа (Московская область не до конца изучена), я плюнул и уехал на местном шахидмобиле, а потом сообщил в поддержку, резко, но цензурно — меня ЧСнули на полгода.

Здравствуйте! После каждого обращения принимаются индивидуальные меры к водителям. Я бы хотел проверить ваши заказы и обращения. За обращение в поддержку блокировки быть не должно, напишите, пожалуйста, на почту blogs@taxi.yandex.ru.

Отписался. Будем посмотреть.

Здравствуйте! Мы активно пользуемся всеми нашими сервисами, так что часто сами находим то, что нужно доработать.

Расскажите, пожалуйста, что случилось при обращении в нашу поддержку. Хочу посмотреть, что там пошло не так. Буду ждать ваше письмо на почте blogs@taxi.yandex.ru.
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Если в каком-то районе бывает мало свободных машин, то мы вместе с партнёрами стараемся выводить больше автомобилей на линию, чтобы это исправить. Понимаем, что доступность сервиса — очень важный момент.
НЛО прилетело и опубликовало эту надпись здесь

Недавно решил я заказать такси на утро. На часах 6, перед дверью никого. Звоню я и с удивлением узнаю, что машину начинают искать за короткое время до времени заказа, т.е. нет никакой разницы заказать такси с вечера или позвонить за полчаса до выезда. Теперь понимаю, почему не до конца вымерли таксопарки, хотя у них обычно дороже: они просто берут и приезжают.

Извините, но построение фраз вынуждает попросить: прочитайте-ка вот это, пожалуйста.

Так вот кто обещает наказать водителя и выдаёт промокод в ответ на благодарность за поездку.

Добавлю свои 5 копеек:


  1. Возможно ли в бизнес аккаунте указывать итоговую стоимость поездки верной? Ситуация позавчера поездка в Пулково 425р при вызове, 562р в конце пути, списано почти 700р с корпоративного счёта, вчера возврат домой аналогично, в Казани позавчера и вчера, ну раньше по наблюдениям в других городах то же самое, я бы понял если первоначальная стоимость плюс ндс, но не 3 же стоимости… По личной карте таких проблем нет.
  2. Возможность менять личный-корпоративный и обратно счета в процессе поездки, поскольку часто забываешь переключить опцию.
  3. Поездки водителей по чужим правам — когда вместо условного Ивана Иванова приезжает гражданин абсолютно другой страны и при разговоре его вечном по громкой связи уже точно понятно, что его зовут не Иван, как быть тут?..
Здравствуйте! Странно, что стоимость так сильно изменилась, интересно узнать, почему. Пока менять оплату с личной карты на корпоративный счёт, во время поездки, увы, нельзя.
А вот если попадаете в ситуацию, когда понятно, что приехал другой водитель, то лучше сразу отказаться от заказа и написать в поддержку. Это серьезное нарушение правил, водитель будет сразу отстранён от заказов.

Напишите, пожалуйста, мне здесь в личные сообщения или на почту blogs@taxi.yandex.ru. Во всём разберусь.
А что происходит в «примере, чтобы проникнуться» под капотом? Искусственный интеллект лезет в биллинг и проверяет количество списаний за поездку, или тупой автомат нагло врет пользователю, утверждая, что «все проверил»?
К нам в модель приходит вся информация о поездке, и после определения тематики, мы с помощью правил проверяем все необходимые условия, чтобы ответить шаблоном. В том числе это касается билинга:)
Ну, хоть так. Хотя все равно, конечно, после подобных статей (популярный тренд сейчас) в голове ставится галочка «у этой компании техподдержки нет».

По мне так куда честнее было бы какой-нибудь «мастер вопросов» делать. Точно так же покрывает основную массу вопросов, полностью отсутствует двусмысленность, еще и текст набирать не надо — сплошные плюсы. А уж кому очень надо, пусть ждут ответа живого оператора.
Спасибо за статью. Интересно узнать как устроена работа с вопросами или отзывами, которые пользователи не пишут напрямую в тех.поддержку, а оставляют на разных интернет площадках. Часто наблюдаю, что к комментариям, оставленным на фейсбуке или даже вот здесь, довольно быстро подключаются специалисты (а вдруг тоже ИИ?). Как работает эта магия?
Добрый день! У нас есть процесс, который выделяет по ключевым потенциальные сообщения, на которые нужно обратить внимание, а дальше работает модель, которая из этого огромного множества постов отбирает посты, на которые нужно реагировать
Спасибо, реагируют всегда люди или это уже могут делать боты?
Реагируеют люди — если на нас поступила жалоба из социальной сети, нам сразу не очевидно, что это была за поездка и пользователь, это более нетривиально, а разобраться в таких случаях очень важно

Если у вас миллион звонков в день в поддержку, может быть "что-то не так" в самой идее сервиса? Кто-то говорил "Интерфейс должен быть подобен карандашу. Когда он попадает тебе в руки сразу понятно, как им пользоваться".

Миллион обращений — это много в абсолюте, однако относительно числа поездок это весьма невысокий процент.

Если не секрет фирмы, сколько поездок приходится на одно обращение? А то от карандашей по миру в больницу попадают примерно 6000 человек и умирают 100 ежегодно, и это никого не волнует.

После того, как у меня полтора года не работала нормально геолокация в я.такси (часто рандомные места на карте показывала, или те, от куда я только что приехал), при это работая в других сервисах, в т.ч. я.картах — вам, как к профессионалам доверия нет. На сообщение о баге предложили телефон перезагрузить и геолокацию включить, которая и так включена была. При этом проблема точно воспроизводилась у других людей, да и водители жаловались, что иногда невнимательные пользователи машину в другой район заказывают, а не в тот, в котором сейчас находятся.
Ощущение, что мобильное приложение 1-2 человека делают и еще полчеловека тестируют, видимо денег нет совсем, все на дивиденды и смузи ушло.

Как вы используете BERT для такого большого объема запросов? как известно BERT требует больших вычислительных мощностей в том числе для инференса. Поэтому как это работает для примерно 700 запросов в минуту, а в пиковой нагрузке так и больше, не совсем очевидно. Расскажите пожалуйста.
Добрый день! Мы распределяем нагрузку между свободными машинами — если что можно подключать новые, так что это горизонтально масштабируется

Чхать Яндекс такси хотел на клиентов) да и на себя тоже. Он борется с ветряными мельницами) Лишь бы за трендами угнаться. А если быть точнее — исправлять надо причину обращений в поддержку, а не саму поддержку.

У меня одного ощущения, что от Яндекса в комментах тоже боты? Если так, пишите мне на noreply@voshod.xyz. ваше мнение очень важно для нас, во всём разберемся.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий