Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Добрый день! Мы распределяем нагрузку между свободными машинами — если что можно подключать новые, так что это горизонтально масштабируется

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Реагируеют люди — если на нас поступила жалоба из социальной сети, нам сразу не очевидно, что это была за поездка и пользователь, это более нетривиально, а разобраться в таких случаях очень важно

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Миллион обращений — это много в абсолюте, однако относительно числа поездок это весьма невысокий процент.

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

К нам в модель приходит вся информация о поездке, и после определения тематики, мы с помощью правил проверяем все необходимые условия, чтобы ответить шаблоном. В том числе это касается билинга:)

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Добрый день! У нас есть процесс, который выделяет по ключевым потенциальные сообщения, на которые нужно обратить внимание, а дальше работает модель, которая из этого огромного множества постов отбирает посты, на которые нужно реагировать

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Мы следим за тем, как наши ответы влияют на отток пользователей. Шаблонов автоответов, после которых пользователи статзначимо чаще уходят из сервиса по сравнению с сотрудниками саппорта, не наблюдаем.
Также мы смотрим на такие метрики, как оценка пользователем поддержки и то, потребовалось ли еще обращение, чтобы решить проблему. Если тематики или шаблоны по этим метрикам в аб-эскперименте у бота хуже, чем у саппорта — отключаем их.

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Добрый день! Мы учли это в логике переключения на оператора: после перерыва диалог не оборвётся и не придётся вновь разговаривать с ботом.

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Если вам ответил бот, а дальше вы написали ответ, который мы протэгировали как не относящийся к тематике благодарностей, диалог сразу забирает человек. Так что доказывать боту ничего не придётся:)

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Мы внимательно смотрим, чтобы в аб эксперименте оценка нашему боту была не хуже, чем у саппорта, и вопросов после ответа у пользователя тоже больше не возникало.
Если что-то идет не так мы отключаем вызывающие вопросы шаблоны и тематики

Как мы учили искусственный интеллект отвечать на вопросы в поддержку. Опыт Яндекс.Такси

Согласна с вами, что нет ничего хуже, чем бот, который затягивает поиск ответа, а не ускоряет. Поэтому при оценке качества мы смотрим не только на оценки пользователей, но и на вероятность возникновения дополнительных вопросов. А ещё не боимся переключать на живого человека, если быстрый ответ не помог.