Работала раньше с заказом и импортом продукции из Китая. Даже с более простыми товарами куча нюансов и подводных камней от момента предоплаты до получения партии. Вы офигеть какие смелые и крутые, что все это затащили, респект!
ни один соц.опрос не опрашивает всю страну. В выводе социологов был вывод о доле людей. 20% хотят заниматься любимым делом, а сейчас им не занимаются. 20% от всех работающих людей РФ — вот вам и миллионы.
Вывод валиден, если конечно социолог был компетентен, и взял репрезентативную выборку)))
Прям цифры я озвучивать не могу, NDA все же. В целом про юнит-экономику примерно так выходит:
1 — В данном случае мы автоматизировали существующий процесс. То есть до теста мы тратили на эти звонки Х% от CustomerSalesCost, еще до полного внедрения провели тест «на коленке», который позволил примерно посчитать стоимость звонков роботом — именно те расходы, которые мы будем нести всегда. Эти расходы оказались заметно ниже, чем было — значит надо тестировать)
2 — Расходы на тестирование и внедрение это единоразовые расходы и именно в юнит-экономике их учитывать не нужно. Но конечно при согласовании проекта смотрели и на то, какого размера инвестиции понадобятся…
3 — … а наш робот довольно просто устроен и он не требует длительного и дорогого внедрения. Системы, которые способны обучаться в процессе работы — другое дело, но про них подробно не знаю
Я бы еще предложил вариант — корректировка звонков робота, когда просто одному человеку сразу по завершению пачки обзвонов даются на прослушивание записи, где робот посчитал что ответ однозначный. И прокликать согласен/не согласен с распознаванием робота.
Классная тема! Мы тоже со старта делали прослушивание звонков, и при этом словили вот такую граблю: на прослушивание отдавали только те звонки, где робот не распознал ответ человека. В итоге (казалось) успешно дополняли словарь распознавания. И только через время перешли на схему, которую вы описываете, и стали прослушивать все звонки. Оказалось, что даже в тех ответах, которые робот распознал, были false positive и false negative распознавания… Потом с помощью нескольких серий прослушивания их удалось убрать
Спасибо, рада что не зря :)
Кроме примеров от arheops были подобные ответы:
«ну я щас на телефоне зайду на почту и зайду по ссылке»,
«Да, да, конечно. Да, хорошо. Ссылочка должна придти, да?»,
«выйду, только не с компьютера, а с телефона».
Плюс отдельный кластер ответов с проблемами:
«да, а как это сделать?»,
«вы знаете я не могу подключить микрофон, ну никак»,
И контрольный в голову:
«постараюсь, мне нужно успеть скачать платформу, я так понимаю»
(платформу разумеется не нужно скачивать, она работает в вебе).
В общем если в бизнесе есть хорошо отлаженный операционный отдел, то он сглаживает тьму мелких недоработок всей IT части. Так что в каком-то смысле попытка автоматизировать кусочек процесса дает продуктовым командам даже больше понимания реальных проблем, чем поход в гембу (в поля)
В этом случае вам почти сразу позвонит живой оператор и предложит перенести урок. Если окажется, что вы не собирались ничего отменять, то не будет никакого переноса — система соединит вас с методистом и урок состоится.
Если звонок оператора вы тоже сбросите — тогда да, будет автоматическая отмена, и потом опять же предложат перенести вводный урок на другое время.
Хотя даже в этом случае можно вернуть все на место: если вы сбросили вообще все звонки, но когда пришло время урока позвонили нам/написали в чат — то опять таки вам проведут урок как договаривались.
То есть мы ждем хоть какого-то подтверждения от вас, в любой форме)
Представляется коротко, «Здравствуйте, это онлайн-школа Skyeng. У вас урок //время-и тд/».
С необъяснимым ухудшением конверсии все сложно, особенно в 2020 году. Вы прям в больное место аналитика попали) У нас всегда есть сезонные колебание конверсии внутри года, поэтому чтобы проверить ухудшение конверсии обязательно учитываем и сезонность тоже.
В этом году сезонность полетела в тартарары и теперь любой вопрос типа «а есть ли в октябре ухудшение конверсии по сравнению с сентябрем?» получает супер расплывчатый ответ вроде «если опираться на обычную сезонность, то нет/да. Но возможно из-за второй волны ковида сезонность должна быть необычная и тогдааа...» никто не знает точно, в общем.
Эффект «слышу робота — сбрасываю» мы стараемся снизить, предупреждая после записи на вводный урок о том, что за 10-15 минут до урока позвонит робот. Такая вот подпорка, пока не перейдем на персонализированный тип коммуникации :)
именно в этом случае нет такой возможности( Точнее, сейчас переделываем внутреннюю часть системы выхода на вводный урок так, чтобы необходимости в звонке перед уроком было меньше.
Для тех кейсов, когда не критично получить ответ от человека, стараемся использовать письма/пуши/смс, причем каскадом, а не все одновременно.
Похоже мое стремление сделать минимум цифр в статье запутало многих комментаторов. В это эксперименте мы проверяли автоматизацию звонка прямо перед вводным уроком. За 5-10 минут.
Если ученик подтверждает, что будет — проводим урок. Поменялись планы — переносим.
Именно поэтому не можем себе позволить асинхронную коммуникацию для всех: будет заметная доля учеников, которые не увидели сообщение, но собираются выйти на вводный урок. И тоже заметная доля тех, кто не увидел и не собирался. В итоге с нашей стороны мы их никак не сможем отличить и придется либо методисту впустую ждать того, либо ученику зря отменять урок.
Со звонками эта проблема тоже есть (даже те, кто не берет трубку 3 раза, могут потом сами позвонить и сказать, что готовы начинать) — но объем сильно меньше и такие случаи обычно покрываем дежурными методистами.
Я в ветке выше писала, что сама очень хочу давать пользователям выбирать режим коммуникации, но точно ли это классно работает сможем узнать только после теста. Когда проведем — расскажу результаты)
Именно тот звонок, о котором речь в статье, поступает за несколько минут до вводного урока. Если ученик говорит, что все в силе, то начинается урок. Если отменяет или не берет трубку 3 раза, то предполагаем, что поменялись планы и пытаемся связаться чуть позже, чтобы перенести вводный урок на другое время.
То есть ответ важен и для нас, и для учеников.
Если отправляем смс и не получаем ответа, то гораздо сложнее понять: ученик все же выйдет ровно в 17:00, или он опаздывает немного и надо его подождать, а не отменять вводный урок, или все же планы поменялись и методисту вводного урока можно идти заниматься с другим учеником
Возможно я не описала контекст ситуации. Раньше всем ученикам итак звонили перед вводным уроком. На урок ученик записывается добровольно, за 5-15 минут до старта сотрудник звонит и уточняет, все ли в силе. Плюс помогает подключиться к уроку тем, кто с компьютером «на Вы».
Сейчас вместо этого сотрудника звонит робот, плюс если у ученика есть проблемы с подключением или вопросы, то на помощь приходит человек. То есть со стороны пользователя количество коммуникации осталось точно таким же, а с нашей стороны сотрудникам стало немного интереснее работать. Звучит как win-win, на мой взгляд (кроме тех кейсов, когда пользователь супер-негативно настроен к любым роботам, конечно).
автоматизировать вот это вот всё можно автоматической отправкой той же СМС. Или электронного письма
Так как время ограничено (те самые 5-15 минут), то приходится использовать именно звонок. Письмо совсем не справляется с задачей, а смс только частично.
Впрочем, уже сейчас мы изменили систему так, что ученик может заранее войти на вводный урок из личного кабинета. В этом случае никто звонить не будет, т.к. итак видно, что Вы подключились
к счастью не пробовала… Тупыми багами к сожалению полны многие новые фичи наши иногда тоже, надеюсь СДЭК исправит их. Тут уже вопрос не к самой концепции, а к разработке и тестированию нового режима работы.
Бесит, когда на уровне концепции есть жесткие ограничения: например, робот Альфа-банка спрашивает, заберу ли я карту в таком-то отделении и вариантов ответа всего 2, ДА и НЕТ. А я хочу карту, но в другом отделении? Что делать? Хз, краевые кейсы никак не обрабатываются.
По поводу способа коммуникации, кажется пока есть пласт людей, которые всё решают через звонок, не получится перенести коммуникацию в текст для всех сразу. Я очень верю в выбор режима коммуникации для пользователя, как только затестим что-то подобное — поделюсь результатами)
некоторых живых операторов так тренируют, что их 100% не отличить от робота: сплошная монотонность и механичность, ни одной живой интонации. Такие компании так и хочется спросить, если вы уже мучаете клиентов механическими голосами, то зачем вы еще и операторов мучаете? Ну звоните роботом, эффект тот же будет))
Они думают, что если человек слышит по телефону живой голос, то ему будет неудобно отказывать
Это действительно так и работает: с живым голосом охотнее общаются (не удивительно). Только у нас было наоборот: живого человека заменили роботом, а робота почти никто не воспринимает как «живой голос», поэтому после перехода на робозвонок увеличилось количество сбросов.
Так что мотивация предельно проста: квалифицированным сотрудникам не классно 15% своего времени тратить на то, что можно автоматизировать)
Авторы идеи сами не очень любят роботов и были готовы к тому что эксперимент с роботом будет провалом.
В итоге оказалось что мантра «я нерепрезентативен» все еще работает, потому что…
Предельно просто – СМС за сутки с просьбой, например, ответить на него, если да, и проигнорировать, если нет
… удивительно большой процент людей меняет планы и за последние сутки, и даже за час-два до события. В итоге из тех, кто отвечает за сутки «я буду» на самом деле будут не все (мы проверяли).
При этом я полностью согласна с мыслью о том, что робозвонок чаще всего обуза и неудобство, думаю в нашем случае они будут только промежуточным звеном эволюции, пока не придумаем как решить ту же задачу более приятным для пользователя способом)
Со СДЭК буквально вчера столкнулась, очень понравилось! Наконец-то я точно знаю, когда приедет курьер и даже перенести могу если что)
Мне кажется для большинства людей реакция на звонок очень сильно зависит от того, желанный он или нет. С тем же курьером я больше нервов потрачу, если он все же приедет именно тогда, когда меня нет на месте, чем за минуту-две звонка. Но когда злоупотребляют звонками — однозначно и быстро растет нелюбовь.
Вывод валиден, если конечно социолог был компетентен, и взял репрезентативную выборку)))
1 — В данном случае мы автоматизировали существующий процесс. То есть до теста мы тратили на эти звонки Х% от CustomerSalesCost, еще до полного внедрения провели тест «на коленке», который позволил примерно посчитать стоимость звонков роботом — именно те расходы, которые мы будем нести всегда. Эти расходы оказались заметно ниже, чем было — значит надо тестировать)
2 — Расходы на тестирование и внедрение это единоразовые расходы и именно в юнит-экономике их учитывать не нужно. Но конечно при согласовании проекта смотрели и на то, какого размера инвестиции понадобятся…
3 — … а наш робот довольно просто устроен и он не требует длительного и дорогого внедрения. Системы, которые способны обучаться в процессе работы — другое дело, но про них подробно не знаю
Какие еще митапы, кроме PHP, организуете?
Кроме примеров от arheops были подобные ответы:
Плюс отдельный кластер ответов с проблемами:
И контрольный в голову:
(платформу разумеется не нужно скачивать, она работает в вебе).
В общем если в бизнесе есть хорошо отлаженный операционный отдел, то он сглаживает тьму мелких недоработок всей IT части. Так что в каком-то смысле попытка автоматизировать кусочек процесса дает продуктовым командам даже больше понимания реальных проблем, чем поход в гембу (в поля)
Upd. Уже добавила, если что — уберу!
Если звонок оператора вы тоже сбросите — тогда да, будет автоматическая отмена, и потом опять же предложат перенести вводный урок на другое время.
Хотя даже в этом случае можно вернуть все на место: если вы сбросили вообще все звонки, но когда пришло время урока позвонили нам/написали в чат — то опять таки вам проведут урок как договаривались.
То есть мы ждем хоть какого-то подтверждения от вас, в любой форме)
С необъяснимым ухудшением конверсии все сложно, особенно в 2020 году. Вы прям в больное место аналитика попали) У нас всегда есть сезонные колебание конверсии внутри года, поэтому чтобы проверить ухудшение конверсии обязательно учитываем и сезонность тоже.
В этом году сезонность полетела в тартарары и теперь любой вопрос типа «а есть ли в октябре ухудшение конверсии по сравнению с сентябрем?» получает супер расплывчатый ответ вроде «если опираться на обычную сезонность, то нет/да. Но возможно из-за второй волны ковида сезонность должна быть необычная и тогдааа...» никто не знает точно, в общем.
Эффект «слышу робота — сбрасываю» мы стараемся снизить, предупреждая после записи на вводный урок о том, что за 10-15 минут до урока позвонит робот. Такая вот подпорка, пока не перейдем на персонализированный тип коммуникации :)
Для тех кейсов, когда не критично получить ответ от человека, стараемся использовать письма/пуши/смс, причем каскадом, а не все одновременно.
Если ученик подтверждает, что будет — проводим урок. Поменялись планы — переносим.
Именно поэтому не можем себе позволить асинхронную коммуникацию для всех: будет заметная доля учеников, которые не увидели сообщение, но собираются выйти на вводный урок. И тоже заметная доля тех, кто не увидел и не собирался. В итоге с нашей стороны мы их никак не сможем отличить и придется либо методисту впустую ждать того, либо ученику зря отменять урок.
Со звонками эта проблема тоже есть (даже те, кто не берет трубку 3 раза, могут потом сами позвонить и сказать, что готовы начинать) — но объем сильно меньше и такие случаи обычно покрываем дежурными методистами.
Я в ветке выше писала, что сама очень хочу давать пользователям выбирать режим коммуникации, но точно ли это классно работает сможем узнать только после теста. Когда проведем — расскажу результаты)
То есть ответ важен и для нас, и для учеников.
Если отправляем смс и не получаем ответа, то гораздо сложнее понять: ученик все же выйдет ровно в 17:00, или он опаздывает немного и надо его подождать, а не отменять вводный урок, или все же планы поменялись и методисту вводного урока можно идти заниматься с другим учеником
Сейчас вместо этого сотрудника звонит робот, плюс если у ученика есть проблемы с подключением или вопросы, то на помощь приходит человек.
То есть со стороны пользователя количество коммуникации осталось точно таким же, а с нашей стороны сотрудникам стало немного интереснее работать. Звучит как win-win, на мой взгляд (кроме тех кейсов, когда пользователь супер-негативно настроен к любым роботам, конечно).
Так как время ограничено (те самые 5-15 минут), то приходится использовать именно звонок. Письмо совсем не справляется с задачей, а смс только частично.
Впрочем, уже сейчас мы изменили систему так, что ученик может заранее войти на вводный урок из личного кабинета. В этом случае никто звонить не будет, т.к. итак видно, что Вы подключились
наши иногда тоже, надеюсь СДЭК исправит их. Тут уже вопрос не к самой концепции, а к разработке и тестированию нового режима работы.Бесит, когда на уровне концепции есть жесткие ограничения: например, робот Альфа-банка спрашивает, заберу ли я карту в таком-то отделении и вариантов ответа всего 2, ДА и НЕТ. А я хочу карту, но в другом отделении? Что делать? Хз, краевые кейсы никак не обрабатываются.
По поводу способа коммуникации, кажется пока есть пласт людей, которые всё решают через звонок, не получится перенести коммуникацию в текст для всех сразу. Я очень верю в выбор режима коммуникации для пользователя, как только затестим что-то подобное — поделюсь результатами)
Так что мотивация предельно проста: квалифицированным сотрудникам не классно 15% своего времени тратить на то, что можно автоматизировать)
В итоге оказалось что мантра «я нерепрезентативен» все еще работает, потому что…
… удивительно большой процент людей меняет планы и за последние сутки, и даже за час-два до события. В итоге из тех, кто отвечает за сутки «я буду» на самом деле будут не все (мы проверяли).
При этом я полностью согласна с мыслью о том, что робозвонок чаще всего обуза и неудобство, думаю в нашем случае они будут только промежуточным звеном эволюции, пока не придумаем как решить ту же задачу более приятным для пользователя способом)
Мне кажется для большинства людей реакция на звонок очень сильно зависит от того, желанный он или нет. С тем же курьером я больше нервов потрачу, если он все же приедет именно тогда, когда меня нет на месте, чем за минуту-две звонка. Но когда злоупотребляют звонками — однозначно и быстро растет нелюбовь.
Спасибо за идею про опрос!