Виджет для заказа обратного звонка может быть очень полезным, если появится в нужный момент. Но как вычислить, когда посетитель сайта «дозревает» до разговора по телефону?
С самого старта проекта было очевидно, что необходимо постоянно работать над повышением эффективности работы нашего виджета — только так можно обойти конкурентов (которых, как известно, уже довольно много).
На конверсию огромное влияние оказывает выбор правильного момента. Если виджет «выскакивает» в тот момент, когда у пользователя возникает какой-то вопрос, то он с большой долей вероятности согласится на звонок и не испытает при этом негативных эмоций. Этот момент — настоящий «Святой Грааль» всех callback-виджетов, но найти его не так-то просто.
Наш путь занял уже 4 этапа, и надеемся, что успешно завершился.
На момент старта работ по тестированию число уникальных посетителей сайтов, на которых стоял виджет Cashmyvisit, составляло около 20 тысяч в месяц.
Мы решили проверить, как влияет на конверсию время задержки до появления виджета на сайте — 30, 40, 50 секунд. В первоначальную выборку попали все подключенные сайты, оценивалось количество звонков на 100 посетителей.
Выяснилось, что слишком раннее появление виджета приводит к росту числа отказов. Кроме того, мы заметили, что на результаты очень сильное влияние оказывают различные внешние факторы, на которые никак нельзя повлиять — в итоге цифры, от недели к неделе, очень сильно разнились. Все не то.
Когда первый этап находился в разгаре, команда нашего проекта попала на конференцию ФРИИ в Санкт-Петербурге. Там мы послушали выступление Григория Бакунова, директора по распространению технологий «Яндекса», который очень кстати упомянул А/Б-тестирование. Позднее, мы нашли в YouTube видео о том, как он с помощью машинного обучения и таких тестов занимался продвижение CRM-системы в США — механизм показался подходящим для наших задач.
Мы начали внедрять в процесс разработки А/Б-тестирование. За короткое время были запущены пять сценариев появления виджета, начиная с таймаута в 37 секунд с шагом в 8 секунд.
К сожалению, надежды не оправдались. После месяца тестов стало понятно, что:
Всем ли пользователям нужно показывать виджет? На следующем этапе мы решили определять наиболее вовлеченных посетителей сайта, и предлагать обратный звонок только им. Чтобы это сделать, нужно было выработать критерии «заинтересованности». К ним мы отнесли:
Помимо этого, дополнительные «баллы вовлеченности» начислялись в двух случаях:
Комбинация таких поведенческих факторов должна была сигнализировать о том, что для посетителя появление виджета будет своевременным.
Буквально на следующий день после внедрения описанной математической модели в прототип новой версии виджета один из конкурентов «выкатил» обновление, включающее все то, с чем мы планировали стать лидерами рынка!
Это был удар по нашему самолюбию, но мы довели начатое до конца и выпустили собственное обновление. Собранные данные показали, что продукт все равно работает не так, как нам бы того хотелось.
Тогда мы привлекли к работе профессиональных математиков, которые указали на главную ошибку. У нас и у конкурентов, время нахождения пользователя на сайте было в качестве самого важного показателя во всей системе. В 9 разных параметрах степень корреляции с параметром «время» было более 80% — в итоге система не контролировала то, какому количеству людей будет показан виджет и не соотносила его поведение с тематикой конкретного сайта.
Стало ясно — эта система далеко не Грааль.
Именно метод опорных векторов — нам порекомендовали использовать математики.
Мы решили попробовать и уже через пару часов отдел разработки, совместно с математиками, исписывали формулами листки бумаги.
Получившаяся в итоге, система включает несколько параметров в 230 разрезах (страницы сайта, источники посещения, время на сайте, время суток, день недели и т.д.). В ходе анализа вычисляются натуральные логарифмы, значения суммируются, эта сумма сравнивается с единицей. Если результат равен или больше единицы, то виджет показывается посетителю. Значения пересчитываются ежесекундно.
Несколько месяцев ушло на доработку системы, в апреле мы запустили ее в тестовом режиме на небольшой выборке клиентских сайтов. Уже первые замеры показали рост конверсии, в среднем, на 20-25%.
На все описанные выше поиски, пробы и ошибки у нас ушло больше, чем полгода. Однако, полученный в итоге результат радует и нас, и наших клиентов (вот здесь мы рассказывали о том, как применение виджета помогло повысить лояльность клиентов автодилеров). Мы не собираемся останавливаться на достигнутом и продолжаем дорабатывать систему так, чтобы конверсия была еще выше.
В конце концов, постоянное развитие — единственный способ победить на таком конкурентном рынке, как наш.
С самого старта проекта было очевидно, что необходимо постоянно работать над повышением эффективности работы нашего виджета — только так можно обойти конкурентов (которых, как известно, уже довольно много).
На конверсию огромное влияние оказывает выбор правильного момента. Если виджет «выскакивает» в тот момент, когда у пользователя возникает какой-то вопрос, то он с большой долей вероятности согласится на звонок и не испытает при этом негативных эмоций. Этот момент — настоящий «Святой Грааль» всех callback-виджетов, но найти его не так-то просто.
Наш путь занял уже 4 этапа, и надеемся, что успешно завершился.
Этап первый: разное время появления виджета
На момент старта работ по тестированию число уникальных посетителей сайтов, на которых стоял виджет Cashmyvisit, составляло около 20 тысяч в месяц.
Мы решили проверить, как влияет на конверсию время задержки до появления виджета на сайте — 30, 40, 50 секунд. В первоначальную выборку попали все подключенные сайты, оценивалось количество звонков на 100 посетителей.
Выяснилось, что слишком раннее появление виджета приводит к росту числа отказов. Кроме того, мы заметили, что на результаты очень сильное влияние оказывают различные внешние факторы, на которые никак нельзя повлиять — в итоге цифры, от недели к неделе, очень сильно разнились. Все не то.
Этап второй: А/Б-тесты
Когда первый этап находился в разгаре, команда нашего проекта попала на конференцию ФРИИ в Санкт-Петербурге. Там мы послушали выступление Григория Бакунова, директора по распространению технологий «Яндекса», который очень кстати упомянул А/Б-тестирование. Позднее, мы нашли в YouTube видео о том, как он с помощью машинного обучения и таких тестов занимался продвижение CRM-системы в США — механизм показался подходящим для наших задач.
Мы начали внедрять в процесс разработки А/Б-тестирование. За короткое время были запущены пять сценариев появления виджета, начиная с таймаута в 37 секунд с шагом в 8 секунд.
К сожалению, надежды не оправдались. После месяца тестов стало понятно, что:
- Он не дает пищи для реальных выводов.
- Данные по всей системе в общем нерелевантны для одного конкретного сайта.
- Выводы следует делать не по факту посещения сайта, а по факту активации виджета.
Этап третий: критерии для определения заинтересованности
Всем ли пользователям нужно показывать виджет? На следующем этапе мы решили определять наиболее вовлеченных посетителей сайта, и предлагать обратный звонок только им. Чтобы это сделать, нужно было выработать критерии «заинтересованности». К ним мы отнесли:
- Время активности на сайте более 30 секунд (на основе отслеживания движений мышью).
- Время активности пользователя больше среднего времени активности других посетителей.
- Глубина просмотра превышает средние цифры.
- Источником перехода было контекстное рекламное объявление.
Помимо этого, дополнительные «баллы вовлеченности» начислялись в двух случаях:
- За каждые 15 секунд, сверх среднего времени, проведенного на сайте.
- За осуществление 100% скролла страницы.
Комбинация таких поведенческих факторов должна была сигнализировать о том, что для посетителя появление виджета будет своевременным.
Буквально на следующий день после внедрения описанной математической модели в прототип новой версии виджета один из конкурентов «выкатил» обновление, включающее все то, с чем мы планировали стать лидерами рынка!
Это был удар по нашему самолюбию, но мы довели начатое до конца и выпустили собственное обновление. Собранные данные показали, что продукт все равно работает не так, как нам бы того хотелось.
Тогда мы привлекли к работе профессиональных математиков, которые указали на главную ошибку. У нас и у конкурентов, время нахождения пользователя на сайте было в качестве самого важного показателя во всей системе. В 9 разных параметрах степень корреляции с параметром «время» было более 80% — в итоге система не контролировала то, какому количеству людей будет показан виджет и не соотносила его поведение с тематикой конкретного сайта.
Стало ясно — эта система далеко не Грааль.
Четвертый этап: опорные векторы
Именно метод опорных векторов — нам порекомендовали использовать математики.
Мы решили попробовать и уже через пару часов отдел разработки, совместно с математиками, исписывали формулами листки бумаги.
Получившаяся в итоге, система включает несколько параметров в 230 разрезах (страницы сайта, источники посещения, время на сайте, время суток, день недели и т.д.). В ходе анализа вычисляются натуральные логарифмы, значения суммируются, эта сумма сравнивается с единицей. Если результат равен или больше единицы, то виджет показывается посетителю. Значения пересчитываются ежесекундно.
Несколько месяцев ушло на доработку системы, в апреле мы запустили ее в тестовом режиме на небольшой выборке клиентских сайтов. Уже первые замеры показали рост конверсии, в среднем, на 20-25%.
Радоваться рано
На все описанные выше поиски, пробы и ошибки у нас ушло больше, чем полгода. Однако, полученный в итоге результат радует и нас, и наших клиентов (вот здесь мы рассказывали о том, как применение виджета помогло повысить лояльность клиентов автодилеров). Мы не собираемся останавливаться на достигнутом и продолжаем дорабатывать систему так, чтобы конверсия была еще выше.
В конце концов, постоянное развитие — единственный способ победить на таком конкурентном рынке, как наш.
