Кейсы удачных (и не очень) экспериментов «Яндекс.Навигатора»

    Продуктовая команда «Яндекс.Навигатора» поделилась, какие проводит эксперименты, как организована работа внутри, как монетизирует продукт и какие подходы использует в предиктивной аналитике.


    Epic talks — проект Epic Growth, где мы общаемся с командами про отработанные процессы, проверку продуктовых гипотез, аналитику и многое другое. Проект снят при поддержке аналитической платформы AppMetrica.

    Команда



    Лёша Гожев, старший продуктовый аналитик и Миша Высоковский, руководитель «Яндекс.Навигатора»

    Как устроена продуктовая команда Яндекс.Навигатора?

    Внутри Навигатора у нас несколько продуктовых команд, у каждой из которых есть свой фокус. Фокус задает направление развития продукта. Например, одна команда занимается ведением по маршруту, другая фокусируется на поисковом сценарии. В отличие от сформированной продуктовой команды, фокус может измениться со временем. Обычно в каждой команде есть менеджер по продукту, дизайнер и разработчик.

    У нас сейчас два аналитика, поэтому они работают для нескольких продуктовых команд. Преимущественно задачи аналитика делятся на два типа.

    Первый тип — adhoc-задачи, которые нужно быстро посчитать, либо задачи, требующие проверки написания кода. Второй тип — это исследовательские задачи, в которые нужно погружаться всей командой. В таких задачах нет разделения на исполнителя и заказчика. Весь процесс исследовательских задач очень похож на обход растущего дерева: мы генерируем гипотезы, а потом их проверяем. Во время их опровержения или подтверждения возникают новые гипотезы.

    Продуктовые эксперименты


    Приведи пример успешных экспериментов?

    Мы стараемся угадывать, куда человек поедет и предлагать ему «destination suggest». Например, пользователь открывает навигатор, а приложение предлагает поехать по наиболее частым маршрутам следования. Сейчас у нас уже порядка 13% маршрутов так строится. Этот показатель постоянно растет. Мы занимаемся улучшением предсказательной модели, смотрим, как она влияет и насколько удобнее становится пользователю.

    Еще один пример успешного эксперимента — редизайн интерфейса с использованием обычной изоленты. Так как у нас специфический продукт, тестировать Я.навигатор сидя за столом — пустая трата времени. В какой-то момент мы смотрели на интерфейс Я.навигатора и поняли, что в нем много дублирующей информации.

    Мы подумали: «Слушай, третий экран сверху занимает огромная черная панель. Может быть, надо ее выкинуть и без нее все будет прекрасно?». Самый простой вариант – это взять обычную изоленту и заклеить верхнюю плашку.

    Первый фидбэк, которой появился — это «понимаю куда ехать, но непонятно когда приеду». Мы взяли ножницы и немножко отрезали так, чтобы было видно время приезда. Нас удивила позитивная обратная связь. Люди спокойно добирались до места без информации, которая была заклеена черной изолентой, при том, что ехали по незнакомому маршруту.

    Сколько тестируете гипотез в неделю?

    Раньше мы использовали подход тестирования гипотез каждый понедельник с двух до четырех часов. Цель была ввести в привычку у менеджеров по продукту проверять какую-то новую гипотезу, тестировать новое решение, подготовить прототип, провести глубинное интервью. После того, как мы поняли, что это стало обыкновением для каждого, мы изменили систему.

    Мы сделали это в форме мероприятия в пятницу, где каждый делился своими впечатлениями о тестировании проведенных гипотез. Мы привлекли к этому продактов не только из Навигатора, но и из Геосервисов. Мы составили рейтинг сотрудников, где каждый получал за свои исследования звёздочки.

    Это было после того, как сначала небольшая команда прошла курс по дизайн-мышлению. Это был онлайн-курс, но с оффлайн частью, которая требовала выполнения задач всей командой. Когда мы поняли, что этот подход пользуется популярностью внутри компании, мы начали самостоятельно проводить курс для менеджеров по продукту из Геосервисов. Мы успешно внедрили эту инициативу, и в дальнейшем это помогло внутреннему росту сотрудников.

    Все аналитические гипотезы мы ведём в системе управления задач. Следовательно, это помогает нам проанализировать их количество и применить в дальнейшем расчеты, которые были проведены для исследований. В среднем в квартал у нас десятки разных задач на генерацию гипотез, потом их подтверждение или опровержение. Оценить их, наверное, можно сотнями.

    А что на счет неудачных экспериментов?

    Кейс с парковками. Сейчас навигаторы настроены просто довести тебя до конечного пункта и не помогают, например, найти свободное парковочное место для машины. Мы решили постепенно к этому приблизиться. Вначале мы добавили слой пробок, на котором показали, где можно стоять, потом добавили цены на парковки, потом оплату парковок.

    Нам хотелось сделать продукт максимально выгодным для пользователя. Но задача с показом свободных мест на парковке оказалась для нас непростой. Мы протестировали разные гипотезы отслеживания свободных мест на парковке. Но все гипотезы не подтвердились. Сейчас мы решили использовать этот сервис в микро маршруте. Микромаршрут – построение маленького кольцевого маршрута вокруг точки назначения, чтобы пользователь не сбился с пути и нашел парковку.

    Неудачным кейсом для нас является тот эксперимент, в котором при анализе метрик мы замечаем, что люди чаще стали залазить в настройки, чтобы отключить новую фичу. Такое произошло, когда мы заменили привычный интерфейс на другой, более конструированный, на наш взгляд. В итоге, люди начали меньше использовать навигатор.

    После тестирования мы убедились, самую важную информацию нужно показывать в одном месте, а не дублировать по всему продукту.

    Аналитика


    Какие подходы вы используете в предиктивной аналитике?

    У нас есть предложение, которое основывается на прошлых поездках пользователя и предлагает автоматически сохраненные маршруты. Это машинное обучение в продукте.

    Также мы используем классическую модель прогнозирования. Мы выделяем из поведения пользователя составляющие – это сезонность, время, в том числе смотрим на недельный срез, учитываем критерий региона и проводим тренд. Суммируя все это, получаем прогноз на будущее.

    Так как у нас два региона — это Россия и Турция, показатели частотности использования продукта различаются. Например, в России аудитория растет по будням, а в Турции на выходных.Также у нас есть прогнозы как важных KPI метрик, так и тех, которые потенциально могут стать KPI метриками.

    Прогнозные данные мы используем не только в аналитике, но и в разработке. Когда мы прогнозируем пробки по времени маршрута, учитывается тренд на ближайшие полтора часа. Данная разработка внедрилась за счёт проведения экспериментов, работы с аудиторией.

    Для нас одна из основных метрик — качество. Соответственно, мы считаем относительную ошибку этого показателя и смотрим, как показатель изменился после внедрения прогноза пробок. Также мы учитываем его в рамках различных условий. Например, история использования продукта в час пик на дорогах или использование на растущих пробках. Это важно, потому что ситуация на дорогах меняется очень быстро, и навигатор должен уметь это учитывать.

    Когда мы смотрим на срез данных, мы учитываем статистику не только за весь день, но и принимаем во внимание каждый отдельный срез, который может очень сильно отличаться от позитивной динамики целого дня.

    Монетизация


    Какая модель монетизации у Яндекс Навигатора?

    Сейчас геосервисы в компании Яндекс — это отдельные бизнес-юниты. Поэтому мы стараемся найти хорошие формы монетизации для Яндекс.Навигатора. Мы провели несколько экспериментов, запустили пару лет назад пины по маршруту – это самый лайтовый формат, он хорошо рассказывает про то, в какой локации расположен твой бизнес.

    Мы также ищем разные форматы, как можно внутри навигатора нативно помочь рекламодателю дотянуться до автомобилиста. Помимо этого, мы используем такие рекламные форматы как билборды, которые висят в интерфейсе продукта при следовании по маршруту.

    У нас есть спецпроекты, которые создают некоторую эмоцию у человека. Мы вместе с рекламодателем формируем месседж о том, что человеку классно сделать в ближайшее время. Например, у нас были спецпроекты с использованием дополнительных голосов в навигаторе. Или, например, к столетию Porshe, мы заменили стрелку- курсор, который ведет тебя по маршруту, на модель Porsche.

    Мы стараемся полезно предложить, куда человеку поехать. Например, сейчас у нас тестируется такой формат, когда пользователь построил маршрут, и мы знаем, что прямо по дороге есть МакАвто. Если время маршрута не сильно отличается, то мы предложим ему с помощью одной кнопки, добавить в сценарий Макавто.

    Это классный формат. Во-первых, потому что у него высокие конверсии, а, во-вторых, потому что он супер контекстный.

    Про образование


    Какие ресурсы для самообразования вы читаете?

    Мне помогают вещи, которые расширяют мой профессиональный кругозор и не связаны напрямую с областью работы. Например, компания IDEO, которые являются главными создателями исследований на тему дизайн-мышления в мире. У них есть гайд, где они перечисляют, какие исследования они применяют с кейсами Design Kit.

    Это очень похоже на подход в программировании, когда придумываются новые алгоритмы. Они придумываются путем заимствования из уже существующих в жизни вещей.



    Больше докладов по продуктовому маркетингу — в Telegram-канале @epicgrowth.
    Mobio
    96,96
    Агентство по продвижению мобильных приложений
    Поделиться публикацией

    Комментарии 12

      0
      В какой-то момент я отказался от Я.Навигатора и стал строить маршруты исключительно в Я.Карты.
        +1
        огромные билборды на полэкрана удручают
          0
          интересно, когда они обновят спутниковые карты Турции? там так много чего построилось и появилось, что можно днями сидеть в народной карте и добавлять инфу, чтобы потом было проще искать все это в яндекс картах или прокладывать маршруты в навигаторе
            0
            Едешь такой по навигатору — скорость 70 км впереди большая кольцевая развязка с несколькими маршрутами съезда
            — Через 70 метров поверните… И тут на половину экрана выскакивает м чудацкий баннер перекрывая все съезды развязки и голос девочки начинает вещать
            — А вы знали что тут рядом можно заплатить за заправку не выходя из машины

            Твою же мать… Мне вот сейчас поворачивать на одну из трех путей и я не вижу куда именно потому что вы воткнули тупую рекламу на половину экрана

            И эта реклама автоматически воспроизводится каждый раз в одном и том же месте.
            Благо я теперь знаю куда сворачивать, а первый раз чуть телефон в окно не выкинул.

            Спасибо вам монетизаторы! за наше счастливое детство б… лин
              0
              Не являюсь фанатом ЯНавигатора, (пользуюсь им только для оповещения о всяких неприятностях типа ремонтов и камер), но… вроде как в настройках программы можно ограничить рекламу (например, разрешить ее только на остановках). Или я тут чего-то не понял?
                0
                Вся реклама отключена! Возможно баг именно на этом участке дороги. Так как другой рекламы не показывает.
              +1
              Изолента, изолента… На моем телефоне верхняя системная панель (часы, зарядка, индикаторы) либо видны на дневной карте и не видны на ночной, либо наоборот. Я люблю черный экран фона на телефоне и настроил светлые индикаторы. На фоне дневной карты их как и нет. Легкий градиент вверху экрана не спасает. Нужна настройка подложки. Странно, что этот элемент интерфейса навигатора до сих пор влегкую не адаптировать под себя.

              Вообще навигатор радует, спасибо. Но есть куда расти.
              Из хотелок: ручное (или авто) откусывание колбаски пройденного маршрута. Бывает ставишь поездку километров на 200, и на последних 10 подъезжая уже по городу к дому пробки в пару пикселей вообще не информативны. И мне уже не нужен серый хвост во весь экран позади бегунка позиции машины. Приходится перестраивать заново маршрут, чтобы оценивать прогноз во всю ширину экрана.
                +1
                Уважаемая команда Янекс.Навигатора. Поделитесь пож-та, когда, наконец, этот замечательный продукт сможет легально публиковаться в AppleCar. Мы же прекрасно знаем, что технически нет никаких проблем это сделать, на jailbroken айфонах всё прекрасно работает.
                  0
                  Если не ошибаюсь, о Car Play говорили в каком-то интервью. Навигатора там не будет. Делают упор на Яндекс.Авто. Его, кстати, даже если хочется не купишь нормально. Заказал и жду, жду…
                  +1
                  Очень жаль, что в погоне за «высокими конверсиями» и «супер контекстностью» сейчас убивается отличное, функциональное приложение.

                  Показывать всплывающие банеры людям за рулем — просто опасно. Перешел сейчас на стандартные я.карты, но уже изучаю навигаторы на базе OSM.
                    0
                    Каждый день пользуюсь навигатором. В целом очень удобно.

                    Несколько мелких нюансов слегка раздражают:

                    Большую часть поездок с работы вечером строю на стоянку. Стоянка сохранена в избранных. Ни разу мне я.навигатор не предложил Стоянку как предполагаемое место назначения, в основном предлагает Дом.

                    Хотелось бы иметь возможность сохранить сложный путь в избранные: Работа — Через детский сад — Через работу жены (всех развез и уехал на работу сам). Я думаю очень нередкий кейс.

                    Альтернативные маршруты. Кейс: подъезжаю я к более-менее сложному перекрестку, навигатор показывает маршрут и альтернативные маршрут с подписью — «То же время» или «Быстрее на 3 минуты», а сверху закрывает эту подпись синим табло со стрелками направления движения по полосам. В этот момент мне нужно оперативно решение принять: ехать по основному или по альтернативному маршруту, впереди возможно маневр, а приходится тыкать в телефон выбирая масштаб и положение карты чтоб увидеть оценку по альтернативному маршруту. Наверняка можно и нужно развести положение табло со стрелками и оценки времени альтернативного маршрута.

                    Часто езжу не по предложенному маршруту, а по немного измененному. Ну, например, потому что не люблю левые повороты (возможно, в конкретном месте) или развороты, или, например, потому что впереди сняли асфальт и ехать по плохой дороге в пыли не хочу. И езжу так изо дня в день. Можно ведь при построении маршрутов делать поправку на мои «привычки» и по крайней мере как альтернативный маршрут предложить с оценкой времени. Сейчас для таких случаев строю маршрут «Через», но тут кликов больше получается (по сравнению с выбором альтернативного маршрута) и еще долгий клик есть: это за рулем важное отличие.

                    Ну и можно предложить пользователю возможность подстроить под себя поиск маршрута: минимизировать левые повороты, развороты, допустимая разница во времени маршрута (типа можно построить маршрут вообще без левых поворотов, но дольше на полчаса, а это уже не вариант). Для чайников и осторожных водителей, я думаю, это хорошие опции.

                    А еще интересно: при построении маршрутов для множества водителей есть ли критерий «уменьшить пробки»? типа можно часть водителей туда, часть сюда если есть альтернативы в пределах 1..2 минут разницы или в итоге оно само балансируется?

                      +1
                      А еще интересно: при построении маршрутов для множества водителей есть ли критерий «уменьшить пробки»? типа можно часть водителей туда, часть сюда если есть альтернативы в пределах 1..2 минут разницы или в итоге оно само балансируется?

                      Премиум аккаунты отправляются по незагруженному маршруту, бесплатные версии отстаиваются в пробке?

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое