Как можно измерить успех бизнеса? Конечно, бизнес-метрики типа выручки и количества транзакций, продуктовые метрики и доля рынка помогают оценить, насколько востребован сервис, но этого не всегда достаточно. Очень полезно понимать впечатления и эмоции, которые получает клиент от использования продукта — это дает возможность понять, что нужно улучшать. Именно поэтому у нас в IVI действует целая система измерений пользовательского опыта, которая позволяет всей компании узнать альтернативную точку зрения на то, как клиенты оценивают наш сервис.
При этом впечатления и эмоции измерить очень сложно, потому что у нас есть много точек контакта и огромное количество часто противоречивой обратной связи от пользователей. Кроме того, у менеджеров и разработчиков есть личные ощущения от продукта — мы сами внутри очень часто обмениваемся мнениями, что нам в нашем сервисе нравится, а что нет.
Как же преобразовать все это восприятие в цифры и количественные показатели? Так в упрощённом виде выглядит пирамида измерения пользовательского опыта в IVI:
На вершине пирамиды находится NPS. Это так называемый индекс потребительской лояльности. По этому показателю мы сравниваем в динамике себя с собой и с конкурентами. Следующий уровень — UX, где мы измеряем уровень достижимости ключевых пользовательских сценариев, и также сравниваем себя с собой и с конкурентами. И третья часть, над которой работает служба сервиса — это Contact Rate, обращения в поддержку, так называемый уровень беспокойства базы. По этому показателю довольно сложно получить какие-то бенчмарки, поэтому мы, опять же, можем сравнить только себя с собой. Если говорить про динамику этих показателей, то первые два должны расти, а CR, наоборот, снижаться.
Далее вкратце расскажем про каждый из показателей.
Что такое NPS?
Этот показатель достаточно распространен, в интернете о нём очень много информации, не будем вдаваться в детали, только вкратце расскажем о методологии подсчёта.
Показатель NPS — это разница между промоутерами и критиками. Большая ценность его в том, что мы не только измеряем сам коэффициент, но и получаем фидбек. Очень важно уточнять у критиков, что можно сделать, чтобы их оценка повысилась, а у промоутеров — что им особенно нравится в сервисе. Их ответы помогают определить, что для пользователя экстремально важно, и сформировать бизнес-стратегию на всех уровнях.
Показатель NPS не идеален. Есть много факторов, влияющих на ответ — это и состояние индустрии, и настроение пользователя в текущий момент, и тон оператора, если это телефонный опрос, в рамках которого задавался вопрос. Сложно до конца гранулировать причины, отделить один фактор от другого, потому что мы говорим о пользовательском восприятии. Например, когда человек отвечает, что ему нравится, что у нас большой выбор кино и сериалов, непросто вычленить, что именно дало ему ощущение многообразия. Это мог быть отдельный контент, который он легко нашел на сервисе; работа продукта, которая сделала возможным этот контент показать; либо рекламная кампания... Однако показатель NPS имеет доказанную связь с бизнесом — обычно есть корреляция либо с долей рынка, либо с оттоком, либо с дополнительными продажами, в зависимости от индустрии. Поэтому несмотря на критику с разных сторон, у большинства крупных компаний NPS стоит в KPI у топ-менеджмента наряду с другими показателями эффективности.
Как мы работаем с показателем NPS? Мы смотрим на динамику относительно себя и сравниваем себя с конкурентами. Это сравнение важно, т.к. рынок очень активный и достаточно большая часть аудитории пользуется несколькими сервисами.
Кроме этого мы измеряем NPS не только в целом по компании, но и по ключевым точкам взаимодействия. Почему на это важно смотреть? Если NPS обнажает некие экстремумы, это дает более углубленный взгляд на ключевые аспекты нашего сервиса. Таких точек у нас много. В качестве примера ниже представлены результата замеров ряда ключевых атрибутов по продукту.
Эти метрики дают нам прозрачное понимание, где мы улучшаем наш сервис в глазах пользователя, а где еще необходимо подтянуть.
Немного о UX
Теперь расскажем о роли UX-исследований в формировании пользовательского опыта. У нас есть NPS, где люди говорят “Ваш сервис удобен/неудобен”. Следующим шагом нам нужно вникнуть глубже и понять, что конкретно мы делаем удобно/неудобно для пользователей и как мы можем на это удобство повлиять.
Мы регулярно проводим комплексное usability-тестирование нашего сервиса на ключевых платформах — приглашаем людей к себе, прося их выполнить те или иные сценарии, чтобы оценить, насколько легко или не очень обыватели с ними справляются. Важно, чтобы эти люди не были знакомы с сервисом и не имели отношения к сфере IT — надо понимать, как сервис видят самые обычные пользователи, еще не успевшие с ним познакомиться. Мы стараемся включать в это исследование все задачи, которые могут быть важны при использовании нашего продукта, начиная от выбора и просмотра фильма и заканчивая обращением в службу поддержки и активацией промокодов. Мы понимаем, что IVI постоянно меняется, появляются новые фичи, и нам важно видеть, что они полезны, и мы с каждым годом становимся лучше, чем были.
Так, например, выглядит результат нашего сравнения на Smart TV в декабре 2019 и августе 2020 года.
Всего для этого исследования мы брали 30 сценариев, и это ещё не все существующие . В 2020 году мы расширили перечень задач, которые выполняют респонденты, до 44, включив в сравнение максимальное число паттернов выбора фильмов/сериалов/мультфильмов. Наша цель — протестировать абсолютно все важные для пользователя сценарии поиска «что посмотреть». Для этого мы заранее спрашивали людей о том, как они выбирают контент для просмотра, изучали самые популярные поисковые запросы.
По итогам тестирования над каждым сценарием велась обширная работа — задачи распределялись по product-менеджерам, были сделаны изменения, которые позволили закрыть проблемные места, кажущиеся людям непонятными. Важно также понимать приоритетность каждой из возникших на тестировании проблем, чтобы не упускать из вида те, которые стоит решать в первую очередь, отвлекаясь на мелкие задачки, не сильно востребованные у пользователя.
Помимо этого, мы не забываем и о том, что за последние годы вокруг IVI появилось множество конкурентов, и регулярно сравниваем себя с ними. Несмотря на то что мы лидер рынка, мы стараемся быть объективными, чтобы понимать, в чем сейчас другие онлайн-кинотеатры лучше нас, и что мы можем сделать, чтобы это изменить.
Аналогично нашему внутреннему тестированию, берем список сценариев, который можно выполнить и на IVI, и у нашего конкурента, и сравниваем. Важно, что другие игроки рынка, как и мы, не стоят на месте, совершенствуясь и добавляя в свои сервисы новые возможности.
Кроме глобальных usability-исследований мы проверяем большинство новых фич и продуктовых изменений до того, как они выйдут в релиз, чтобы в результате пользователи увидели максимально удобный и простой вариант, который не вызовет у них неприязнь и непонимание.
Так, например, недавно в IVI произошел редизайн плеера. Так как компания является онлайн-кинотеатром, плеер — это самый важный функционал. Для пользователя просмотр должен быть максимально простым. Он должен наслаждаться фильмом, а не мучительно думать, как поменять качество на Full HD или перемотать видео на 5 минут. Мы решили сделать новый плеер, в котором пользователь будет иметь максимально простой доступ ко всем интересующим его функциям (и постарались справиться с этой задачей максимально стильно).
Но прежде чем релизить такие глобальные изменения в продукте, мы провели серию исследований, которая помогла нам понять, все ли мы делаем правильно.
В первую очередь, это были качественные исследования usability — мы попросили людей на разных платформах включить фильм, перемотать его, поменять язык, выбрать другой фильм, не выходя из плеера и т.д., чтобы выявить возникающие затруднения.
Выявили спектр проблем, которые сразу начали исправлять. Потом мы решили сравнить получившиеся результаты с тем, что было ранее, чтобы убедиться, что мы сделаем лучше, чем было. После перешли ко второму этапу — количественному исследованию и сравнению с конкурентами. Здесь мы уже решили использовать метод First-click (первого клика).
Суть данного метода в том, чтобы показать пользователю изображение и спросить: «А куда бы Вы нажали, чтобы … (включить следующую серию, поставить паузу и пр.). Пользователь кликает на экран, далее ему показывают следующий экран по аналогичной схеме. Плюс данного метода заключается в том, что здесь мы не ограничены условными 10-30 пользователями, а можем брать выборку любого объема, что позволяет получить более точные статистические данные.
Результатом подобных исследований являются тепловые карты, представленные ниже.
Чем большего красного в области, тем больше пользователей нажимают в это место. Нам важно, чтобы такие области нажатий совпадали с тем, где мы действительно поместили функцию, которую просим пользователя найти. Также с помощью тепловых карт мы можем посмотреть на точный процент пользователей, нажавших в ту или иную область.
Кроме сравнения старого и нового плеера, в таком количественном виде мы посмотрели и на конкурентов: на их сильные и слабые стороны. Так мы выявили еще ряд возможностей для улучшения своего продукта.
Contact Rate
Служба клиентского сервиса — это работа на передовой, потому что именно туда поступают самые острые вопросы. Там мы видим ключевые проблемы базового порядка — в основном те, что находятся внизу пользовательской пирамиды потребностей. Вряд ли пользователи будут жаловаться, что нет какой-то киллер-фичи, хотя иногда бывает и так, основная часть обращений — это те болевые точки, которые их не устраивают.
Главная цель работы службы поддержки — не соблюдение бесконечных регламентов, а решение вопроса клиента. Сотрудники службы сервиса должны увеличивать лояльность пользователей, чтобы каждый клиент чувствовал, что он и его обращение в компанию важны. Каждое обращение, которое поступает в контактный центр, в том числе обращения в сторах, тегируется и классифицируется, после чего оно попадает в общий отчёт в Tableau. В этом отчёте есть многоуровневая классификация: можно посмотреть обращения в разрезе платформ, точек контакта, оценить динамику Contact Rate и спуститься до самого клиентского отзыва. Этот отчет дает нам возможность определить, где пользователи чаще всего сталкиваются с проблемами на сервисе и почему. Например, после релизов на платформах мы смотрим на эти отчеты, чтобы увидеть, нет ли каких-то специфических обращений, и оперативно найти и устранить возможные баги.
Пример. Contact Rate по обращениям по теме “Просмотр видео” в разрезе платформ iOS и Android
Этот отчёт позволяет не только оценить технологическую стабильность сервиса на текущий момент времени, но и увидеть те зоны роста для продукта, которые не всегда легко обнаружить на продуктовых метриках. Например, если пользователи регулярно обращаются по тому или иному вопросу, связанному с продуктом, для нас это является сигналом к тому, чтобы взять эти пользовательские пути в продуктовую проработку. Так, увидев, что мы сталкиваемся с большим количеством вопросов по процедуре регистрации на сервисе, мы приняли решение о том, что нам нужно упростить для пользователей этот процесс.
Итог
Мы надеемся, что наш опыт будет для вас полезен. При желании подобную систему метрик можно внедрить в любом бизнесе и в любом процессе, где есть взаимодействие с пользователями. Она позволит преобразовать неструктурированный фидбек из разных источников в цифры, и от стратегических метрик перейти к продуктовым исследованиям, из которых формируется action-plan по изменениям. Главное, быть открытыми к обратной связи от клиентов и быть готовыми меняться.
