Привет! Я Олег Королев, директор по аналитике в AGIMA. Когда я прошу начинающих аналитиков провести количественное исследование, у них возникает куча вопросов. Я собрал самые популярные из них и написал эту статью. Подробно рассказываю, как проводить количественные исследования, как строить выборку, сколько вопросов задавать и как обрабатывать результаты. Уверен, аналитики и продакт-менеджеры найдут для себя что-то полезное.
Виды количественных исследований
Количественное исследование — это опрос, который можно отправить большому количеству людей. Его результаты помогают провалидировать гипотезы, собрать обратную связь или получить оценки от пользователей. Цель опроса — проверить гипотезы, собрать метрики или получить информацию по текущим процессам.
Такие опросы можно классифицировать по регулярности:
разовые — для статистической проверки гипотез;
регулярные — для отслеживания динамики оценки.
Регулярные опросы часто проводят по устоявшейся методологии. Например:
NPS-индекс определения приверженности потребителей товару или компании (индекс готовности рекомендовать).
Этот опрос можно назвать градусником настроения, но он не даст 100%-ную гарантию того, что клиент кому-то порекомендует ваш бренд. Чаще всего мы задаем два вопроса клиенту: в первом просим поставить оценку, а во втором спрашиваем причины этой оценки.
CSAT-индекс удовлетворенности взаимодействий.
Опрос поможет понять, довольны ли клиенты взаимодействием с вами в конкретной точке. Например, оформлением заявки на кредит с сотрудником банка. Этот опрос проводят как можно раньше после окончания контакта (хороший показатель — в течение 10–30 минут). В первом вопросе мы просим поставить оценку точке контакта, в зависимости от ответа спрашиваем о причинах такой оценки. Далее можно задать несколько дополнительных вопросов, но не более 4–5. Наши тесты показали, что эффективнее всего с помощью такого опроса находить и работать с клиентами, которые поставили оценку ниже 5.
CSI-индекс метрик взаимодействия.
Этот опрос помогает понять, насколько важны для клиента характеристики того продукта/сервиса/услуги, которым он пользуется.
CES-индекс позволит проанализировать уровень усилий, которые пользователю необходимо затратить для решения вопроса при взаимодействии с компанией.
Цель разовых опросов — получить сведения в данный момент. Они не предполагают изучения динамики и тенденций. В зависимости от того, на каком этапе и с какой целью проводят опрос, он поможет узнать базовую информацию о целевой аудитории, выяснить их отношение к продукту или услуге, отобрать респондентов для исследований, узнать, насколько сложно пользоваться интерфейсом, и проверить удовлетворенность дизайн-решениями.
Опросы можно проводить на любой стадии проекта. Но наиболее эффективны они будут на этапах исследования, теста и сбора обратной связи после разработки.
Такой опрос не поможет:
Выявить глубинные цели и переживания пользователей.
Всё это качественная информация, которую сложно добыть через опрос. Опросы чаще всего проводят в письменном виде, а люди в большинстве случаев не хотят писать подробный ответ. В этом случае подойдет глубинное интервью.Проверить сложные гипотезы и сценарии.
Нельзя точно сказать, реальны ли будут ответы клиента или прохождение сценария. Для проверки больше подойдет наблюдение или интервью.Получить 100%-ную правду.
В опросе люди часто только предполагают, как они поступили бы в какой-то ситуации, не могут вспомнить релевантную информацию. Иногда они лгут (осознанно или нет), чтобы предстать в лучшем свете или получить вознаграждение за прохождение опроса. Нужно делать на это поправку в любых исследованиях.
Разберем детальнее разовые опросы, с ними обычно больше всего сложностей.
В CSAT, NPS, CSI формат опросов и выборка зачастую ясна.
Как провести разовый опрос
Для начала выявляем проблему.
Проблема — это предположение, основанное на статистике, аналитике и фактах. Оно характеризуется недостатком информации или проявлением какого-либо действия, причины которого непонятны. Предполагается, что проблему удастся решить с помощью одной из проверяемых гипотез.
Важно правильно сформулировать проблему. В противном случае мы уйдем в сторону от решения истинной проблемы или вообще будем решать проблему, которой нет.
Неправильный пример | Правильный пример |
Узнать, почему клиенты пишут по email | 10% клиентов без причин пишут на e-mail при наличии других каналов |
Тут же мы формируем цели нашего опроса. На каждом этапе цели будут отличаться, поэтому разберем их подробнее.
Цели опроса на этапе исследования
На этом этапе мы мало что знаем, но у нас много гипотез. Часто мы даже не понимаем, кто наши конечные пользователи, какие у них цели и что они любят. Исследование — этап сбора информации и «расширения сознания».
Каких целей поможет достичь опрос:
С помощью закрытых вопросов проверить простые гипотезы о ЦА.
Выяснить отношение потенциальных пользователей к услуге или сервису.
Узнать подробности о целевой аудитории: пол, возраст, интересы, привычки и т. д.
Узнать, какие продукты-конкуренты используют потенциальные пользователи.
Сортировать аудиторию, если планируются дальнейшие исследования.
Как собрать выборку
Ответить на этот вопрос помогут специальные калькуляторы. Например, этот: https://socioline.ru/rv.php. Они сами посчитают, сколько ответов собрать, исходя из размера аудитории. Например:
Как работают калькуляторы статистической значимости, я расскажу в другой раз. В этой статье просто предложу использовать их как удобный инструмент.
Но мой опыт показывает, что почти никогда не приходится собирать более 400 ответов на сегмент.
Пригласить поучаствовать в исследовании стоит тех, кто даст объективную обратную связь и сможет ответить на вопросы. Логика тут простая:
Если вопросы про продукт — зовите тех, кто им активно пользуется.
Если исследуете конкретные фичи — зовите тех, кто ими пользуется.
Лучше всего работать с основным сегментом пользователей — с теми, кого вы считаете ядром в возрастном и социально-демографическом поле.
Как задавать вопросы
Перед опросом стоит объяснить, зачем он нужен, сколько времени займет и как поможет улучшить сервис. Эта логика должна прослеживаться в каждом вопросе, чтобы не испугать респондента и чтобы он понимал важность своего мнения.
При подготовке вопросов стоит в первую очередь сформулировать главные, а уже потом их детализировать. К этому процессу нужно подойти серьезно: неправильно подобранное слово, последовательность вопросов, структура вопроса — всё это повлияет на ответ.
Вопрос нужно сформулировать так, чтобы респонденты дали полный и однозначный ответ. Поэтому заранее подумайте, кто будет отвечать и какие решения вам нужно принять на основании этих ответов. Если кажется, что вопрос не связан с гипотезой, лучше его переформулировать или убрать.
Классификация вопросов по способу коммуникации
Способ коммуникации зависит от целевой аудитории. К подросткам лучше обратиться через соцсети, к деловым партнерам — по почте. Вопросы должны соответствовать каналу общения.
Например, электронная почта — более формальный канал. Респонденты, которые привыкли общаться по почте, отвечают более развернуто. Поэтому тут можно использовать:
длинные заходы;
больше вопросов (5–7), в том числе открытых;
пояснения в скобках.
Чат МП/ЛК — этот более расслабленный канал. Поэтому:
текст может быть проще;
лучше использовать шкалы, анимацию и вообще геймифицировать процесс;
вопросы с вариантами ответов предпочтительнее.
Во время телефонного звонка лучше подстроиться под стиль общения собеседника. Некоторые предпочитают сухое деловое общение, другие — более дружелюбное и неформальное.
Классификация по типу вопросов
Закрытые вопросы: несут не очень много информации, их лучше задавать в начале опроса.
Есть несколько вариантов таких вопросов:
Номинальные — это вопрос с множественным выбором, который определяет разные категории ответов.
Вопросы по шкале Лайкерта — это 5- или 7-балльная шкала, которая помогает оценить отношение респондентов к чему-либо. Такие вопросы пригодятся, когда у нас уже есть представление о том, что думают наши клиенты.
Рейтинговые вопросы предполагают несколько вариантов ответа, каждый из которых имеют числовой эквивалент. Например, оценка поддержки клиентов по шкале от 1 до 10 или вероятность рекомендовать продукт от 0 до 5. Когда вы используете такой тип вопроса, важно пояснить, что означает шкала.
Закрытые вопросы — хороший способ быстро сегментировать респондентов.
Открытые вопросы: ответы на такие вопросы несут больше информации, они могут отталкивать респондентов, так как они не всегда хотят размышлять, копаться в себе или подробно описывать свои мысли. Таких вопросов не должно быть много, будет достаточно двух.
Смешанные вопросы: чтобы респондентам было комфортно проходить опрос, а мы могли получить нужную информацию, лучше совмещать открытые и закрытые вопросы.
Уточняющие вопросы: их лучше использовать после открытых вопросов — чем больше информации, тем лучше.
Классификация по типу клиентов
Клиентов можно разбить на несколько категорий, каждой из которых следует задавать определенный вопросы.
Не клиенты компании: они зачастую ничего не знают о продукте или не пользуются им. Чаще всего они не хотят проходить опрос, у них нет на это мотивации. В данном случае, чтобы мотивировать человека, можно предложить какой-либо бонус: скидку, промокод или, если это возможно, денежное вознаграждение. При проведении опроса среди таких клиентов мы вопросами стараемся прощупать почву, узнать, в каком случае клиент будет готов к нам прийти.
Наблюдатели: клиенты, которые заходят, смотрят условия, но заявку не оформляют.
Пассивные пользователи: клиенты, которые оформили продукт, но так и не воспользовались им. Нужно узнать, что их остановило.
Активные пользователи: люди, которые пользуются продуктами, сервисами и т. д. Проведение опросов среди них помогает выделить болевые точки действующих клиентов и привлечь новых.
Уснувшие пользователи: следующим шагом таких клиентов может стать отток, а мы этого допустить не должны.
Ушедшие пользователи: стоит выяснить, почему они ушли, чтобы избежать оттока клиентов в будущем.
Классификация по типу
Опросы при раннем оттоке: они полезны и результативны, так как недовольные клиенты чаще готовы поделиться недостатками и болями.
Спасибо-опросы: они проводятся у лояльных клиентов, которые доброжелательно настроены к компании. Такие опросы помогут определить области, которые нам нужно улучшить или исправить.
Опросы после тестирования продукта: их лучше проводить после UX-исследования. Опрос поможет найти проблемы в юзабилити и решить их.
Важно на этом этапе
Не должно быть лишних вопросов.
Не стоит спрашивать про семейное положение, если это не будет полезно в дальнейшем и не повлияет на продукт.
Сначала вопросы со шкалой или закрытые.
На такие вопросы респондентам легче ответить. К тому же, как только пользователь ответит на первые вопросы, он с большей вероятностью ответит на открытые.
Вопросы идут от общего к частному, последовательны и логичны.
В этом случае респондент будет развивать мысль, погружаться в тему и даст больше информации. Если прыгать с темы на тему, он потеряет фокус.
Как этого добиться
Объединять взаимосвязанные вопросы в группы.
Внутри одной темы ставить общие вопросы раньше конкретных.
Ставить общие вопросы об удовлетворенности клиентов работой компании раньше конкретных.
Если вопросов много, размещать вопросы о лояльности раньше, чем вопросы о конкретных сферах деятельности компании.
Размещать открытые вопросы ближе к концу опроса.
Не допускать в вопросах и вариантах ответа оценочных суждений.
Не использовать вопросы про будущее типа «что, если бы».
Составлять вопросы так, чтобы они были понятны целевой аудитории.
Не задавать слишком много вопросов.
Заканчивать опрос на хорошей ноте — поблагодарить респондента, поделиться с ним информацией.
Как считать метрики
NPS = % промоутеров (9–10) — % критиков (0–6) CSAT = положительные оценки (5) \ на количество ответов *100% CES = положительные оценки (1) \ на количество ответов *100% |
Как анализировать разовые опросы:
Собрать все ответы на каждый вопрос, сделать диаграммы и посмотреть распределение — так мы получим статистические данные.
Посмотреть сочетание ответов на несколько вопросов, цепочек ответов — так мы сможем понять связь и зависимость одного варианта от другого.
На существующую выгрузку навесить дополнительные флаги и посмотреть ответы — например, посмотреть разные возрастные группы или узнать, сколько клиентов впервые воспользовались продуктом. Так мы поймем модель поведения каждого сегмента.
Рассмотреть динамику ответов в течение года — так станет ясно, что и почему изменилось.
Выделить конкретные инсайты, записав их фритекстом — так выявим болевые точки.
Сформировать статистику по инсайтам, если одна и та же мысль повторяется более одного раза — так выявим проблемы, которые следует решить первым делом.
Какие ошибки бывают
Смещенность мнений.
Когда вы в опросе спрашиваете о конкурентах и сравниваете свою компанию с другой, пользователь будет отвечать в вашу пользу и говорить, что вы лучше остальных.
Дежурные ответы.
Если за прохождение опроса вы предлагаете какой-то бонус, есть вероятность, что пользователь будет проходить опрос только ради него. Насторожить должно, например, то, что респондент ставит только высшие или низшие оценки в вопросах со шкалой.
Много полей со свободным вводом.
Чаще всего пользователи будут писать в поле со свободным вводом малоинформативные сообщения. При анализе такие ответы сложно типизировать. Поэтому чем меньше свободы в ответах, тем лучше. Лучше продумать варианты за пользователя заранее.
Если такой возможности нет, можно запустить опрос со свободным вводом на небольшую выборку. Это поможет собрать возможные варианты. Затем можно запустить новый опрос уже с теми вариантами, которые сами пользователи предложили.
Попытка сгладить острые углы.
Чаще всего аудитория опроса — это либо лояльные пользователи, либо пользователи, которые столкнулись с негативным опытом. Вторая категория — самые полезные респонденты. Они дадут обратную связь, с которой можно работать. В то время как лояльный пользователь проигнорирует недостатки и попытается сгладить острые углы.
Слишком много вопросов.
Если опрос занимает больше 5 минут, респондент просто прокликает его в надежде поскорее завершить. Из-за этого последние вопросы могут быть смещены во мнениях. В идеале задавать не больше 20 вопросов в большом исследовании.
Важный последний пункт
Главное — если вы можете вытащить какую-то информацию о клиентах из аналитики, CRM или других внутренних источников, не спрашивайте об этом в опросе. Экономьте свои силы и силы пользователей.
Если следовать этим простым правилам, опросы станут отличным источником знаний о продукте и его аудитории.
В комментариях рассказывайте, какие виды опросов вы используете чаще остальных и чем они вам нравятся.
Полезные ссылки:
