Всем привет! На связи Ульяна Айкович и Даниил Гурин — исследователи «БКС Мир инвестиций». Сегодня мы хотим поделиться результатами нашего небольшого, но довольно смелого эксперимента — попытки предсказать конверсию в прохождение опросов.
Каждый исследователь знает, как трудно удержать внимание респондентов. Особенно в опросах. Один лишний вопрос, одна лишняя картинка в анкете или лишняя минута времени для заполнения опроса — и человек закрывает вкладку. А ведь каждый ответ на вес золота. Поэтому мы решили разобраться: что именно определяет, дойдет ли человек до конца опроса или бросит его на полпути? Можем ли мы заранее это предсказать?
С чего мы начали наш исследовательский эксперимент?
Сначала мы с командой решили изучить теоретические материалы и статьи о том, что вообще есть интересный для респондентов опрос, какую структуру он должен иметь и из чего состоять. Познакомились с отечественными и зарубежными статьями, чтобы изучить максимум лучших практик — специально для вас приложили некоторые из них в материалах к этой публикации, делиться знаниями полезно.
На основе нашего ресерча пришли к выводу, что оптимальная структура опроса должна быть следующей:
Тип вопросов | % вопросов от общего размера анкеты | Для чего актуальны такие вопросы? |
Закрытые (одиночный/множественный выбор) | 30–40% | Для быстрой сегментации и фиксации поведенческих паттернов, обработки ожиданий и понимания тенденций во мнениях респондентов. |
Шкалирование / Лайкерт / Семантический дифференциал | 30–40% | Подходят для оценки эмоций, согласия, удовлетворенности. Позволяют собрать фактуру в "рамках". |
Интерактивные (клики, сортировка) | 10–20% | Полезны для UX-задач, связанных с интерфейсом (например, тестирование точек входа, видимости и понятности элементов, и т.д.) |
Открытые вопросы | 10–15% | Краткие и по делу. Лучше размещать в конце или после ключевых блоков для сбора качественной информации (собрать больше фактуры для количественных данных, если это необходимо). |
Но соблюдение пропорций не гарантирует нам самой успешной конверсии в опросах, так как есть ряд других факторов, влияющих на вовлеченность респондентов. И скорее всего вопросы разных типов по-разному влияют на восприятие респондентов… Или нет?
Сначала мы попробовали градировать вопросы в зависимости от их сложности. Вопросам «попроще» отдавали меньше всего баллов, а самым «трудоемким» давали более высокие баллы. Для этого решили воспользоваться числами Фибоначчи (см. здесь) и даже провели небольшой воркшоп с командой, в рамках которого в зависимости от типа вопроса пытались определить его «балльность».
Но в процессе проработки инструментария поняли, что с таким методом получается много ограничений и в теориях чаще всего прибегают к оценке когнитивной нагрузки, влияющей на завершаемость опроса, в разрезе единиц времени. Поэтому это решение положили в ящик, но не выбросили в урну.
Стоит отдать должное различным теориям по когнитивной нагрузке на наш мозг при изучении информации, эти теории также распространяются и на опросы, когда респондент проходит их, вспоминая свой опыт и давая ответы на различные вопросы. Именно к ним мы решили обратиться, прорабатывая дальше нашу экспериментальную методологию. При проработке инструментария решили сфокусироваться преимущественно на теориях когнитивной нагрузки (Sweller, 1988), теории восстановления внимания (Kaplan, 1989), а также усталости выбора (Baumeister et al., 1998).
Решили попробовать разработать свою систему, которая оценивает когнитивную нагрузку респондентов за одну минуту прохождения опроса с учетом коэффициента усталости и без него. Ниже то, что у нас получилось:
столбец «Cognitive Score (линейная модель)» — базовая линейная модель по точкам когнитивной нагрузки на единицу времени;
столбец «Cognitive Score (с учетом надбавки усталости, квадратичная)» — та же метрика когнитивной нагрузки на единицу времени с «премией усталости» (нагрузка ускоряется по мере роста длительности):
В рамках этого показателя учитывали инсайты из исследований в области directed attention fatigue (Kaplan, 1989) и decision fatigue (Baumeister et al., 1998), что после 8–10 минут сложной когнитивной деятельности нагрузка начинает расти непропорционально — т.е. за каждую следующую минуту «надбавка усталости» выше, чем за предыдущую;
В веб-опросах рост длины анкеты и поздняя позиция вопросов связаны с ухудшением показателей качества (ростом пропусков, satisficing/straightlining, breakoff), то есть с ростом субъективной и объективной нагрузки (Galesic & Bošnjak, 2009; Peytchev, 2009).
Но когнитивная нагрузка, опять же, не единственный фактор, который может влиять на конверсию в опросы. Чтобы предсказать конверсию, мы поняли, что нужно еще больше переменных для анализа.
Проба пера или наша первая итерация
Для того, чтобы подступиться к такой задаче, нужно было определиться с тремя вещами:
На каких данных мы будем строить модели?
Какие переменные мы будем использовать?
Как будем считать конверсию?
Для ответа на первый вопрос мы прошерстили всю базу существующих опросов и отобрали только те, которые завершились и которые прошли минимум 30 человек. Итого, наша выборка составила 36 опросов, среднее количество респондентов, прошедших их до конца, составило 237 человек.
Вопрос с переменными был интереснее: с одной стороны, мы хотели набрать как можно больше предикторов, с другой — не вдаваться в слишком узкие детали. Для первого подхода отобрали 8 количественных переменных:
количество вопросов в опросе
среднее время прохождения опроса (в секундах)
среднее время прохождения опроса респондентами (в минутах по правилам округления)
линейная когнитивная нагрузка по баллам (рассказали выше)
когнитивная нагрузка с усталостью по баллам (рассказали выше)
количество страниц в опросе
сумма баллов за все вопросы в анкете (из таблички с размерностью)
наличие панельных респондентов (0 — если только наши клиенты, 1 — если панельные респонденты)
Последний вопрос был самым сложным: во многих опросах логика показа тех или иных заданий может варьироваться. Это связано с тем, что в ходе опроса мы сегментируем клиентов и с помощью определенных вопросов собираем данные только по конкретным клиентам. Например, будет неверным спрашивать у клиента про опыт использования накопительных счетов, если он таковыми никогда не пользовался. Поэтому, конверсию мы решили считать с первого не сегментирующего (целевого) вопроса до последнего обязательного вопроса для всех участников. То есть, если первый вопрос в анкете звучал, например, так: «Был ли у вас опыт инвестирования за последние полгода», то про подсчете конверсии, мы его пропускали.
Итак, у нас на столе три главных ингредиента: конверсия, данные и переменные. Осталось всё это аккуратно смешать, приправить статистикой и посмотреть, что получится в нашем аналитическом блюде.
Для начала мы построили матрицу корреляций, чтобы посмотреть, а с чем вообще коррелирует наша зависимая переменная:
Статистически значимых корреляций не обнаружили. Заметим, что наша зависимая переменная (completion_rate) имеет не только не значимые, но и низкие корреляции с потенциальными предикторами. Первый подход завершился так и не начавшись: корреляционный анализ не выявил выраженных парных связей между предикторами и показателем конверсии. В условиях небольшого объёма выборки (36 опросов) это ограничивает возможности построения устойчивой предиктивной модели.
Учимся на ошибках прошлого или наш второй заход
Для второго подхода к этой задаче мы решили подойти методологически более подковано. Мы снова изучили многочисленные статьи коллег, и решили дополнить наш датасет новыми переменными. Например, в статье Liu (2017) было установлено, что с увеличением количества слов в опросе конверсия в завершения опроса значимо снижается (p < .001). Кроме того, чем больше в опросе вопросов типа «открытый» вопрос, «другое» и «не вопрос», тем ниже конверсия прохождения опроса (p < .001). Здесь мы решили изменить переменные, которые мы учитываем для предсказания зависимой переменной, соединив вопросы в зависимости от их типов.
С итоговым списком переменных для второй итерации можно ознакомиться ниже:
Панельные респонденты (денежная мотивация)
Число страниц в опросе
Число вопросов в опросе
Число вопросов с логикой во всем опросе
Общее число опций в вопросах всего опроса
Количество символов в первом целевом вопросе
Наличие изображения в первом вопросе
Среднее время ответа на первый вопрос
Количество вопросов с открытым ответом
Количество вопросов с множественным выбором
Количество вопросов с выбором ответа
Количество вопросов различных других типов
Сумма баллов за все вопросы в опросе
Воронка прохождения
В плане анализа мы пошли по протоптанному пути — начали с корреляций. В этот раз результат был лучше, мы обнаружили значимые корреляции зависимой переменной с количеством вопросов типа «другое». В эту категорию входят вопросы по модели Кано, шкалы, карточные сортировки, матрица, ранжирование и тесты первого клика.
Ура! Корреляционный анализ указал на статистически значимую зависимость, после чего мы решили подробнее посмотреть на этот эффект с помощью простой линейной регрессии: completion_rate ~ questions_other.
Модель была построена в среде R при стандартном уровне значимости 5%. Несмотря на то что она объясняет лишь около 11% вариации показателя завершения, результаты показывают устойчивую, пусть и небольшую, отрицательную связь: чем больше в опросе вопросов категории «другие», тем ниже вероятность его полного прохождения (на каждый новый вопрос типа «другие», конверсия снижается на 2%). Это указывает на потенциальную роль таких вопросов в снижении конверсии и задаёт направление для дальнейшего анализа.
Такой же значимый результат подтверждается и статьями. Так, в работе (Liu, 2017) было выявлено, что тип вопросов «другое» (все, что не вопросы с вариантами ответа и не открытые) значимо предсказывают конверсию в завершение: то есть чем выше количество вопросов типа «другое», тем ниже конверсия в завершение. В нашем случае мы подтвердили такой результат, однако большую роль здесь играет размер выборки. В статье анализ данных проводился на 25 080 опросников, у нас же всего 36. И это одно из основных ограничений нашего исследования. Возможно, из-за ограничения выборки не сработали и другие предикторы, которые могут влиять на предсказание конверсии в опросах.
Что в итоге?
Мы подступились к предсказанию конверсии в завершение опроса.
Значимо подтвердили, что, чем выше количество вопросов типа “другое”, тем ниже конверсия в завершение.
Испробовали разные теории и поняли, что это итерационный эксперимент, как и в целом разработка продуктов — новые вводные помогают улучшать эксперимент, главное быть гибкими и адаптивными.
Что дальше?
Следующим этапом планируем увеличить нашу выборку, количество опросов для анализа, с помощью коллаборации с…. Ваши догадки пишите в комментариях!
Будем держать Вас в курсе нашего эксперимента и не только!
Подборка полезных материалов от нас по когнитивной нагрузке и структуре опросов:
Effects of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey
How Many Questions Should I Ask In My Survey? How Many Questions Should a Survey Have?
How long should a survey be? Here’s a research backed answer
Список литературы
Antoun, C., & Cernat, A. (2020). Factors Affecting Completion Times: A Comparative Analysis of Smartphone and PC Web Surveys. Social Science Computer Review. https://doi.org/10.1177/0894439318823703
Baumeister, R. F., Bratslavsky, E., Muraven, M., & Tice, D. M. (1998). Ego depletion: Is the active self a limited resource? Journal of Personality and Social Psychology, 74(5), 1252–1265.
Galesic, M., & Bosnjak, M. (2009). Effects of questionnaire length on participation and indicators of response quality in a web survey. Public opinion quarterly, 73(2), 349-360.
Jarrett, Caroline & Gaffney, G.. (2008). Forms that Work: Designing Web Forms for Usability.
Kaplan, R., & Kaplan, S. (1989). The experience of nature: A psychological perspective. Cambridge University Press.
Liu, M. (2017). Examining Completion Rates in Web Surveys via Over 25,000 Real-World Surveys. Social Science Computer Review. https://doi.org/10.1177/0894439317695581
Sweller, J., Van Merrienboer, J. J., & Paas, F. G. (1998). Cognitive architecture and instructional design. Educational psychology review, 10(3), 251-296.
Peytchev, A. (2009). Survey breakoff. Public Opinion Quarterly, 73(1), 74-97.
