На сегодняшний день существует более 200 методов исследования UX, которые применяются практиками и учеными. Такие методы принимают форму usability studies, опросников, интервью, контент-анализа, этнографии, фокус-групп, экспертных оценок, анализа больших данных и приобретают другие формы. Особняком стоят современные неврологические и физиологические методики, о которых скоро будет статья.

Наряду с отдельными эмпирическими исследованиями есть такой жанр, когда большое количество работ подвергают особому анализу. В итоге получается не только интересная описательная статистика, но и появляется возможность выявить тренды. В этой статье я рассмотрю три таких обзорных исследования.

Немного отсебятины

Основной вывод, который я сделал из изучения публикаций следующий. Проблемы операционализации и теории UX породили сумятицу и в методологии изучения пользовательского опыта. В начале 2000-х годов подавляющее большинство методик не имело под собой научного обоснования, не всегда изучало релевантные пользовательскому опыту феномены и имело большие проблемы с валидностью. И вроде бы всех все устраивало.

Но к концу 2010-х годов вопросы стандартизации методик стали острее. Поэтому за неимением подходящих теорий внутри Human-Computer Interaction (HCI) ученые стали все чаще прибегать к смежным научным дисциплинам. От изобретения собственных методов научное сообществе постепенно перешло к заимствованию методик и идей, разрабатываемых в области социологии, физиологии, нейронаук, этнографии, психологии и других дисциплин.

Изучение методов

Теперь по порядку. Начать стоит с работы 2010 года [Vermeeren et al., 2010], авторы которой изучили 96 методов исследования пользовательского опыта. Среди них около 70% ранее использовались в научных исследованиях. При этом 66% методов были полностью доступными, а 40% использовались онлайн. Количественные и качественные методы оценки разделились примерно поровну (39% и 32%), а еще треть методов содержала в себе оба подхода. Примечательно, что 81% методик использовался для оценки WEB-сервисов.

На тот момент практически не существовало методов исследования UX, которые не были бы связаны с непосредственным использованием продукта. То есть оценивали бы ожидания от пользовательского опыта, что весьма полезно на стадии проектирования продукта. Несмотря на очевидную полезность таких методик, валидация инструментов, полагающихся на воображение пользователя, весьма затруднительна. Это и могло стать одной из причин практически полного отсутствия подобных инструментов.

Примечательно, что в эпоху относительно молодого веба онлайн инструменты были наиболее удобными для применения. Однако в те времена существенной проблемой была обработка неструктурированных данных, полученных в результате использования онлайн методик. Наряду с этим, 13 методик анализа UX требовало участие экспертов, что существенно осложняло процедуру проведения исследований. Поэтому Vermeeren и другие (2010) поставили вопрос о целесообразности применения таких методик в дальнейшем.

Вместе с тем в работе были получены ответы на весьма интересные вопросы. Во-первых, наблюдался интерес к методикам, которые предоставляли свободу выбора формулировок участникам. И здесь проявляется своего рода парадокс. Ведь валидация и переиспользование таких методик, а их было около 55%, весьма затруднительна. То есть комьюнити хотело лучше понять пользователя, но при этом приносило в жертву научную строгость.

Еще немного отсебятины

Лично на мой взгляд такой подход несколько неоправдан. С одной стороны, он позволяет в конкретной ситуации лучше изучить UX и, соответственно, создать более качественный продукт. Однако здесь существует один важный нюанс. Никто не гарантирует, что свободные от методологии ожидания пользователей не изменятся завтра или, например, такие ожидания являются определяющими факторами UX.

Приведу пример. Мы проводим исследования UX в продукте А и получаем свой собственный набор составляющих пользовательского опыта. А дальше мы начинаем работать над их улучшениями. В итоге мы приходим к какому-то результату и проводим повторные замеры. И здесь вероятны следующие сценарии:

UX не улучшился, на смену одним факторам пришли другие
UX улучшился, но из-за иных причин, не связанных с продуктом, например, исчезли аналоги
UX улучшился, но факторы настолько специфичны для нашего продукта, что не могут быть использованы для продукта Б
UX улучшился, факторы неспецифические и могут быть использованы для продукта Б

Только в последнем случае можно говорить о том, что мы провели по-настоящему научное исследование и нашли что-то, что может быть генерализованно. А раз так, то мы можем в дальнейшем валидировать наш инструмент, путем переиспользования и оценки результатов. Это и приводит к предзаданной операционализации UX, которая за счет ограничения свободы воли участника исследования приводит к тому, что мы можем пользоваться методикой в разных ситуациях. Иными словами, появляется стандартизированная методика, которая всегда имеет свои собственные ограничения на применение. Но при этом она научно обоснована и в какой-то мере гарантирует нам что-то.

Эмпирические исследования

Работа Bargas-Avila и Hornbæk (2011) была написана по результатам исследований, проведенных в период 2005-2009 годов. Всего авторы проанализировали 51 опубликованное исследование из 1 254 статей, отобранных на этапе сбора данных.

Одним из интересных открытий стало то, что с чисто методологической точки зрения весьма сложно отделить друг от друга понятия UX и usability. Казалось бы, что для изучения первого характерны гедонистические методы оценки, тогда как для последнего прагматические и ориентированные на результат инструменты. Однако такая гипотеза в работе не нашла своего подтверждения.

При этом большинство методик отражали аффективные и эстетические состояние пользователей. Наиболее распространенным инструментом анализа эмоционального фактора UX стала методика Self-Assessment Manikin [Bradley, Lang, 1994]. Суть ее заключалась в том, что участникам исследования предлагали оценить какой-либо стимул с помощью заранее подготовленных скетчей на основе трех шкал: валентность, уровень аффекта и доминирование.

SAM весьма проста в применении, достаточно валидна, хотя и имеет весьма примитивное отражение эмоциональной сферы. Собственно здесь и заключался очередной парадокс: в проанализированных работах практически не использовались другие методы исследований эмоций, хотя эмоциональная реакция, по мнению комьюнити, считалась одним из основных факторов UX.

Что касается эстетической стороны пользовательского опыта, то в этой части на тот момент не было каких-либо устоявшихся опросников. Например, оригинальная методика была апробирована в работе Lavie и Tractinsky (2004). Шкала эстетического наслаждения включала в себя всего пять вопросов, на которые участник исследования давал ответы по шкале от “полностью не согласен” до “полностью согласен”.

Но если эмоции были чем-то уже устоявшимся, то такие трудно переводимые феномены, как enchantment, engagement, tangible magic, aesthetics of interaction или relevance, оказались новыми направлениями эмпирических исследований первой декады XXI века. Ключевой проблемой опять же стало то, что связь между этими новыми феноменами и UX была не очевидна и не основывалась на теории.

Ретроспектива

Одно из последних найденных мной исследований было опубликовано в 2018 году [Robinson, Lanius, Weber, 2018]. В нем авторы проанализировали более 400 научных статей, опубликованных в период 2000-2016 годов. Главная цель исследования - проследить динамику изменения понятия UX и методологии его исследования. В первоначальную выборку вошли 2 411 работ.

Оказалось, что наиболее часто исследуемые продукты в научных статьях - это WEB-сервисы и WEB-сайты. Пик исследований первых пришелся на 2016 год, а последних на 2014. Из новшеств можно отметить повышенный рост интереса к исследованию смартфонов, а также незначительную долю VR/AR продуктов (1,6%).

Парадоксальный факт - 79,3% авторов не использовали научных гипотез при проведении исследований. И это полностью подтверждает тот факт, что теория отстает от наблюдений. Еще одним интересным фактом стало то, что превалировать в исследованиях стали смешанные методы (качественные и количественные). Но на мой взгляд, это может быть следствием того, что чем шире методика, тем выше вероятность получить какой-либо позитивный результат.

Наиболее широко используемыми методами являются опросники, интервью и фокус-группы. Однако есть и понимание того, что опросники нередко используются неправильно. Например, для исследования тех аспектов UX, для которых они изначально не предназначены. В целом наметился тренд на то, что для исследования UX стали чаще использовать методики, изначально разработанные в других областях науки.

Что почитать

Bargas-Avila, J. A., & Hornbæk, K. (2011). Old wine in new bottles or novel challenges. Proceedings of the 2011 Annual Conference on Human Factors in Computing Systems - CHI ’11.doi:10.1145/1978942.1979336

Bradley, M. M., & Lang, P. J. (1994). Measuring emotion: The self-assessment manikin and the semantic differential. Journal of Behavior Therapy and Experimental Psychiatry, 25(1), 49–59.doi:10.1016/0005-7916(94)90063-9

Lavie, T., & Tractinsky, N. (2004). Assessing dimensions of perceived visual aesthetics of web sites. International Journal of Human-Computer Studies, 60(3), 269–298.doi:10.1016/j.ijhcs.2003.09.002

Vermeeren, A. P. O. S., Law, E. L.-C., Roto, V., Obrist, M., Hoonhout, J., & Väänänen-Vainio-Mattila, K. (2010). User experience evaluation methods. Proceedings of the 6th Nordic Conference on Human-Computer Interaction Extending Boundaries - NordiCHI ’10.doi:10.1145/1868914.1868973

Robinson, J., Lanius, C., & Weber, R. (2018). The past, present, and future of UX empirical research. Communication Design Quarterly Review, 5(3), 10–23.doi:10.1145/3188173.3188175

Эмпирические исследования UX от начала 2000-х до наших дней