Привет! Меня зовут Наташа, я ведущий исследователь в RUTUBE. Я изучаю поведение и потребности пользователей, чтобы помогать продуктовой команде улучшать опыт зрителей и авторов RUTUBE.

Обычно мы, исследователи, опираемся на проверенные методологии: знаем, какие вопросы задать и как анализировать результаты. Но бывают задачи, когда нужно измерить то, для чего нет принятых метрик, проверить то, что не входит в стандартные методологии.

С чего начать работу над такой задачей? На что опираться? Как понять, что придуманный подход работает? Расскажу, как я искала ответы на эти вопросы, и покажу, какие шаги помогут адаптировать или создать собственную методологию под вашу уникальную задачу.

Чтобы создать свою методологию, нужно сначала изучить уже существующие

Недавно ко мне обратилась команда дизайна с вопросом о том, как оценить удовлетворенность пользователей новым внешним видом Студии RUTUBE для авторов.

Существует много известных методологий оценки удобства использования веб-сайтов и приложений (UMUX, SUS и т.д.). Есть также комплексные метрики, где оценка внешнего вида является одним из измеряемых критериев (например, SUPR-Q). Но широко применимых методологий для оценивания именно визуальных характеристик интерфейса, которые подходили бы под наши задачи, нет.

Поэтому мы решили найти или создать методологию оценки восприятия визуальной составляющей дизайна, которая позволила бы узнать мнение пользователей о новом дизайне Студии RUTUBE и могла бы быть использована в будущем для RUTUBE в целом.

Шаг 0. Определение цели и образа результата

Первое, что необходимо сделать — это чётко сформулировать для себя и всех заинтересованных участников процесса, зачем нам нужна методология и что она нам даст. Это позволит не проделать всю работу зря.

Исходя из цели можно обозначить параметры для будущей методологии исследований:

дизайн — качественный или количественный;
регулярность и область применения;
образ результата.

Понимание того, какой должна быть будущая методология, сильно упростит работу в дальнейшем, так как позволит сразу отсечь неподходящие варианты.

В моём случае команда дизайна обозначила 4 критерия:

количественный дизайн (для получения статистически достоверных данных);
срок проведения исследования по методологии не больше одной рабочей недели (чтобы не задерживать сроки релизов);
содержит общую объективную оценку визуальной привлекательности, а также оценку дизайна по ряду характеристик;
подходит для сравнения нескольких вариантов дизайна.

На этом же этапе нужно определить, стоит ли игра свеч и есть ли смысл разрабатывать целую методологию, так как это трудозатратно и может занимать значительное время. Полезно закладывать применимость методологии не только в рамках изначальной задачи, но и думать сразу о ее использовании в более широком спектре ситуаций.

В нашем случае идея методологии изначально возникла из необходимости оценить новый дизайн Студии RUTUBE, но мы решили сразу думать и о будущей оценке изменений дизайна всего RUTUBE.

Таким образом, методологию лучше сразу задумывать как более универсальный инструмент, который будет возможно переиспользовать или адаптировать и под другие цели.

! Важно: необходимо заложить согласование методологии с заинтересованными лицами на всех ключевых этапах. Это позволит убедиться, что итоговый результат совпадает с ожиданиями и устраивает команду.

Шаг 1. Анализ существующих методологий

С чего же начать работу над методологией? Сначала необходимо изучить уже существующие решения. Адаптировать готовое под компанию/задачу практически всегда значительно быстрее, чем создавать своё с нуля. Даже если подходящая методология не будет найдена, появится представление о том, какой вид она может иметь.

Ранее мы уже проделывали похожий фокус и составляли новую методологию, комбинируя несколько фреймворков и методов. Что у нас получилось, можно посмотреть в нашем Кариной Пфайфле выступлении на конференции ResearchExpo: «Калькулятор для бэклога: как пользовательский опыт может влиять на продуктовую приоритизацию».

Как искать методологии

Здесь два основных пути: искать кейсы других компаний (на Хабре, vc.ru и др.) или же изучать научные статьи. Научные статьи часто подробнее описывают методологию, а также приводят результаты всех необходимых проверок и валидаций — я предпочитаю их.

Можно воспользоваться сайтом Connected Papers, чтобы быстро найти все связанные статьи по теме и выявить наиболее цитируемые.

Валидность найденных методологий можно оценивать по модели Кронбаха и Миля (1955):

Валидность контента. Содержание вопросов/характеристик/утверждений формируется с учетом мнений других экспертов в области. Для статей это означает наличие качественной теоретической части и изучение автором предыдущих научных работ по теме.
Валидность по отношению к измеряемому критерию. Используемые вопросы/характеристики/утверждения должны иметь значимую корреляцию с измеряемым критерием (в моем случае это была визуальная привлекательность дизайна). Стоит обращать внимание на наличие статистических проверок, приводимые коэффициенты корреляции и т.п.
Валидность «конструкта». Используемые вопросы/характеристики/утверждения действительно измеряют то, что мы хотим измерить. Подтверждается с помощью корреляции с другими схожими известными методологиями.

Подробнее о модели можно почитать в статье Джефа Сауро.

Если говорить простыми словами, то хорошая методология должна от чего-то отталкиваться (например, от других научных статей) и иметь доказательства того, что она действительно работает (желательно, статистические тесты).

Мне для оценки методологий особенно помогает критическое прочтение теоретической части статьи, описания результатов, а также перечисленных ограничений. Также можно поискать и изучить критику известных методологий, так как обычно их недостатки уже описаны другими экспертами. Здесь помогут научные работы и статьи на профессиональных ресурсах (например, сайты Nielsen Norman Group, Measuring U и др.).

После изучения различных методологий для нашей оценки визуального восприятия дизайна я решила отталкиваться от методологии, описанной в статье G. Lindgaard, G. Fernandes, C. Dudek и J. Brown. Суть этой методологии состоит в демонстрации интерфейса на 50–500 миллисекунд, после чего респондент оценивает его визуальную привлекательность. В статье доказывается, что именно за этот промежуток времени формируется первичная эмоциональная реакция на стимул, которая далее сохраняется в форме устойчивого мнения о визуале интерфейса. Далее респонденту показывают интерфейс повторно без ограничения по времени для оценки его характеристик.

Шаг 2. Адаптация выбранной методологии

На этом этапе мы дорабатываем методологию под свои потребности. Проще всего добавить к существующей методологии дополнительные характеристики/вопросы/утверждения.

Так, в нашем случае, мы с командой дизайна определили список характеристик, который закладывали в новый дизайн Студии RUTUBE и в будущем хотели бы видеть в дизайне RUTUBE в целом. Например, современность, дружелюбность и др. (в каждом продукте он будет свой). Эти характеристики мы предварительно добавили к ранее выбранной методологии.

Важно помнить, что все изменения в методологии будет необходимо протестировать и провалидировать (подробнее об этом в Шаге 3).

Если же вы понимаете, что потребуется кардинально изменить методологию, то лучше вернуться на предыдущий этап и поискать более подходящие варианты. В ходе сильных изменений может легко потеряться основное преимущество существующей методологии — её доказанная валидность. Например, если методология изначально задумывалась как качественная, то изменение ее дизайна на количественный может исказить суть методологии. Также такие изменения просто потребуют большего количества времени на тестирование и валидацию, тогда как этого можно избежать с помощью выбора другой методологии.

! Важно: ещё одним обязательным этапом адаптации методологии зачастую является перевод используемых вопросов/утверждений/характеристик, если методология изначально составлена на иностранном языке. Для этого лучше привлечь продуктовых редакторов или других специалистов по работе с текстом, чтобы обеспечить однозначную интерпретацию понятий и их доступность для широкой аудитории.

Например, нам необходимо было перевести на русский язык пару характеристик imaginative – unimaginative. Прямой перевод подразумевал бы использование таких слов как «творческий» или «художественный», но в русском языке они не используются широко для описания дизайнов интерфейсов. Потому мы подобрали близкие по смыслу слова, которые при этом часто применяются для описания внешнего вида веб-сайтов или приложений: креативный – обычный.

Варианты перевода можно протестировать на Шаге 4, если есть сомнения или отсутствует единый принятый перевод.

Шаг 3. Тестирование и валидация

Тестирования помогут проверить, что адаптированный вариант методологии валиден и позволит нам узнать желаемое. Они также дадут возможность убедиться в том, что технические и практические аспекты проведения исследования по методологии реализованы верно.

В нашем случае, мы проводили 2 этапа тестирования.

Этап 1. Коридорное тестирование для проверки технических аспектов

Если методология содержит нестандартные механики, стоит предварительно протестировать их работу перед запуском исследований с респондентами.

Так как наша методология подразумевает демонстрацию макета на 500 миллисекунд, потребовались некоторые усилия для реализации такой механики в опросе (можно сделать с помощью JavaScript в некоторых сервисах для онлайн-опросов). Коридорное тестирование помогло проверить правильность работы механики на разных устройствах и браузерах. После доработки скрипта удалось получить рабочий вариант методологии, подходящий для проведения количественных опросов.

Этап 2. Исследование с респондентами

На этом этапе проходит уже тестирование на выборке, достаточной для проведения статистических проверок. Для ее расчета можно воспользоваться одним из калькуляторов расчета размера выборки (например, этим).

То, какие статистические проверки необходимо проводить, зависит от выбранной методологии. Наша методология содержала характеристики дизайна, оцениваемые с помощью 7-балльных шкал, потому мы проводили следующие проверки:

Коэффициент альфа Кронбаха.
Используется для проверки внутренней согласованности характеристик, описывающих один объект. Особенно релевантен в случае, если были добавлены дополнительные характеристики в ходе адаптации методологии. Для расчёта альфы Кронбаха можно использовать SPSS. Почитать больше про альфу Кронбаха можно по ссылке. Для нашей методологии альфа Кронбаха >0,9 (очень хорошее значение).
Коэффициент ранговой корреляции Спирмена
Используется для определения направления и силы корреляции между переменными (применяется для порядковых данных). Позволяет определить корреляцию с измеряемым критерием, а также измерить силу корреляции характеристик по отношению друг к другу. Рассчитать коэффициент корреляции Спирмена также можно в SPSS. Почитать про него больше можно по ссылке. Для нашей методологии корреляция по отношению к измеряемому критерию и корреляции между характеристиками имеют средний-сильный уровень (есть статистически значимая взаимосвязь, хорошее значение).

Данный этап помогает отсеять лишние характеристики/утверждения/вопросы и подтвердить, что методология реально измеряет то, что требуется измерить.

Наша методология оценки визуального восприятия дизайна по итогам финального тестирования показала, что новый дизайн Студии RUTUBE оценивается пользователями как более визуально привлекательный и соответствует тем характеристикам, которые закладывала в него команда дизайна. Например, мы узнали, что цвета и расположение элементов в новом дизайне нравятся авторам гораздо больше, чем в старом.

Слева старый дизайн Студии RUTUBE, справа — новый

Шаг 4. Внедрение и улучшение

Чтобы новая методология не легла в стол, а пригодилась в будущих исследованиях, нужно о ней рассказать коллегам (и вам:)):

описать весь процесс проведения исследований по методологии для всех его участников;
поделиться знаниями о методологии с другими исследователями в компании, зафиксировать их во внутренней базе знаний;
рассказать о методологии и полученных с её помощью результатах на компанию.

Конечно же, на этом работа над методологией не заканчивается. По мере накапливания количества кейсов применения методологии станут понятны её возможные зоны роста (как в плане самой методологии, так и в плане процесса проведения исследований по ней). Для нашей методологии мы тоже закладываем следующие итерации её доработки по мере роста количества проведенных исследований.

Поэтому важно также собирать фидбек от заказчиков и участников процесса. Так, для одной из созданных ранее методологий спустя время мы провели интервью с заказчиками и выяснили, что пользу от методологии на самом деле видят не совсем в том, что мы закладывали. Это позволило скорректировать саму методологию и транслируемые ситуации, в которых ее стоит применять.

Итоги

Итак, чтобы создать или адаптировать методологию нужно:

Определить цель и образ необходимой методологии.
Изучить существующие методологии и выбрать, какую из них использовать или от каких из них отталкиваться.
Адаптировать выбранную методологию или разработать собственную под поставленную цель.
Провести все необходимые тестирования и статистические проверки, чтобы убедиться в валидности методологии.
Внедрить методологию и, конечно же, продолжать улучшать ее.

Что же дала нам методология оценки визуального восприятия дизайна?

Методология помогла проверить, что новый дизайн Студии RUTUBE действительно больше нравится авторам и соответствует характеристикам, от которых отталкивались при его создании. А также у нас появился быстрый проверенный метод для сравнения вариантов дизайна и проверки их восприятия пользователями.

Сейчас мы планируем и дальше развивать и дорабатывать методологию оценки визуального восприятия дизайна. А почитать о методологии, от которой мы отталкивались, можно в следующих статьях:

Lindgaard, G., Fernandes, G., Dudek, C., & Brown, J. (2006). Attention web designers: You have 50 milliseconds to make a good first impression! Behaviour & Information Technology, 25(2), 115–126. https://doi.org/10.1080/01449290500330448.
Lindgaard, G., Dudek, C., Sen, D., Sumegi, L., & Noonan, P.S. (2011). An exploration of relations between visual appeal, trustworthiness and perceived usability of homepages. ACM Trans. Comput. Hum. Interact., 18, 1:1-1:30. DOI:10.1145/1959022.1959023.

Делитесь своими историями создания методологий в комментариях.

Больше о создании медиасервисов в телеграм-канале Смотри за IT: там рассказываем об инженерных тонкостях, продуктовых находках и полезных мероприятиях, делимся видео выступлений и кадрами из жизни команд Цифровых активов «Газпром-Медиа Холдинга» таких, как RUTUBE, PREMIER, Yappy.

Когда стандартные подходы не работают: как разработать методологию под новые задачи