Триангуляция — это принцип, позволяющий получить более полную и точную картину за счёт сочетания разных методов в одном исследовании. Например, можно объединить интервью, юзабилити‑тестирование и количественный немодерируемый тест. В UX-исследованиях этих методов не обязательно три — всё зависит от задачи и ресурсов для решения. Наша задача — по-максимуму сочетать методы и строить сложные подходы для таких исследований. Особенно, когда сама команда не знает, какое исследование они хотят, в условиях ограничения сроков и ресурсов.
Привет! Мы — Юля, Лика и Настя – UX-исследователи из Alfa Research Center, профессионально ломаем голову над креативными проектами. Разберём, как работает этот метод на примере одной истории, в которой исследователи разрываются между внешними ограничениями и желанием «сделать хорошо». На нашем примере покажем, как работает триангуляция и чем полезнее простого юзабилити-тестирования зрелых сервисов.
Что такое триангуляция?
Когнитивные механизмы, которые нас интересуют в рамках интерфейсов, отвечают за восприятие и решение задач. Конечно, они взаимосвязаны, поэтому смотреть только на поведение или только на субъективный опыт в отрыве от всего остального часто бессмысленно.
Поэтому в Alfa Research Center мы всегда отвечаем на три вопроса: «Что, как и когда?» Это методологический принцип, который мы используем при исследовании объекта разными методами, чтобы получить точную картину. Я думаю, ребята с психологическим образованием уже видели вот эту картину с фигурами.
Если наша реальность — это объект, а результаты исследования — проекция на плоскость, то триангуляция — это методологический принцип, по которому в одном исследовании сочетаются те самые несколько проекций, чтобы получилась объемная и более точная картина.
К примеру, можно сочетать разные методы исследований, например, интервью, юзабилити-тестирование и количественный немодерируемый тест.
Можно использовать разные метрики, например, субъективной удовлетворенности, успешности и эффективности выполнения заданий. Это тоже триангуляция.
Использование данных из разных источников тоже триангуляция. Можно сочетать открытые результаты других исследований в области, внутренние логи обращений пользователей, результаты собственных исследований с респондентами.
В UX‑исследованиях плоскостей не обязательно три — все зависит от задачи и ресурсов для ее решения. Наша же задача — по‑максимуму сочетать методы и строить сложные подходы для таких исследований. Особенно когда сама команда не знает, какое исследование они хотят. Но в триангуляции есть нюанс — нельзя просто взять и бросить в проект все возможные методы и надеяться, что он сам как‑нибудь решится.
Как это работает разберём на примере кейса.
Задача, которая подталкивает к триангуляции
Однажды к нам за аудитом пользовательского опыта (с планами на редизайн) пришёл сервис, существующий на рынке уже 5 лет. Это «Нетмонет» — сервис оплаты счета и чаевых по QR-коду. Ресторанам экономит время официантов, а для гостей решает вечную проблему — как оставить чаевые, если нет наличных.
Постановка задача нам была понятна и первым делом мы пробежались по макетам экспертной оценкой, чтобы оценить масштаб трагедии. Давайте вместе на него посмотрим, и увидим, что не так на старом экране:
Первое, что бросается в глаза, это неконсистентный дизайн: многообразие шрифтов и даже разная жирность для одного текстового элемента, выделение одним и тем же цветом имеет разный смысл.
Второе — ключевые кнопки плохо заметны: ввод своей суммы чаевых уезжает за край экрана, а визуальный шум отвлекает внимание, например, очень яркий блок информации об официанте (на данном скрине этого нет, но половину экрана оплаты счета занимали картины известных художников).
Третье — непривычные паттерны, когда к обычной дихотомии лайк-дизлайк добавились аплодирующие ладошки (вы их можете увидеть в нижней части экрана). Ладошки — это не только непривычный паттерн, но ещё и бесполезный, так как не позволяет руководству объективно оценить официанта.
Стало понятно, что просто редизайном или исследовательской экспертизой мы не можем решить этот вопрос. Это про разные вещи и лишь ю‑тест проводить бесполезно, так как мы просто получим список проблем без реальных причин их возникновения и не сможем выяснить — элементы плохо работают потому что они «непонятные» и/или «незаметные» или просто «неожиданные»?
А еще «Нетмонет» уже 5 лет и пользователи привыкли к неудобной логике старого интерфейса, поэтому любые изменения после редизайна должны быть деликатными.
Как же решить эту непростую задачу?
Нам нужно большое, комплексное исследование, а команде нужны быстрые результаты. Мы решили работать итерациями и использовать комбинацию методов: качественные, количественные и аппаратные. Это позволило собрать целостную картину, а не разрозненные наблюдения. Всего было две большие волны исследований.
Первая волна была про чаевые. Команда подготовила два варианта дизайна, и нужно было выбрать лучший. Мы провели: юзабилити-тесты с айтрекером и эмоциональным откликом, немодерируемые тесты, и даже сделали «фиджитал»: превратили лабораторию в кафе — с музыкой, столиками и атмосферой. Но обо всём по порядку.
Первый подход к снаряду
Есть интерфейсы, использование которых люди могут отложить до попадания в спокойные обстоятельства, например, агрегаторы авиабилетов или онлайн-кинотеатры. Но отложить оплату счета в ресторане невозможно.
Использование такого интерфейса всегда происходит в шумном месте со множеством отвлекающих факторов. Необязательно проводить исследование выезжая с респондентом в публичные пространства. Можно воссоздать контекст использования прямо в лаборатории. И мы сделали «фиджитал»: превратили нашу лабораторию в кафе — с музыкой, столиками и «атмосферой».
Постарались максимально приблизить условия проведения тестов к контексту реального использования сервиса. В лаборатории поставили столики, на большом экране вывели изображение с интерьером кафе, включили музыку. Ходившие по лабе коллеги напоминали посетителей, перемещающихся по кафе.
Всё это не только интересно, приятно и настраивает респондентов на более расслабленный лад, вызывая ассоциации с приятным вечером с любимыми или друзьями, но это одновременно и отвлекающие факторы, которые могут сбить, увести внимание от интерфейса и помочь проверить, как пользователь вернулся бы к своей задаче в реальности.
Мы приглашали респондентов в нашу лабораторию, предлагали им устроиться в нашем «кафе» и попробовать оставить чаевые с помощью прототипа сервиса, так же, как бы они это и делали в реальной жизни. Проверяли два варианта дизайна от команды, которые отличались расположением блока с информацией о сервисном сборе, и тем, как была обозначена возможность ввести свою сумму чаевых и др.).
Из двух нужно было выбрать один. И чтобы выбрать один из двух обоснованно (evidence-based), мы решили сочетать:
качественные методы: выявить проблемы, собрать отзывы и впечатления;
и количественные: понять на относительно большой выборке, какой вариант позволяет эффективнее решать пользовательские задачи.
Eye Tracker
Новый дизайн должен был решить проблему того, что второстепенные элементы отвлекали внимание от ключевых. А помочь в этом должен был Eye Tracker (далее айтрекер) — прибор, который отслеживает движение взгляда на экране монитора, поведение зрачков и частоту фиксаций.
Айтрекер позволяет:
определить порядок смотрения, то есть понять, на что обращают внимание в первую очередь, где дольше задерживают взгляд, а что «проскакивают»;
понять заметность элемента — требуется ли его переместить или сделать ярче или просто сама кнопка непонятно что делает.
Все это невозможно однозначно понять, просто наблюдая за пользователем. По данным айтрекера мы видим, замечает ли человек элемент, понимает ли он, на что смотрит. Например, после сканирования QR-кода, пользователь переходил на сайт или в приложение Нетмонет, но требовалось время на загрузку данных о заказе и официанте, который обслуживал столик. Команда хотела в это время показывать на экране рекламный баннер, ведь зачем тратить время зря? Но важно было дать понять клиенту, что он попал куда надо, и это не сайт продукта или компании в рекламе, а именно Нетмонет: «Скоро загрузится и можно будет оставить чаевые». Для этого над рекламой разместили прогресс-бар.
Айтрекер это дорогая штука, не в каждом исследовательском отделе она есть. Но...
...можно прийти к нам со своими проектами, а мы поможем с методологией и проведением. Если для этого нет возможности, можно попросить пользователя сделать задание полностью молча и просто понаблюдать за его поведением, потом уже попросить прокомментировать. Это не даст тепловых карт фиксации взгляда, но поможет нивелировать эффект модератора на ю-тестах, где вопросы на каждом шаге в задании могут смазывать картину работы с интерфейсом по сравнению с обычной жизнью.
На тепловых картах айтрекера мы видели, что попадало в поле зрения респондентов. А с помощью вопросов после теста выясняли, что респонденты просто скользнули по прогресс-бару взглядом и не придали ему значения, или не поняли, что команда пыталась им сообщить. На рекламе, занимающей львиную долю экрана, было множество фиксаций взгляда.
Но помнили ли респонденты к концу 10-минутного теста, о чём была речь? Оказалось, далеко не все. Но эмоциональный отклик (ЭО) показывал, что реклама не раздражает — хоть и не слишком эффективна, и можно ее оставить.
Эмоциональный отклик
Замер эмоционального отклика или ЭО — это второй инструмент в нашем арсенале. Когда нужно понять, как пользователи отреагируют на новый дизайн или рекламу, помогает замер (ЭО). ЭО считывается с лица респондента с помощью прибора Sense Machine, которая передаёт данные нейросети в режиме реального времени. Процесс работы машины на экране выглядят примерно так:
С ЭО снимаются метрики когнитивной нагрузки и эмоциональная реакция на прототип и выполнение заданий. Наша нейросеть по мимике различает 7 состояний: отрицание, гнев, торг, радость, злость, грусть, страх, отвращение, удивление и нейтральное состояние.
Примечание: Если нет ИИ-машины, в качестве альтернативы можно использовать опросник на когнитивную нагрузку и шкалирование по субъективным ощущениям.
Мы оценивали непроизвольную реакцию на весь прототип непосредственно во время выполнения заданий — на новый дизайн и разные шаги сценария. Интересный момент: истории официанта вызывали полярные эмоции — кто-то улыбался, а кто-то раздражался. Тем не менее мы с командой решили сохранить эти истории: они помогают сделать процесс выдачи чаевых более личным.
Кроме того, на тот момент у команды было два варианта интерфейса: цветовая схема, декоративные «фишки» были одни и те же, но существенно различалось исполнение нескольких важных функциональных элементов и было необходимо определить, какой сработает лучше.
Качественные тесты давали нам «фактуру»: с какими проблемами пользователи столкнулись и почему у них не получается выполнить целевое действие. Но полагаться на эти результаты в выборе одного или другого варианта было рискованно. Мы добавили немодерируемый юзабилити тест на большой выборке и проверили, насколько часто проблемы, связанные с той или иной версией элемента, встречаются у пользователей.
Зато во время количественного теста мы увидели, что кнопка-карандашик значимо проигрывает кнопке с текстом «Своя сумма».
Второй подход
Во второй волне мы тестировали раздельную оплату и лояльность. Здесь, в особенности, окупилось использование и айтрекера и ю‑тестов вместе, потому что «заметность» и «понятность» это совсем про разное.
К примеру, пользователи видели кнопку «Получить чек», что подтвердил айтрекер, но они не использовали кнопку, потому что чек логичнее получать после оплаты. А у нас галочку «отправить чек на почту» нужно было поставить на этапе проверки заказа, да ещё и на отдельном экране.
Ещё пример — кнопка использовать баллы ("Использовать баллы ntmnt kitchen") расположена в центре экрана, на неё приходится куча фиксаций, её точно ВИДНО… но вообще не понятно, что это за кнопка и что она делает. Это было ясно даже по данным самого айтрекера без комментариев респондентов: количество визитов в область в среднем было 2,6. Это значит, что респонденты смотрели на кнопку, потом переключались на другие элементы, потом снова возвращались, чтобы понять, а не сюда ли им нужно. И так почти три раза!
Сводим данные
Когда используешь разные методы, данных получается очень много. Иногда они даже противоречат друг другу. Например, в качественных тестах один вариант выглядел удобнее, а в количественных — другой.
В «классическом варианте» обработки данных исследователь берет протоколы интервью, разбивает их на цитаты и кластеры, превращает данные из количественного исследования в таблички, а потом запихивает все это в один отчет.
В обработке для множества методов важно агрегировать данные от всех инструментов одновременно, чтобы случайно не представить заказчику данные, которые будут друг другу противоречить. Чтобы свести данные воедино, мы по каждому заданию сверяли цитаты респондентов, действия, данные по фиксациям айтрекера, количественные данные с опроса и эмоциональный отклик.
Так, например, мы поняли, что пользователи на айтрекере замечали «карандашик» для смены количества чаевых, по количественному опросу большинство справлялись с этим заданием успешно, но на очных юзабилити‑тестах была заметна задержка, а из части интервью мы узнали, что пользователи не помнили, был ли вообще какой‑то способ изменить количество чаевых. Вывод = «карандашик» заметен, но его функция пользователям непонятна, поэтому они двигаются дальше по сценарию, забывая про него совсем
Благодаря триангуляции мы замечаем не только мелочи интерфейса, но и глобальные инсайты про логику продукта. После исследований продукт стал минималистичнее, логика сценариев яснее, а шум исчез. Как видите, кнопку с баллами лояльности мы исправили. А получить чек теперь можно только после оплаты, как и ожидается. Пользователям проще и быстрее выполнять задачи, а бизнес получил современный инструмент.
Как применять триангуляции при разных вводных
Проблема проекта с несколькими методами — огромное количество информации, которую надо как‑то свести в одну картину, но триангуляция страхует от ошибок, которые исследователи совершают из‑за одностороннего взгляда и ограничений отдельных методов.
Если есть возможность, добавляйте в ваши исследования инструменты для измерения внимания, эмоционального отклика, запоминаемости и читаемости продукта. Ну, и конечно, ведите сложные проекты со своими коллегами, чтобы триангулировать данные друг от друга и переопыляться инсайтами. Командная работа неоценимо поддерживает, когда надо свести разнородные данные и не сойти с ума.
Но этот метод можно использовать с разным уровнем бюджетов и/или времени. Если бы у нас не было айтрекера и Sense Machine, мы бы приглашали респондентов на очные тесты, чтобы частично воспроизводить среду, в которой они будут использовать ваше приложение или фичу. Если же не было возможности превратить офис в кафе, то можно посидеть с респондентами на лавочке в парке, спустится с ними в метро или ходить по городу.
Если же уровень возможностей минимален, то всегда можно подтверждать свои выводы количественно: не стесняйтесь давать респондентам эмоциональные опросники или опросники на когнитивную нагрузку, пробуйте новые инструменты, чтобы ваши выводы были объёмные.
Даже с ограниченными сроками можно работать итерациями и пробовать разные методы. Возможно, проведение исследования в несколько итераций может стать решением для исследователя, который разрывается между внешними ограничениями и желанием «сделать хорошо».
Мы не хотим показать как мы здорово отработали, а хотим подчеркнуть важность активной исследовательской позиции в нашей работе. Спорить со сроками, идти в итерации, делать сложные дизайны исследований – это всё работа которая качественно улучшает сервис. Именно триангуляция методов дает уверенность, в том что наш редизайн будет полезнее и лучше.
Наша цель — показать пример, как это сделали мы, сколько это заняло, как это повлияло на развитие нашего сервиса и чем это было полезнее простого юзабилити‑тестирования в спринте, чтобы вдохновить коллег на креативную и итерационную работу со своими кейсами.
В нашем случае работа была проделана не зря, спустя год не придется заново проводить аудит и перерисовывать дизайн