Всем привет! Эту статью мы пишем вместе: Аня Долгинова и Миша Яковенко — UX-исследователи в Lamoda. Мы хотим рассказать, как правильно проводить юзабилити-тестирование с респондентом и получать четкие результаты.

Кажется, что исследовать пользовательский опыт просто: снял метрики, поговорил с участником, проанализировал показатели — и все готово. Но на самом деле все чуточку сложнее: начинающие исследователи делают много ошибок, поэтому получают некорректные данные, что может повлиять на дальнейшие решения по продукту.

Наша статья поможет правильно подготовиться к работе с респондентом, расположить его к себе, улучшить навыки своей работы и снять страх перед этим методом. Особенно она будет полезна начинающим UX-специалистам и всем специалистам, которые так или иначе взаимодействуют с интерфейсами.

Зачем нужны UX-исследования

UX-исследования появились не вчера: в какой-то степени мы продолжаем социологические исследования. Сейчас мы просто работаем преимущественно с интерфейсом.

Исследования помогают понять, какие есть проблемы с продуктом, о чем думает клиент, как он его использует, почему он его использует именно так. В общем, оно может ответить на многие вопросы о взаимодействии человека с продуктом.

Сейчас это важно, потому что направление пользовательского опыта активно развивается, а еще меняется рынок потребления. Раньше компании достаточно было сделать клевую рекламу, и человек выбирал по тому, что красивее и что дешевле. Но в наши дни во всех сферах очень много конкурентов: у пользователя появился выбор, и его не получится привлечь и удержать красивой этикеткой.

На первый план выходит то, как человек взаимодействует с продуктом, насколько он отвечает его потребностям, как он ведет коммуникацию.

Что такое юзабилити-тестирование и где оно применяется

Мы используем разные методы исследований: интервью, опросы, фокус-группы, юзабилити-тестирования. Но сегодня мы поговорим о последнем методе, потому что используем его чаще всего.

Юзабилити-тестирование — это метод оценки интерфейса со стороны удобства и эффективности его использования. Чаще всего оно проводится, когда у страницы, сайта, приложения низкая посещаемость или есть жалобы на проблемы в работе интернет-ресурса. Например, пользователи пишут в поддержку: «Я не могу оформить заказ, товар не отображается в корзине», и мы проводим тестирование, чтобы разобраться с этой жалобой.

Или еще один пример: мы замечаем, что на определенных этапах пользовательского пути довольно высокий процент отвалов. Предположим, мы видим, что много людей добавляют товары в избранное, но при этом из него редко что переходит в корзину. Мы можем сформулировать гипотезу, что есть какие-то проблемы на этапе избранного: что-то останавливает пользователей при оформлении заказа.

А еще мы планируем исследования, когда хотим сделать редизайн, внедрить новые функции или как-то изменить существующие, и не уверены, насколько это будет удобно или понятно пользователям. Прежде чем что-то отдавать на разработку, мы должны это протестировать на этапе прототипа, и понять, стоит ли нам вкладывать много ресурсов, или это не так уж необходимо.

Методы юзабилити-тестирования

Прежде всего, нужно понимать, что юзабилити — это не всемогущий метод. Благодаря ему мы можем собрать список проблем, но не можем утверждать, что этот список исчерпывающий.

Всего мы проводим приблизительно от 5 до 10 тестов по конкретной выборке с представителями целевой аудитории. Именно поэтому мы не можем заявлять, что с теми проблемами, которые мы выявили, сталкивается 100% наших пользователей, даже если с ними столкнулись 10 из 10 человек в нашей выборке. Мы только можем говорить о том, что такие проблемы есть и насколько они критичны для пользователя.

Юзабилити — это тест на понятность и доступность. Мы хотим понять, насколько наш интерфейс удобен для пользователя, а уже потом думаем о его внешней привлекательности.

Есть четыре вида юзабилити-тестирования. В описаниях мы опирались на статью Натальи Спрогис, главы исследовательского отдела в СберМегаМаркете.

Наблюдение. Респондент остается один на один с продуктом, и он ведет себя так, как вел бы в реальной жизни при решении аналогичной задачи. То есть мы не вмешиваемся в процесс взаимодействия пользователя с продуктом: мы даем ему задачу (например, оформить заказ) и молча наблюдаем за его эмоциональными реакциями, комментариями, вопросами. Но при этом мы не помогаем ему и ничего не комментируем.

Этот метод используется довольно часто. Он помогает провести тест в естественных условиях и приносит пользу в тех случаях, когда нам нужно посмотреть метрики — например, скорость выполнения задания.

Но есть и минусы: многое так и остается за кадром, и мы не можем найти объяснение, почему респондент в какой-то момент запнулся или встретился со сложностями, потому что мы не вступаем с ним в прямой диалог. При этом есть большая вероятность, что к концу исследования респондент уже не вспомнит, где он делал паузы, особенно если для него это было не сильно критично.

Мысли вслух. Респондент озвучивает все свои мысли, пока выполняет задание — любую идею или комментарий, которые придут ему в голову касательно интерфейса, задания. В обычной жизни человек так себя не ведет, но это довольно полезно, потому что мы можем найти объяснения всем проблемам, с которыми сталкивается респондент на этапе выполнения задания.

Но и тут есть минусы: есть вероятность, что респонденты могут уделять больше внимания тем вещам, на которые они бы не обратили внимания в обычной жизни.

Активное вмешательство. В этом методе модератор активно взаимодействует с пользователем: он может остановить респондента, спросить у него, почему здесь он поступил так, а также изменять сценарии по ходу теста. Этот метод очень удобен, когда мы тестируем прототип или когда путь пользователя довольно сильно ограничен, и нам нужно провести его по этому пути.

Ретроспектива. Это комбинация первых двух методов: наблюдения и мыслей вслух. Сначала человек выполняет все задания молча и без помощи. После модератор показывает респонденту видео того, как он выполнял задание, и респондент комментирует то, что он делал.

Минусы: респондент может забыть проблемы, с которыми он столкнулся, а еще тест длится больше часа, потому что помимо прохождения задания мы просматриваем вместе с респондентом получившуюся запись.

Мы в Lamoda чаще всего используем мысли вслух и активное вмешательство. Иногда комбинируем эти методы: можем задавать дополнительные вопросы, когда респондент рассказывает о своих действиях.

Как проходит юзабилити-тестирование

Постановка задачи

К нам приходит продакт или дизайнер и говорит, что у него есть проблема, которую нужно решить. Мы проводим брифинг с заказчиком и выясняем все подробности: почему появилась потребность в исследовании, проводилось ли оно ранее, что будем исследовать, какой сценарий, какая целевая аудитория, на какие метрики нацелен этот продукт, что будет с результатами исследования, какие сроки.

Составление гипотез

Здесь нужно брать во внимание первоначальные гипотезы заказчика и те, которые появились после брифинга. В итоге у нас получается набор предположений о пользовательском поведении, которые в результате мы подтвердим или опровергнем.

Разработка гайда исследования

Это документ, в котором отображено все, что связано с исследованием: цель, задачи, целевая аудитория, структура тестирования (гайд). Поскольку мы говорим про юзабилити-тестирование, здесь же мы формулируем легенду и задания, которые будем давать респонденту, а также критерии оценки.

Под легендой мы подразумеваем историю, которая поможет респонденту погрузиться в контекст. Например, если мы хотим проверить чекаут, то говорим респонденту, что он планирует покупки каких-то вещей и для этого решил воспользоваться Lamoda. Ему нужно зайти на сайт или в мобильное приложение, выбрать и оформить заказ.

Готовый гайд нужно согласовать с заказчиком: возможно, у него появятся свои вопросы и комментарии.

Рекрутинг

Мы должны позвать людей, которые пользуются нашим продуктом или потенциально готовы пользоваться. В идеале позвать и тех и других, но это не всегда необходимо.

В целом, это два главных критерия по респондентам. Но есть и другие: например, в зависимости от того, тестируем ли мы мобильное приложение или сайт. Если тестируем сайт, нам нужны люди, которые пользуются сайтом в реальной жизни. Если к нам на исследование придет человек, который пользуется только приложением, для него все будет в новинку, поэтому мы получим не совсем релевантный результат.

Здесь также может быть разбивка по географии, по возрасту и даже по опыту использования интернета. А может быть разбивка по принципу «клиенты Lamoda — не клиенты Lamoda»: какую одежду они покупают и как часто они ее покупают.

Все критерии опять же важно согласовать с заказчиком. Дальше начинается рекрут. Его можно проводить несколькими способами. Самый простой — обратиться к агентству. Это быстро, но дорого. Есть другой вариант, когда ты работаешь по готовой базе: просто попросишь у заказчика выгрузку пользователей, которые пользуются продуктом, и начинаешь обзванивать или писать. Это бесплатно, но достаточно долго.

Еще можно поворошить соцсети или просто поспрашивать друзей — любой способ, где вы можете достучаться до людей, приемлем. Главное, чтобы эти люди подходили под критерии выборки.

В Lamoda есть страница, на которой человек может записаться и стать потенциальным респондентом. За участие в исследовании ему полагаются приятные бонусы.

Проведение исследования

На этапе самого исследования сложно что-то предугадать, поэтому дадим несколько базовых советов.

Нужно постараться расслабить респондента, показать, что ты такой же человек, как и он. Это важно, потому что процесс исследования для респондента — сильный стресс. Он пришел в неизвестные условия к неизвестному человеку, и его еще просят выполнять задания.
Нужно сфокусировать все свое внимание. То есть, слышать, наблюдать, анализировать. Юзабилити-тестирование — это про то, понятен ли интерфейс. И чаще всего нужно смотреть не только на то, что говорит респондент, а больше на то, что он делает. Например, человек может выполнять задание достаточно долго, но при этом он после исследования скажет, что не видит никаких проблем. Таким образом, обращая внимание именно на поведение, мы сможем понять, что все-таки есть проблемы. А если опираться только на слова респондента, то проблема может от нас ускользнуть.
Не стоит нервничать и сильно бояться. Это помешает вам провести исследование, потому что респондент почувствует, что вы переживаете, и тоже начнет переживать. В итоге вы вместе на нервах, и ни к чему хорошему это не приведет.
Нужно обратить внимание респондента, что на исследовании вы тестируете интерфейс, а не оцениваете его самого. Это достаточно важная вещь, чтобы у респондента не осталось ощущения, что ему будут выставлять оценки за правильность выполнения заданий. Для этого стоит объяснить, что здесь нет правильного или неправильного ответа: любое действие, которое он совершит — правильное.
Подстраивайте задание под реального респондента. Например, вы тестируете фильтры. В легенде к заданию написано: «Давайте представим, что ваши любимые бренды — это Massimo Dutti и Dolce Gabbana. Вы хотите посмотреть их блузки». А потом вы с респондентом выяснили, что он любит Adidas и Calvin Klein. Здесь будет правильнее попросить его найти одежду от этих брендов, потому что это более естественная задача для конкретно этого человека: он будет выполнять ее так, как он бы это сделал в реальной жизни, потому что делал это много раз.
Не бойтесь ошибаться. Даже самые опытные исследователи допускают ошибки. Важно правильно на них реагировать и стараться исправлять.

Анализ результатов

Здесь мы поделимся теми советами, которые разработали для себя, исходя из нашего опыта. Но помните, что все случаи уникальны, поэтому тут нет серебряной пули.

Важная вещь, о которой часто забывают: неподтвержденная гипотеза тоже результат. Всегда хочется, чтобы все гипотезы подтвердились, это кажется логичным. Но на самом деле неподтвержденная гипотеза иногда дает больше эффекта, чем подтвержденная.

Например, у нас есть гипотеза, что пользователи не понимают, как исключать вещи из списка. У нас есть фильтр, сто брендов, а респондент не понимает, как из них выбрать 98. Если эта гипотеза подтвердится, нам нужно будет переделывать всю систему фильтров, думать над новой функциональностью — это деньги и время компании. А если эта гипотеза не подтвердится, и мы увидим, что все пользователи понимают, как работать с этими фильтрами, то эти ресурсы пойдут на разработку нового продукта.

Также стоит отметить, что проблемы нужно ранжировать по степени критичности — от высокой к низкой. Проблемы с высокой критичностью дают больше эффекта на наш продукт. Но при этом частота проблемы не определяет ее критичность.

Например, у нас было исследование формы отзывов. Она состоит из трех экранов, где на финальном экране вверху висит информация о том, что за отзыв получаешь 10 баллов. У нас было 6 респондентов, никто из них не заметил эту надпись. Вроде бы это частотная проблема и кажется, что она критична, раз никто вообще не заметил эту строчку. Но если мы посмотрим на результаты всего исследования, то увидим, что респонденты все равно понимали, как оставить отзывы и в целом они были удовлетворены этим процессом. Несмотря на то что с этой проблемой столкнулись все, она никак не влияет на клиентский опыт, поэтому у нее низкая степень критичности.

По итогу исследования у нас есть таблица с записями, что делал респондент. Из нее нужно достать артефакты и проблемы. При этом важно отличить, где у человека возникли реальные сложности, а где он просто задумался о чем-то своем. Также мы смотрим, подтвердились ли гипотезы.

Потом все это мы собираем в презентацию. Наша задача — проанализировать результаты так, чтобы при просмотре заказчик понял: какая была цель, какие есть проблемы в этом продукте, чем они вызваны, что с ними можно сделать.

Немного о кейсах в Lamoda

Расскажем о том, как исследования помогли улучшить клиентский опыт Lamoda.

Кейс первый. У нас запустился проект «Легкие возвраты», который помогает покупателям достаточно просто оформить возврат на сайте или в приложении без заполнения множества бумажек в пунктах выдачи заказов. На этапе оформления возврата пользователь может выбрать адрес ПВЗ, в который он принесет неподошедший товар. Когда возврат уже создан, пользователь может зайти в категорию «Возвраты» в личном кабинете, и посмотреть информацию о ПВЗ — часы работы, адрес, контакты.

На тестировании мы выяснили, что пользователям непонятно, могут ли они принести товар в другой ПВЗ без совершения дополнительных действий, если уже выбрали один на этапе создания возврата. Изначально информация о ПВЗ на экране возврата выглядела так:

Респондентам казалось, что они могут выбрать другой пункт выдачи на карте, хотя задумывалось, что карта будет выполнять информационную функцию — показывать адреса других ПВЗ, в которые также можно принести товар без предварительного подтверждения. Пользователи заходили на карту и ожидали увидеть там опцию перевыбора ПВЗ в виде кнопки «Подтвердить».

Поскольку добавление кнопки перевыбора — длительный и технически сложный процесс, мы нашли альтернативное решение, которое также справляется с проблемой — изменить текст, ведущий на карту. Вместо «Вы можете принести товар в другой пункт выдачи заказов» мы написали «Вы можете принести товар в любой пункт выдачи заказов». Также добавили ссылку на карту с адресами ПВЗ и текстом «Посмотреть адрес».

Кейс второй. Есть немного обратный пример. Когда в поиске вы пишете «джинсы», внизу появляется выпадающий список с саджестами — «джинсы Calvin Klein», «джинсы длинные» и им подобные. Мы решили раскатать баблы — кружочки над обычными саджестами. Гипотеза была в том, что с помощью этих баблов можно очень быстро написать свой запрос.

В самом верху те самые баблы, а белые надписи — это обычные саджесты

Реализовали, запустили А/В-тест, и он показал, что главная метрика стала красной — то есть переходы по баблам. Мы провели исследование, и в ходе него выяснили, что пользователи просто не понимают, что такое баблы. К обычным саджестам все привыкли, и они воспринимаются как подсказка, а баблы — как то, что популярно на Lamoda. То есть вы пишете «джинсы», и бабл предлагает «джинсы короткие» — люди думали, что на Lamoda все сейчас ищут короткие джинсы.

Несколько советов напоследок

Одна из вещей, которая нам очень нравится в исследованиях — то, что у нас есть возможность быть адвокатом пользователя. Когда работаешь дизайнером или продактом, первостепенно ты заточен на то, чтобы рос бизнес. А у исследователя есть небольшое преимущество: он может встать на сторону клиента и говорить, что нужно сделать, чтобы клиенту было хорошо.

Исследователь должен защищать пользователя и рассказывать дизайнерам и продактам, как будет удобнее пользоваться продуктом, даже если это не влияет на метрики.

Тем, кто хочет войти в сферу изучения пользовательского опыта, советуем всегда помнить, что само исследование — не панацея. Оно никогда не ответит вам на вопрос, как надо сделать. Оно подскажет, что не так и в чем есть проблемы.

Не бойтесь проводить как можно больше исследований, но не погружаться в них с головой. В свое время основатель Amazon Джеф Безос сказал, что нужно принимать решение на основе 75% информации, которая у вас есть, а если вы будете принимать решение на основе 80%, то отстанете от рынка. Всегда оставляйте процент на интуицию и понимание рынка.

И пытайтесь оставаться беспристрастным. Хороший исследователь как хороший журналист: он просто собирает данные, не заставляя респондента уклоняться в сторону своей точки зрения и не подавая информацию под определенным углом.

Но главное — не бойтесь ошибаться. Учитесь вовремя замечать свои ошибки и исправлять их. А если сомневаетесь, вам на помощь всегда придут коллеги.

Что почитать и посмотреть

Дэн Ариели «Предсказуемая иррациональность».
Elizabeth Goodman, Mike Kuniavsky «Observing the User Experience: A Practitioner's Guide to User Research».
Anders Drachen, Pejman Mirza-Babaei, Lennart Nacke «Games User Research».
Jeffrey Rubin, Dana Chisnell, Jared Spool «Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests».

Как провести юзабилити-тестирование с респондентом и не провалить его