Привет, Хабр! Я Виктория Левена, руководитель отдела аналитики в AGIMA. По моему опыту редизайн часто начинается с ощущения, что что-то не так. Кажется, наш сайт выглядит устаревшим. Кажется, технологии и пользовательские привычки меняются — и нам тоже надо. Кажется, никому в команде не нравится сайт, но никто не может объяснить, почему. С такими ощущениями сложно работать: непонятно, что менять, и главное, как потом доказать, что стало лучше, а не просто по-другому.
На проекте по редизайну сайта «Халвы» мы как раз оказались в этой точке. И в этой статье я хочу поговорить не столько про дизайн, сколько про измерение его результата. Как понять, ч��о пользовательский опыт действительно стал лучше? Какие метрики помогают это увидеть, а какие создают ложное чувство уверенности? И почему цифры иногда обманывают — даже когда выглядят убедительно?
Зачем вообще измерять пользовательский опыт — и почему без этого легко ошибиться
User Experience (UX) — это совокупность впечатлений, которые получает пользователь при взаимодействии с продуктом: от первого касания до ощущения «они такие классные, я расскажу о них всем своим знакомым».
Проблема в том, что UX нельзя «пощупать» напрямую. Он не всегда отражается в конверсии, не всегда заметен в показателях трафика и почти никогда не проявляется сразу после запуска изменений.
Измерение UX — это способ честно ответить на вопрос: что и как изменилось для пользователя после наших решений?
Почему редизайн часто оценивают неправильно: три главных ловушки
Если сильно упростить, многие команды, пытаясь оценить эффект от редизайна (будущего или случившегося), попадают в одну из трех ловушек.
1. «Красиво = хорошо»
Визуальная привлекательность важна, но она не равна удобству. Интерфейс может выглядеть стильно, современно, вызывать вау-эффект и выигрывать конкурсы креатива — и при этом мешать пользователю выполнять базовые задачи.
Исследования показывают, что эстетика может временно повышать общее впечатление, но не компенсирует проблемы с навигацией, понятностью и доверием (Nielsen Norman Group, 2023).
2. «Мы знаем наших пользователей, поэт��му мнения коллег достаточно»
Экспертиза команды всегда ограничена собственным опытом. Пользователь может не понимать термин, который внутри команды считается очевидным. Или бояться сделать шаг, который для продукта выглядит логичным. Такие вещи почти невозможно угадать без данных.
3. «Посмотрим на бизнес-метрики — и поймем, что улучшить»
Конверсия, выручка и продажи показывают результат, но не объясняют причин — «после того» не всегда означает то же, что и «вследствие того». Изменение бизнес-показателей может быть связано не с редизайном, а с сезонностью спроса, уходом с рынка ключевого игрока или любым другим изменением конъюнктуры. UX-метрики не заменяют бизнес-показатели — они их дополняют, помогая понять, почему люди на сайте ведут себя так, а не иначе.
Какие способы измерения UX бывают — и почему мы выбрали опрос
Здесь важно зафиксировать одну мысль: пользовательский опыт — сложное явление, которое невозможно описать с помощью одной, самой лучшей метрики или проанализировать с помощью одного, самого лучшего исследования. Продуктовый подход использует разные варианты — в зависимости от задачи, которую нужно решить, и имеющихся ресурсов.
Если сильно упростить, UX-исследования можно разделить на две большие группы.
1. Количественные исследования: сколько, как часто, насколько, в какой степени?
Эти методы отвечают на вопрос «что происходит», но зачастую не могут объяснить «почему».
Сюда относятся:
анализ посещаемости, путей пользователей и их взаимодействия с интерфейсом;
анализ конверсий и воронок продаж для разных сегментов;
записи сессий и тепловые карты (Hotjar, Clarity и аналоги);
A/B-тесты;
опросы, о которых поговорим отдельно.
Например, мы можем увидеть, что пользователи массово бросают процесс покупки на одном и том же шаге. Это важный сигнал. Но он не говорит, что именно пошло не так: непонятный текст, лишнее поле, страх ошибиться или недоверие к продукту.
2. Качественные исследования: как и почему?
Здесь фокус уже не на цифрах, а на понимании контекста.
Обычно это:
фокус-группы;
глубинные и проблемные интервью;
модерируемые и немодерируемые юзабилити-тестирования;
карточная сортировка;
дневниковые исследования.
Эти методы хорошо объясняют мотивацию и сомнения пользователей. Например, в интервью человек может прямо сказать: «Я не понимаю, что мне делать с сообщением об ошибке» или «В реальной ситуации на этом этапе я бы просто ушел с сайта».
Минус тоже очевиден: такие исследования длительны и трудозатратны, их нельзя быстро повторять после каждого изменения.
Однако есть тип исследований, который сочетает плюсы количественных и качественных методов, требует немного ресурсов, и обладает прекрасной адаптивностью к самым разным задачам. И это опросы.
Подробнее об опросах
В зависимости от целей опросы могут сочетать открытые и закрытые вопросы, что дает возможность получать и количественные, и качественные данные. Их можно встраивать в интерфейс, показывать попапом в критических точках взаимодействия и рассылать по базе контактов в рассылках.
Среди всего разнообразия опросов можно выделить ряд стандартизированных методов количественной оценки удобства использования интерфейса. Они являются «золотым стандартом» в оценке юзабилити благодаря сочетанию простоты, универсальности, стандартизированности и надежности.
Есть три вида таких опросов:
SUS (System Usability Scale) — оценивает удобство использования (юзабилити) систем и интерфейсов. Обычно это опросник из 10 утверждений, которые пользователи оценивают по пятибалльной шкале. Вопросы охватывают разные аспекты, включая эффективность, сложность, удобство изучения и удовлетворенность. Результаты преобразуются в общий балл, который указывает на уровень юзабилити продукта.
CES (Customer Effort Score) — оценивает уровень усилий пользователя при выполнении того ��ли иного действия. Например, для покупки, подписки или регистрации. Ответ оценивается по шкале от 1 до 7, где 1 означает «Очень сложно», а 7 — «Очень легко».
SUPR-Q (Standardised Usability Percentile Rank Questionnaire) — стандартизированный опросник для комплексной оценки качества взаимодействия пользователей с сайтами и приложениями. Похож на SUS, но шире.
Задача опросов — не разобраться в деталях сценария, а зафиксировать общее состояние пользовательского опыта. Это особенно важно в проектах по редизайну. Когда изменений много, хочется понять, как изменился продукт в глазах пользователей в целом.
Выбирая метод исследования для проекта «Халва», мы ориентировались на три ключевых условия:
Быстро собрать достаточную выборку.
Сравнить две итерации — до редизайна и после.
Оценить ключевые аспекты UX.
Опрос SUPR‑Q отвечал всем трем условиям: он масштабируемый, относительно быстрый и позволяет собрать количественные данные. К тому же он помог бы нам посмотреть на UX в совокупности, ведь он оценивает сразу четыре параметра:
Юзабилити (Usability) — насколько легко пользователю выполнять задачи.
Доверие (Trust) — чувствует ли пользователь уверенность и безопасность.
Внешний вид (Appearance) — как пользователь воспринимает визуальный стиль.
Лояльность (Loyalty) — готов ли пользователь рекомендовать продукт другим.
Как строилась работа
Для исследования мы составили опросник из 8 утверждений. Пользователи оценивали каждое по пятибалльной шкале: от 1 (совершенно не согласен) до 5 (полностью согласен).
Мы разместили опрос на сайте и настроили правила: когда, кому и как часто он показывается. Это важно, потому что UX‑опрос дает ценные данные, только если он правильно настроен. Небольшая ошибка в формулировках, таргетинге или анализе может полностью исказить результаты.
Когда показывать опрос. Если вы спросите пользователя об удобстве оформления заявки через секунду после того, как он пришел на сайт — вы получите, в лучшем случае, бессмысленный ответ, а в худшем — определенное недоумение пользователя. Поэтому мы тщательно анализировали среднюю длину сессии прежде чем определить, через какой промежуток времени есть смысл задавать вопросы.
Кому показывать. Нам было важно, чтобы в опросе поучаствовали представители всех сегментов целевой аудитории, поэтому мы настроили условия показа максимально широко. Однако бывают ситуации, когда опрос нужно показывать не всем подряд, а только новым пользователям или только тем, кто совершил покупку. Мы настраивали показ так, чтобы респонденты соответствовали целевым пользовательским сценариям.
Как часто показывать. Попап, который появляется несколько раз за сеанс, раздражает, отвлекает и влияет на восприятие опроса как спама. Чаще одного раза за сессию — не лучшая идея.
Основные ошибки при запуске UX-опросов (и как их избежать)
Этот блок плавно вытекает из предыдущего. Приведу четыре самые частые ошибки при запуске опросов, с примерами.
1. Неправильный контекст показа (таргетинг)
Например, если спрашивать про удобство отслеживания заказа у пользователя, который ни разу ничего не заказывал, он просто поставит оценку наугад или вообще пропустит вопрос. Результаты окажутся либо бессмысленными, либо искаженными.
Как мы сделали на «Халве»:
Опрос показывался только тем, кто прошел ключевой сценарий (уже оформил заявку или просмотрел описание продукта).
Ограничение на частоту: один раз за сессию, с возможностью вернуться к нему позже (если пользователь нажал «Закрыть» случайно или на автомате).
2. Неправильная формулировка вопросов
Наводящие или слишком общие вопросы могут запутать пользователя и исказить ваши данные. Вопрос «Вам понравился сайт?» почти всегда даст позитивный ответ, потому что люди чаще дают социально одобряемые ответы. Стандартизированные опросники хороши тем, что базовый перечень вопросов одинаковый. Однако и в них допускается адаптация формулировок, с которой нужно быть особенно аккуратными.
Пример «неправильного» вопроса:
«Нравится ли вам оформление страницы продукта?». Проблема: пользователь может нажать «Да», чтобы поскорее пропустить вопрос и дальше продолжить сессию на сайте.
Пример «хорошего» вопроса (как в SUPR‑Q):
«Оцените по шкале, насколько просто вам пользоваться сайтом».
«Оцените, вызывает ли доверие информация на сайте».
Такие формулировки дают честную оценку и отражают конкретные аспекты UX.
3. Отсутствие сегментации, или «Ошибка средней температуры по больнице»
Средние показатели по вообще всем пользователям скрывают важные различия между сегментами. Например, пользователи десктоп-версии могут оценивать навигацию как отличную, а мобильной — как неудобную.
Пример:
90 пользователей пользуются мобильной версией: оценка удобства 4.8.
10 пользователей на десктопе: оценка 2.0.
Средний балл: 4.42. Вывод «В целом всё ок» будет ошибочным, ведь данные говорят, что на десктопе точно есть заметные проблемы.
Как мы сделали на «Халве»:
Проанализировали распределение по устройствам.
Распределили сегменты по возрасту, сценарию использования и лояльности.
4. Слишком много вопросов
Бывает так, что опросы пытаются замерить всё сразу и состоят из 15–20 вопросов. Но дело в том, что длинные опросы утомляют пользователей, они бросают их на полпути или просто кликают любые варианты, чтобы закрыть форму.
Оптимальное решение:
8–10 вопросов — достаточно, чтобы оценить нужные параметры.
Четкие и нейтральные формулировки.
Только релевантные пользователю темы.
Что показали результаты до редизайна
До редизайна пользователи оценили сайт на «четыре с минусом»: средний балл составил 3,82. Для сравнения:
худшие 10% сайтов в мире — 3,56 и ниже,
лучшие 10% — 4,3 балла и выше.
Таким образом, сайт оказался чуть ниже среднего уровня.
Важный момент: референсные значения не учитывают ни отрасль, к которой относится веб-сайт, ни социокультурные особенности той или иной страны, которые могут влиять на проставление оценки. Поэтому напрямую сравнивать результат нашего сайта и референсных значений мы не могли. Сравнивать мы будем показатели нашего сайта до редизайна и после.
Референсы же понадобились нам просто для ответа на вопрос «А как вообще бывает?». Мы можем сравнить наши показатели с референсными и понять, в рамках нормы мы или нет, ближе к минимальным значениям или к максимальным.
Дополнительно мы выяснили, что:
пользователи высоко оценили навигацию,
а удобство покупок набрало минимум баллов.
Все выводы и рекомендации мы передали заказчику и сделали редизайн. Затем повторили замеры по той же методике и оценили, насколько вырос каждый показатель.
Что изменилось после редизайна
После внедрения нового дизайна мы повторили SUPR‑Q. Вот ключевые показатели:
Показатель | До редизайна | После редизайна | Рост |
По сайту легко перемещаться | 4,4 | 5,0 | +0,6 |
Сайтом легко пользоваться | 3,87 | 5,0 | +1,13 |
Доверие к информации | 3,47 | 4,8 | +1,33 |
Комфорт при покупках | 3,0 | 4,8 | +1,8 |
Готовность рекомендовать | 4,0 | 4,93 | +0,93 |
Готовность пользоваться дальше | 4,07 | 4,93 | +0,86 |
Визуальная привлекательность | 3,73 | 4,87 | +1,14 |
Понятность структуры | 4,0 | 4,93 | +0,93 |
Итоговый балл SUPR‑Q | 3,82 | 4,91 | + 1,09 (рост 28%) |
Что это значит
Пользовательский опыт стал заметно лучше
SUPR‑Q вырос почти до уровня лучших 10% сайтов. Пользователи отмечают удобство, доверие и визуальную привлекательность.Рост доверия и комфорта
Наибольший прирост — «Доверие к информации» (+1.33) и «Комфорт при покупках» (+1.8). Новый интерфейс не только красив, но и повышает уверенность пользователя.Визуальные решения сработали
Современная типографика, визуальные решения и микроанимации уси��или восприятие бренда: оценка привлекательности выросла с 3.73 до 4.87.Навигация и логика сценариев
После редизайна почти все участники опроса дали максимальные оценки по «удобству» и «перемещению». Новая структура сайта действительно помогает пользователю быстрее находить нужное.
У нас есть отдельный канал, посвященный дизайну. Если хотите видеть каждый день новые идеи и примеры дизайна со всего мира — подписывайтесь.
