Привет, Хабр! Меня зовут Эля, я исследователь в ecom.tech. В этой статье расскажу, как мы измеряли юзабилити приложения для курьеров-партнёров, зачем мы это делали – и что из этого получилось.

Все давно привыкли к мысли, что приложения должны быть удобными в первую очередь для клиентов. Но как насчет курьеров-партнеров Самоката, которые каждый день доставляют продукты? Мы в команде решили разобраться и замерить, насколько удобно приложение для курьеров-партнёров. Ведь их комфорт и эффективность напрямую влияет на качество продукта в целом.

По ту сторону заказа: как устроен Самокат

Допустим, вы хотите заказать сырок в Самокате. Вы заходите в приложение, выбираете сырок, нажимаете «Оплатить». В этот момент создается заказ, его собирает сборщик-партнёр и передает курьеру-партнёру, который уже везет заказ вам.

Все курьеры-партнеры Самоката используют приложение Доставка Про. В нём они получают информацию о заказах: что именно необходимо доставить, по какому адресу, а также особые пожелания клиентов.

Вот как выглядит приложение курьера-партнёра:

Наша команда отвечает за пользовательский опыт курьеров-партнёров. Мы регулярно проводим юзабилити тестирования новых фичей, глубинные интервью, наблюдаем за работой курьеров-партнёров «в полях», поэтому хорошо понимаем с какими трудностями они сталкиваются.

Но как понять, насколько пользовательский путь курьера-партнера в приложении удовлетворяет его потребности? Как понять, что мы на правильном пути? Ответ на все эти вопросы можно найти, измерив юзабилити.

Что такое юзабилити и как его измерять

Юзабилити можно назвать хорошим, если курьер-партнёр легко ориентируется в приложении: быстро находит адрес доставки, получает точные инструкции по маршруту и без проблем отмечает заказ как выполненный.

Приложение для курьеров-партнёров должно быть простым и понятным. Нам важно понимать, насколько удобно им пользоваться — и делать это не на уровне субъективных ощущений, а на основе данных. Посчитать удобство нам поможет метрика юзабилити. Перед ней мы поставили следующие задачи:

Количественно оценивать юзабилити продукта;
Сравнивать эту оценку в разных периодах и в разных сегментах пользователей;
Выявить те части продукта, где юзабилити хуже;
Понимать, в правильном ли направлении мы двигаемся, когда изменяем пользовательские флоу.

Мы начали с рассмотрения универсальных подходов. Изучили существующие метрики юзабилити:

SUS (System Usability Scale)

Самая известная и проверенная метрика юзабилити, созданная почти 40 лет назад. Опросник состоит из 10 утверждений:

Респонденту предлагается оценить, насколько он согласен/ не согласен с каждым из утверждений по пятибалльной шкале. Где 1 — совершенно не согласен, а 5 — совершенно согласен. Особенность метрики в том, что позитивные и негативные формулировки чередуются. Это позволяет выявлять несогласованные или случайные ответы и улучшает качество собранных данных.

SUPR-Q (Standardised Usability Percentile Rank Questionnaire)

Известная метрика юзабилити, разработанная уже в 2015 году. Состоит из утверждений, которые распределены на четыре категории. Восьмое утверждение — стандартный NPS со шкалой от 0 до 10:

Согласие с утверждениями респондент оценивает по пятибалльной шкале. Эта метрика хороша тем, что оценивает разные аспекты продукта: от внешнего вида до юзабилити.

UMUX (Usability Metric for User Experience)

Придуманная в 2010 году, как замена метрике SUS. Новее, короче, а еще учитывает определение юзабилити из ISO 9241 — эффективность, производительность и удовлетворенность. Принцип похож на SUS, метрика тоже состоит из позитивных и негативных утверждений, но здесь их всего четыре:

UMUX-lite

Как UMUX, но состоит из всего двух утверждений:

Оценивается аналогично с UMUX. Кроме того авторы этой метрики доказали, что она сильно коррелирует с SUS.

Ограничения стандартных метрик

Но несмотря на популярность и удобство, универсальные метрики юзабилити имеют свои ограничения:

Проблемы усреднения
Метрики общие, а это значит, они не помогут оценить все важные пользовательские сценарии. А мы хотели получить как общую оценку приложения, так и отдельные оценки по важным пользовательским сценариям.
Неоднородность интерпретации
Для замера метрик используются конкретные формулировки, которые респонденты могут воспринимать по-разному. Например, словосочетание “внешний вид приложения”. Без конкретики разные респонденты могут воспринять это по-разному. Для кого-то это цвет кнопок, а для кого-то размер шрифта. Разное восприятие может исказить результаты замера.
Недостаточное количество данных
Использование стандартных метрик не дает возможность узнать причины оценок респондента.

Поэтому мы решили, что хотим разработать свою собственную шкалу оценки юзабилити приложения, используя и адаптируя механики универсальных шкал.

Наша метрика: замеры и примеры

Наша метрика должна оценивать:

Общее юзабилити продукта;
Юзабилити по каждому из важных пользовательских сценариев.

Их мы выявили на основе CJM курьера-партнёра и его основных шагов в приложении:

Чтобы получить общую оценку юзабилити продукта, мы выбрали универсальную метрику UMUX-lite. В нашем случае мы просим оценить согласие по шкале от 1 до 5 со следующими утверждениями:

Возможности приложения Доставка Про отвечают моим требованиям.
Приложением Доставка Про легко пользоваться.

Чтобы проверить, насколько удобно и понятно выполнять каждый шаг, мы взяли метрику CES (Customer Effort Score). Она измеряет, насколько сложно было пользователю выполнить какое-то действие в приложении, респондент отвечает на этот вопрос по семибалльной шкале. Мы адаптировали CES под свои задачи, поменяв формулировку вопроса.

Например, так мы оцениваем шаг «закрывает заказ»:
Просим респондента оценить, насколько он согласен с утверждением «Мне удобно закрывать заказ в приложении Доставка Про» по шкале от 1 до 5, где 1 — Совершенно не согласен, а 5 — Полностью согласен.

При этом, если респондент ставит оценку отличную от пяти, мы просим в открытом ответе объяснить, почему.

Как мы тестирование… тестировали

К своему изучению юзабилити мы подошли по-исследовательски. И перед полноценным запуском анкеты мы провели серию тестирований с респондентами из нашей целевой аудитории. Мы тестировали восприятие формулировок вопросов и шкал. В результате мы:

Изменили несколько формулировок

Например, мы спрашивали у респондентов насколько удобно доставлять посылки Мегамаркета. Такой вопрос был часто непонятен, потому что на тот момент не во всех дарксторах была такая опция. Тогда мы добавили вопрос «Был ли у тебя опыт доставки посылок маркетплейса?». Если опыт был – спрашивали про удобство самой доставки.
Адаптировали шкалы оценок CES и UMUX-lite

В оригинальной версии метрик респондента просят поставить оценку по 7-ми балльной шкале, но мы выбрали 5-ти балльную шкалу, так как она проще для восприятия и оценки нашими пользователями.
Добавили к некоторым вопросам визуальные подсказки

Мы снабдили наш опросник изображениями экранов приложения. Тесты показали, что так респонденту понятнее, о чем речь.

У нас получилась собственная шкала юзабилити приложения: UMUX-lite по всему приложению, и адаптированный CES по каждому из важных шагов пользовательского пути. Кроме вопросов о приложении у нас есть вопросы для сегментирования респондентов. Мы проводим опрос полностью анонимно, поэтому сегментация нужна.

В нашей метрике около 30 вопросов – точное количество назвать сложно, потому что метрику мы используем гибко. Например, можем добавлять в опрос дополнительные вопросы, если разработали какую-то новую фичу и хотим измерить удобство ее использования.

Опрос мы рассылаем курьерам-партнерам в их приложение через пуш, где приглашаем пройти опрос. Конверсия таких опросов 5–7%. И этого достаточно для репрезентативных результатов.

Как сработала собственная метрика в реальности?

Метрика, которую мы разработали, успешно справилась со своими задачами. Теперь у нас есть количественные показатели юзабилити, на который мы можем опираться при принятии продуктовых решений.

Также теперь мы можем отслеживать динамику: показатели в прошлом, показали в разных сегментах. Например, в первом квартале этого года (апрель 2025) общий UMUX-lite составил 77,9%, тогда как в первом квартале прошлого года (апрель 2024) он составлял 66,1%. Это значит, что обновления в приложении за год улучшили юзабилити.

Наша метрика помогла не только отследить общий уровень юзабилити, но и выявить слабые места в продукте. Например, мы увидели, что онбординг в приложении оценивают чуть хуже, чем остальные части приложения. И теперь делаем его более понятным для новичков. Сравнение показателей во времени помогает понять, действительно ли мы движемся в правильном направлении. Так, оценка онбординга в течение 2024 года статистически значимо выросла — значит, наши улучшения работают, и новички действительно стали чувствовать себя увереннее.

Помимо решения задач, которые мы изначально закладывали в нашу метрику юзабилити, она приносит много полезной информации:

Много качественной обратной связи

Если в метрике респондент ставит оценку ниже максимальной, мы просим объяснить, почему. Поэтому нас есть большой массив открытых ответов, которые помогают понять причины и контекст негативных оценок.

Информация о проблемах/ неудобствах, о которых не пишут в техподдержку
Так из открытых ответов мы узнали, что курьерам‑партнёрам не хватает пометки «оставить у двери» на всех этапах доставки заказа и добавили ее. Без обратной связи из метрики этот нюанс мог бы долго оставаться незамеченным.
Положительная обратная связь
В конце метрики у нас есть вопрос «Хочешь ли ты рассказать о приложении Доставка Про что‑то еще? Можешь поделиться этим здесь». Это такой классический вопрос для завершения опроса в духе «Есть ли еще что‑то что вам хотелось сказать, а мы спросили забыть?»

Там нам оставляют положительную обратную связь. Это мотивирует работать и партнёров, которые доставляю заказы, и меня, как исследователя, потому что я вижу, что не зря провожу эти опросы, и пользователи понимают, что мы их слышим.

Итак, у нас получилась полная метрика, которая помогает продукту понимать, что с ним происходит, где и какие есть точки роста и держать пульс обратной связи с пользователями. В будущем мы хотим сделать дашборд, чтобы можно было удобно хранить результаты опросов, видеть изменения метрики в графиках. В более далекой перспективе хотим мэтчить результаты опроса с бизнес-метриками, изучать, как они зависят друг от друга.

Я и вся команда продукта очень благодарны респондентам за активную обратную связь, которой они подробно поделились. Очень ценим их неравнодушие и подход к этой работе!

Если в вашем продукте вы задаетесь такими же вопросами как и мы, то я надеюсь, что моя статья вам поможет. Не стесняйтесь адаптировать уже существующие метрики под потребности своего продукта. Помните, что работа над метрикой юзабилити будет итеративной и это нормально: сделайте несколько замеров, меняйте структуру анкеты, чтобы информация была максимально полной.

Не недооценивайте отдельное тестирование формулировок с респондентами:
лучше все проверить, чем разослать респондентам непонятные для них вопросы и получить непонятные для продукта результаты. Удачи вам в измерении юзабилити!

Как мы измерили удобство для курьеров-партнёров: создаём свою метрику юзабилити