Исследование UX-интерфейсов популярный тренд последних нескольких лет. В нашей компании для этих целей мы создали юзабилити-лабораторию. В ней мы исследуем удобство использования не только создаваемых в компании продуктов, но и проводим аудит внешних проектов по просьбе клиентов.
В этом посте мы хотим рассказать о том, как мы проводим аудит и юзабилити-тестирование на примере исследования CRM-системы по продаже спецтехники. Как готовились, какие работы провели и какую пользу получили.
В начале работ по проведению UX-исследования мы с заказчиком обсудили его аудиторию, выяснили ожидания по проекту и вместе разобрались в продукте, обозначив основные разделы системы, которые следует сделать акцент в ходе проведения работ.
И вот какие результаты мы получили.
CRM-система создана для компаний по продаже и ремонту спецтехники и запчастей для сельского хозяйства.
Цель системы дать пользователям инструменты, которые позволят автоматизировать их ежедневные рабочие процессы. Одно из главных требований к системе – легкость в использовании. Интуитивно понятный интерфейс, подсказки для пользователя, быстрое обучение владению программой, знакомый по вебу интерфейс.
Аудитория системы очень обширная от менеджера отдела продаж до собственника компании и от специалиста по продукту до HR-менеджера и логиста.
При анализе аудитории мы сосредоточились на двух основных группах пользователей, которые требуют особого внимания:
Обсудив основные пожелания заказчика, были сформулированы следующие требованиями к проекту:
Чтобы выполнить задачу в сжатый срок мы совместно с клиентом составили список разделов, которые требуют от нас особого внимания.
Аудит проводился методом экспертной оценки. На основе списка разделов и аудитории приложения, мы составили основные сценарии использования и провели анализ системы.
Результатом этого этапа стал отчет по UX-аудиту состоящий их двух блоков:
В процессе аудита были выдвинуты несколько гипотез пользовательского поведения, на основе которых были составлены сценарии тестирования.
Сценариями тестирования стали типовые задачи менеджера и руководителя отдела, с которым они сталкиваются каждый день и тратят большую часть рабочего времени.
Для проверки наших рекомендаций мы разработали интерактивный прототип, с помощью которого респонденты могли выполнить те же самые сценарии тестирования.
Каждый респондент выполнял задачи только на одном тестовом стенде: либо в прототипе, либо в системе, чтобы опыт обучения не влиял на результат.
Методом подтверждения гипотез было выбрано юзабилити-тестирование с элементами интервью (вводный инструктаж, заполнение анкеты, проведение тестирования, выходное интервью).
Для участия в исследовании были выбраны двадцать респондентов. Они представляли две группы аудитории — имеющие опыт работы в CRM-системах и без опыта работы с подобными системами.
В фокус группу “опытных пользователей” мы пригласили менеджеров и руководителей из компаний по продаже спецтехники.
Перед началом проведения тестирования на целевой аудитории, мы провели пробное тестирование на сотрудниках компании. Нам было важно проверить присутствуют ли факторы, влияющие на качество проведения тестирования:
По результатам пробного тестирования мы доработали прототип и изменили порядок выполнения задач тестирования.
Тестирование проходит в нашей лаборатории, процесс исследования аудио- и видео-фиксируется. Респонденты приезжали к нам в офис в рабочее время и некоторые, конечно же опаздывали. Спасал запас по времени между сессиями.
Во время тестирования модератор оставался в лаборатории: зачитывал задания с листа, чтоб не было разночтения в выполнении задания, наблюдал за их выполнением.
Пользователи при желании могли комментировать свои действия. Если у модератора возникали вопросы по поведению пользователя, он задавал их после окончания конкретного задания. Самое сложное для модератора, не подсказывать пользователям при выполнении задач, не отвечать на их вопросы. Все это может повлиять на метрики эффективность.
Для обработки результатов использовали следующие метрики:
Давайте рассмотрим подробнее один сценарий и получившиеся результаты.
Мы проверяли гипотезу о том, понимает ли пользователь как добавить адрес компании.
Результаты тестирования исходного варианта показали, что 73% пользователей испытывали сложности при выполнении этого задания.
Распространенные ошибки пользователей в системе
1) Пользователи не замечают кнопку “Найти” на карте. Они ищут кнопку “Добавить” или поле ввода адреса.
Наше решение для прототипа
Поле для ввода адреса разместили над картой.
2) После ввода адреса, пользователи видят отметку на карте, но не понимают, что нужно нажать на неё, чтоб для вызова окна добавления адреса.
Наше решение для прототипа системы
После добавления адреса и отображения его на карте всплывает окно с добавлением адреса.
Результаты
Результаты тестирования показали, что в исходном варианте CRM-системы лишь 17% процентов пользователей выполнили данное задание без ошибок. А в прототипе успешно выполнили задание уже 83% респондентов.
Время выполнения задания в прототипе сократилось с 70 до 26 секунд. Это наглядно демонстрирует имеющуюся проблему в системе и её эффективное решение.
Результаты тестирования показали, что опыт использования CRM по разному влияет на выполнение задач. Опытные пользователи имеют сложившееся представление о принципах работы в аналогичных системах, что влияет на результаты выполнение задач. Задачи, где интерфейс, кардинально отличался от аналогов, неопытные пользователя выполняли быстрее, так как данный интерфейс для них интуитивно понятен. А опытные пользователи искали привычные для них решения, но разобравшись выполняли задание и давали хорошую оценку данной реализации. А при выполнении задач с привычным интерфейсом опытные пользователи показали высокие результаты.
При сравнении результатов по работе в системе и прототипе мы получили подтверждения наших гипотез и выявили еще несколько проблем, связанных с опытными пользователя и привычными для них шаблонами.
В конце этапа был составлен подробный отчет по проведенному юзабилити-тестированию. Вновь выявленные проблемы были проанализированы, а соответствующие изменения внесены в отчет об UX-аудите.
Результатом нашей работы стала усовершенствованная CRM-система, которая скоро будет представлена на специализированной выставке. Юзабилити-тестирование позволило нам оценить эффективность и продуктивность существующей системы, выявить сложности с которыми сталкиваются пользователи и предложить эффективное решение. Мы смогли проверить предложенные нами решения, еще до интеграции их в проект, что позволило клиенту сократить затраты на разработку. Чем раньше найдена проблема в интерфейсе, тем меньше потребуется затрат на ее устранение.
В этом посте мы хотим рассказать о том, как мы проводим аудит и юзабилити-тестирование на примере исследования CRM-системы по продаже спецтехники. Как готовились, какие работы провели и какую пользу получили.
Подготовительный этап — общение с заказчиком
В начале работ по проведению UX-исследования мы с заказчиком обсудили его аудиторию, выяснили ожидания по проекту и вместе разобрались в продукте, обозначив основные разделы системы, которые следует сделать акцент в ходе проведения работ.
И вот какие результаты мы получили.
Узнали видение клиента о своем продукте
CRM-система создана для компаний по продаже и ремонту спецтехники и запчастей для сельского хозяйства.
Цель системы дать пользователям инструменты, которые позволят автоматизировать их ежедневные рабочие процессы. Одно из главных требований к системе – легкость в использовании. Интуитивно понятный интерфейс, подсказки для пользователя, быстрое обучение владению программой, знакомый по вебу интерфейс.
Узнали об аудитории продукта
Аудитория системы очень обширная от менеджера отдела продаж до собственника компании и от специалиста по продукту до HR-менеджера и логиста.
При анализе аудитории мы сосредоточились на двух основных группах пользователей, которые требуют особого внимания:
- Менеджер по продажам. Это мужчина в возрасте 20–30 лет. В основном из сельской местности, там его и нашли. Простой, как правило без университетов. Уровень в профессии чаще не высокий: не знает продукт, плохо владеет технологиями продаж. Работу с CRM считает дополнительной, ненужной и обременительной нагрузкой.
- Руководитель отдела продаж. Мужчина в возрасте 25–40 лет. Вышел из продавцов. Часто бывает так, что директор филиала несет на себе функцию руководителя отдела продаж. Как правило, сам успешный продавец. Держит на территории самых интересных клиентов, оставляя рядовым продавцам подбирать остальных.
Определились с целями проведения UX-исследования
Обсудив основные пожелания заказчика, были сформулированы следующие требованиями к проекту:
- Создание рекомендаций по применению элементов интерфейса в типовых страницах системы: список с панелью фильтров, карточка, дашборд, представление календаря.
- Поиск и анализ мест, которые могут продуцировать человеческие ошибки.
- Ускорение взаимодействия пользователя с интерфейсом.
- Улучшение обучения пользователя при работе с системой.
Чтобы выполнить задачу в сжатый срок мы совместно с клиентом составили список разделов, которые требуют от нас особого внимания.
Аудит
Аудит проводился методом экспертной оценки. На основе списка разделов и аудитории приложения, мы составили основные сценарии использования и провели анализ системы.
Результатом этого этапа стал отчет по UX-аудиту состоящий их двух блоков:
- Экспертные рекомендации, которые помогут доработать систему, чтобы устранить проблемы и улучшить интерфейс.
- Руководство для разработчика, которое поможет сохранять единое решение для типовых страниц проекта.
Юзабилити-тестирование
Подготовка
В процессе аудита были выдвинуты несколько гипотез пользовательского поведения, на основе которых были составлены сценарии тестирования.
Сценариями тестирования стали типовые задачи менеджера и руководителя отдела, с которым они сталкиваются каждый день и тратят большую часть рабочего времени.
- Добавить новую встречу
- Добавить адрес во встречу
- Добавить, редактировать, удалить контакт в компании
- Добавить новый адрес
- Найти сделку
- Выполнить первый этап сделки
- Добавить товар в сделку
- Проиграть сделку
Для проверки наших рекомендаций мы разработали интерактивный прототип, с помощью которого респонденты могли выполнить те же самые сценарии тестирования.
Каждый респондент выполнял задачи только на одном тестовом стенде: либо в прототипе, либо в системе, чтобы опыт обучения не влиял на результат.
Методом подтверждения гипотез было выбрано юзабилити-тестирование с элементами интервью (вводный инструктаж, заполнение анкеты, проведение тестирования, выходное интервью).
Для участия в исследовании были выбраны двадцать респондентов. Они представляли две группы аудитории — имеющие опыт работы в CRM-системах и без опыта работы с подобными системами.
В фокус группу “опытных пользователей” мы пригласили менеджеров и руководителей из компаний по продаже спецтехники.
Перед началом проведения тестирования на целевой аудитории, мы провели пробное тестирование на сотрудниках компании. Нам было важно проверить присутствуют ли факторы, влияющие на качество проведения тестирования:
- Все ли сценарии выполняются в прототипе и системе. Здесь мы уделили особое внимание прототипу, так как в нем функционал ограничен и любое ошибочное действие могло привести к неправильному выполнению задачи и повлиять на конечный результат.
- Нет ли зависимости в заданиях. Влияет ли обучаемость предыдущих заданий, на выполнение текущего.
По результатам пробного тестирования мы доработали прототип и изменили порядок выполнения задач тестирования.
Тестирование
Тестирование проходит в нашей лаборатории, процесс исследования аудио- и видео-фиксируется. Респонденты приезжали к нам в офис в рабочее время и некоторые, конечно же опаздывали. Спасал запас по времени между сессиями.
Во время тестирования модератор оставался в лаборатории: зачитывал задания с листа, чтоб не было разночтения в выполнении задания, наблюдал за их выполнением.
Пользователи при желании могли комментировать свои действия. Если у модератора возникали вопросы по поведению пользователя, он задавал их после окончания конкретного задания. Самое сложное для модератора, не подсказывать пользователям при выполнении задач, не отвечать на их вопросы. Все это может повлиять на метрики эффективность.
Для обработки результатов использовали следующие метрики:
- Успешность выполнения заданий.
- Время выполнения заданий.
- Частотность проблем.
- Субъективная удовлетворенность.
Давайте рассмотрим подробнее один сценарий и получившиеся результаты.
Сценарий “Добавление адреса компании”
Мы проверяли гипотезу о том, понимает ли пользователь как добавить адрес компании.
Результаты тестирования исходного варианта показали, что 73% пользователей испытывали сложности при выполнении этого задания.
Распространенные ошибки пользователей в системе
1) Пользователи не замечают кнопку “Найти” на карте. Они ищут кнопку “Добавить” или поле ввода адреса.
Наше решение для прототипа
Поле для ввода адреса разместили над картой.
2) После ввода адреса, пользователи видят отметку на карте, но не понимают, что нужно нажать на неё, чтоб для вызова окна добавления адреса.
Наше решение для прототипа системы
После добавления адреса и отображения его на карте всплывает окно с добавлением адреса.
Результаты
Результаты тестирования показали, что в исходном варианте CRM-системы лишь 17% процентов пользователей выполнили данное задание без ошибок. А в прототипе успешно выполнили задание уже 83% респондентов.
Время выполнения задания в прототипе сократилось с 70 до 26 секунд. Это наглядно демонстрирует имеющуюся проблему в системе и её эффективное решение.
Результаты тестирования интерфейса
Результаты тестирования показали, что опыт использования CRM по разному влияет на выполнение задач. Опытные пользователи имеют сложившееся представление о принципах работы в аналогичных системах, что влияет на результаты выполнение задач. Задачи, где интерфейс, кардинально отличался от аналогов, неопытные пользователя выполняли быстрее, так как данный интерфейс для них интуитивно понятен. А опытные пользователи искали привычные для них решения, но разобравшись выполняли задание и давали хорошую оценку данной реализации. А при выполнении задач с привычным интерфейсом опытные пользователи показали высокие результаты.
При сравнении результатов по работе в системе и прототипе мы получили подтверждения наших гипотез и выявили еще несколько проблем, связанных с опытными пользователя и привычными для них шаблонами.
В конце этапа был составлен подробный отчет по проведенному юзабилити-тестированию. Вновь выявленные проблемы были проанализированы, а соответствующие изменения внесены в отчет об UX-аудите.
Итоги
Результатом нашей работы стала усовершенствованная CRM-система, которая скоро будет представлена на специализированной выставке. Юзабилити-тестирование позволило нам оценить эффективность и продуктивность существующей системы, выявить сложности с которыми сталкиваются пользователи и предложить эффективное решение. Мы смогли проверить предложенные нами решения, еще до интеграции их в проект, что позволило клиенту сократить затраты на разработку. Чем раньше найдена проблема в интерфейсе, тем меньше потребуется затрат на ее устранение.
