Привет, Хабр!
Нас зовут Анастасия Пушкарева и Полина Адрианова и мы — старшие аналитики-исследователи в компании VK.
В последние несколько лет кроме основных исследовательских задач мы активно обучаем не-исследователей, участвуем в разработке образовательных программ VK Education (читаем лекции, выступаем наставниками студентов-разработчиков и учим их проводить юзабилити-тестирования).
Отдельная наша большая задача — обучение дизайнеров немодерируемым исследованиям. Мы решили рассказать, зачем мы это делаем, как подошли к созданию программы и с какими трудностями столкнулись.
Всё это применимо не только к обучению исследованиям но и будет полезно всем, кто задумывается о составлении собственных образовательных программ в компании.
Акт I. О просвещении дизайнеров, в коем спорят, стоит ли учить немодерируемым исследованиям
Почему мы решили обучать дизайнеров исследованиям?
Для исследователей основное преимущество — это демократизация исследований. Вовлечение дизайнеров позволяет проводить больше исследований и делает их доступнее. Дизайнеры, находясь в контексте продукта, могут быстрее проводить исследования, что ускоряет внедрение изменений. Также демократизация исследований сокращает время нахождения исследования в беклоге продукта, когда в продуктовой команде не хватает исследователей.
Для дизайнеров основное преимущество в том, что проведение исследований развивает критическое мышление, помогает выйти из своего «инфопузыря» и избавиться от ряда когнитивных искажений. Это позволяет создать более проработанное решение.
Если говорить про недостатки, то с обеих сторон нужно выделить много ресурса: дизайнеру — на прохождение обучения и проведение тестов, а исследователю — на проработку материалов и поддержанию регулярно процесса.
Почему мы решили обучать именно немодерируемому юзабилити-тестирования, а не классическим модерируемым юзабилити-тестам? Есть несколько причин:
Скорость. Часто дизайнеру нужно поскорее собрать дополнительные данные для принятия решения в условиях ограниченного времени. Немодерируемый тест позволяет буквально з�� несколько дней проверить отдельные элементы, экраны или небольшие процессы, тогда как модерируемый тест займёт больше времени из-за необходимости искать респондентов.
Простота. Большую роль в получении «качественного» результата юзабилити-теста играет правильная модерация, которой сложно научить в рамках курса. Нужна регулярная и частая практика, на которую у дизайнеров не хватит времени. В этом плане немодерируемое юзабилити-тестирование чуть проще.
При этом оно так же, как и любые другие методы исследования, требует умения формулировать гипотезы, наличия критического и аналитического мышления для анализа результатов. Поэтому такое тестирование можно считать оптимальным способом входа в исследовательскую практику.
Акт II. Сбор гильдии исследователей для подготовки обучения
Для подготовки учебной программы мы собрали рабочую группу исследователей, которые были готовы в этом участвовать. Мы выбрали одного исследователя, кто будет управлять всем процессом разработки программы (далее «менеджер обучения»).
Менеджер обучения руководит рабочей группой и следит за сроками выполнения этапов проектирования.
Помимо менеджера есть исследователи-менторы. Они готовят материалы и лично обучают дизайнеров.
1 этап. Подготовка (Discovery). На этом этапе мы искали информацию о том, какие есть подходы к обучению и демократизации в других командах и компаниях, какие форматы обучения существуют, и т. д.. Собрали в одном месте всю найденную информацию и выделили преимущества и недостатки различных подходов: что мы хотели бы добавить в свою программу и какие риски надо учесть.
2 этап. Составление плана и учебных материалов. Определили общую структуру программы и перечень материалов, которые нам необходимо сделать: презентации, шаблоны, инструкции и т. д.
3 этап. Пилотирование обучения. Набрали пилотную группу дизайнеров и провели для них первый вариант обучения, после чего собрали обратную связь
4 этап. Работа с обратной связью. Здесь мы обработали обратную связь и переработали пилотный формат обучения.
5 этап. Архивирование процесса обучения. Подготовив и согласовав ��тоговый вариант, мы архивировали все данные в Confluence и описали процессы в виде подробных инструкций. Теперь любой исследователь в команде может использовать наши материалы и перенять процесс обучения немодерируемому тестированию.
6 этап. Регулярное обучение. В обучении самое важное — регулярность. На этом этапе мы определили ответственного за будущие потоки обучения и формат отчета для руководителя дизайнеров.
Что важно для управления рабочей группой:
Регулярные встречи. Это помогает держать рабочую группу в тонусе и вовремя решать возникающие вопросы и проблемы.
Диаграмма Ганта со сроками каждого этапа. Важно составить список задач, назначить ответственных, сроки проверки выполненной работы и готовности финальной версии, к которой нет комментариев ни у кого из рабочей группы.
Правила «клуба». Наша рабочая группа состояла из исследователей разных продуктов и с разным темпом работы. Поэтому нам было важно сформулировать правила совместной работы. Например, что нужно заранее предупредить рабочую группу, если из-за занятости в других проектах не сможешь вовремя выполнить какую-то задачу.
Общее пространство для работы. У рабочей группы должно быть общее пространство, в котором хранятся все рабочие материалы. Мы использовали интерактивную онлайн-доску, на которой создали диаграмму Ганта, собрали полезные материалы и правила коммуникации.
Акт III. О рождении программы: как после нескольких итераций и обсуждений вышел стройный замысел
Первый вариант программы обучения выглядел так:
один раз в квартал;
10-15 дизайнеров-студентов;
один наставник на 4-5 дизайнеров.
После нескольких итераций мы пришли к оптимальной программе, которая минимизирует нагрузку на исследователей, а дизайнерам позволяет освоить теорию и во время практической части провести полноценное немодерируемое исследование «от и до».
Дальше расскажем, как выглядит финальная версия нашего обучения.
Обучение занимает примерно три недели и состоит из лекций и практики. Обычно набираем в поток по 10 дизайнеров.
По итогам курса участники узнают:
Что такое немодерируемые исследования и для каких случаев они подходят.
Как подготовиться к исследованию: составить план, сформулировать гипотезы и определить выборку.
Какие методы проверки гипотез существуют и какой тип задания подойдёт.
Из каких разделов состоит тест и как избежать типичных ошибок при подготовке.
Как разместить тест на специальной платформе.
Как анализировать ответы респондентов в зависимости от типа задания.
Как лучше представить данные в отчёте.
Как работать с результатами исследования.
Сначала участники смотрят запись вводной лекции о подготовке исследования, а затем выбирают себе кейс для практической отработки навыка.
Для курса мы заранее собрали базу различных кейсов по мотивам реальных немодерируемых исследований, которые когда-то проводили исследователи ВКонтакте. Каждый кейс включает в себя исследовательские вопросы и макеты. После первой лекции дизайнер должен выбрать кейс, с которым он будет работать и подготовить план исследования. Затем дизайнер индивидуально обсуждает план с ментором.
Кстати, ещё одна часть практики — тесты с самопроверкой. Они не обязательны, но служат хорошим вспомогательным инструментом для отработки особо сложных тем, например, по формулированию исследовательских гипотез и выбору типа задания для немодерируемого теста (когда подойдет тест первого клика, а когда – тест ожиданий).
Такие тесты не требуют проверки преподавателями, мы сделали так, что после выбора ответа обучающийся видит правильный вариант, а также получает объяснения, почему другие варианты неправильные.
После согласования плана исследования студент получает доступ в Pathway (этот инструмент для немодерируемых тестов мы используем в VK) и может приступить к «программированию» теста. Ещё мы присылаем видеоинструкцию по работе с платформой. Исследователь-ментор обязательно просматривает собранный тест и отвечает на вопросы, если у студента что-то не получается. Также на платформе у нас есть шаблон теста с частыми вопросами, который можно копировать (а затем удалять вопросы, которые не нужны для конкретного исследования).
Следующий этап — просмотр записи лекции по анализу результатов, в которой мы подробно разбираем, как анализировать результаты различных типов заданий (первый клик, тест ожиданий, тест 5-10 секунд и другим), а также как работать с результатами немодерируемых тестов (например, какие бенчмарки есть, что мы считаем успешно выполненным заданием и т. д.).
После этого дизайнеры могут приступать к практике и анализировать результаты (студенты получают кейсы по уже проведённым исследованиям). На этом этапе к описанию задачи добавляется табличка с сырыми данными: дизайнер не тратит время на сбор ответов. Мы присылаем видеоинструкцию по работе с Excel для обработки результатов исследования.
Завершающая часть — подготовка и представление результатов. Это общая встреча со всеми менторами и студентами, к которой ребята готовят небольшие презентации и рассказывают о результатах исследования. На встречу мы также зовём неравнодушных исследователей и просим их дать отзывы (можно слегка «почелленджить», дать комментарии, обязательно выделить позитивные моменты).
Всё это помогает дизайнерам освоить проведение немодерируемого исследования от планирования до подготовки и защиты результатов.
Акт IV. В коем герои трижды оступились, прежде чем узрели финальную программу
Наш курс получился не сразу: результат, к которому мы в итоге пришли, это итог длительной работы (всего у нас было четыре волны обучения).
Первый подход к обучению у нас был ещё пару лет назад, когда по итогам небольших тренингов с командой у нас родился предзаписанный курс, который мы выложили на внутренний образовательный портал. По отзывам курс получился очень общий, и после его прохождения всё ещё оставались вопросы, поэтому мы занялись более детальной проработкой.
Во второй раз у нас получилась более подробная версия (например, мы добавили важный блок про работу с результатами) и мы даже добавили практику, чтобы студенты смогли попробовать провести весь цикл проведения немодерируемого исследования. Но в этот поток мы не включили этап работы с результатами и помогали учащимся только с дизайном исследования и поиском респондентов.
После окончания обучения мы собрали обратную связь через опрос и узнали, что коллеги всё ещё неуверенно чувствуют себя при самостоятельном проведении исследований. Кроме того, во время курса мы мониторили обстановку и заметили несколько проблем:
Сложно выбрать кейс. Изначально мы хотели, чтобы студенты получали навык на своей реальной задаче, чтобы обучение было максимально полезным, но на практике оказалось, что не всегда у дизайнера может быть в работе задача, которую можно взять в исследование (например, где-то вопрос выбора между несколькими вариантами дизайна лучше решать всё таки через А/В-тест, а не через исследование).
Сложно найти респондентов. У нас одновременно запускалось сразу около десяти тестов, и на каждый из них нужно было набрать как минимум 50-60 респондентов, чтобы потренироваться в анализировании данных. Даже несмотря на то, что для учебных кейсов в качестве респондентов мы брали коллег, одновременно такое количество участников найти было крайне проблематично.
Поэтому в третьей итерации мы пришли к идеальному формату, чтобы, с одной стороны, решить эти сложности, а с другой — минимизировать трудозатраты исследователей на проведение обучения (в VK очень много дизайнеров, поэтому запрос на подобный курс появляется регулярно). Так у нас и получился итоговый формат с записями лекций, тестами для самопроверки, укомплектованными кейсами и видеоинструкциями.
Кстати, во время сбора обратной связи мы отловили ещё одну проблему: дизайнерам сложно даётся работа с сырыми данными в привычных исследовательских инструментах, таких как Excel или PowerPoint. Поэтому мы адаптируем инструментарий, например, с помощью дизайнеров сделали шаблон для презентации в Figma.
Большинство дизайнеров (те, кто был заинтересован в этом) уже прошли наше обучение. Поэтому мы перешли от потокового формата к точечному. Это значит, что если у дизайнера появился запрос и желание научиться проводить немодерируемые тесты, мы просто прикрепляем к нему ментора без привязки к потоку или кварталу. Дальше дизайнер индивидуально учится с помощью исследователя.
Кроме того, мы планируем проводить точечные мастер-классы для закрепления конкретных навыков — уже провели несколько мастер-классов для тренировки анализа данных для разных типов заданий в немодерируемых тестах.
Акт V. О вечном круге обучения, в коем открывается, что конец — лишь начало
Сейчас обучение дизайнеров немодерируемым исследованиям трансформировалось у нас из разовой инициативы в регулярный процесс, который мы постоянно дорабатываем. Что важно для его поддержания?
Не забывать о цели. Что именно мы хотим получить? Повысить культуру UX-исследований в продукте, улучшить SLA исследований за счёт подключений к ним других ролей, или что-то ещё? Только понимая проблемы и цели можно составить программу, которая подходит для конкретного случая.
Собирать отзывы. Мы регулярно собираем обратную связь после всех образовательных активностей. Это позволяет создавать максимально полезные и полные материалы.
Быть готовым к регулярной работе. Недостаточно один раз провести обучение, чтобы дизайнеры уверенно и проактивно проводили самостоятельные исследования. Нужно советовать и подсказывать после обучения, подкидывать кейсы. Кроме того, нужно постоянно актуализировать полученные знания, потому что люди могут что-то забывать — это нормально, так как исследования не их основная задача.
И да — курс не может получиться идеальным с первого раза, потому что он должен быть не разовой активностью, а системой, когда дизайнеры учатся исследовать, а исследователи — обучать.
P.S. Наш курс не получился бы, если бы не помощь коллег!
Спасибо рабочей группе — Гале Кырбасовой, Даше Крыловой, Ксюше Вареник и Наде Евстигнеевой.
Спасибо тем, кто помогал доносить дизайнерам ценность обучения и помогал с программой — Серёже Розуму, Ане Семеновой и Кириллу Блюмину.
