Как понять, что обучение сработало как надо? После него сотрудники меняют поведение? Затраты окупаются в следующем квартале? Или оно бесшовно встраивается в систему развития, и у сотрудников нет проблем с применением полученных знаний?
Вместе с образовательным центром Verno, входящим в группу компаний red_mad_robot, разбираемся в методах оценки образовательных результатов и частых трудностях.
Комплексный подход Дональда Киркпатрика
Старейшая и самая цитируемая методика родом из 1950-х, которая, по сути, и не совсем методика. Киркпатрик не предлагает конкретного инструмента для оценки. Он выделяет четыре уровня образовательного результата, которые можно проанализировать с помощью качественных и количественных методов. Оценивать предлагается со стороны учащихся, организаторов обучения, а также заказчиков, если реализацией занимается провайдер.
1. Реакция учащихся
Что можно оценить: образовательный дизайн и контент, работу преподавателей (экспертов, ведущих, модераторов).
Способы оценки: прямые опросы, наблюдения и замеры, например, посещаемости, активности на занятиях, объёма выполненных заданий, доходимости до финала, удовлетворённости и готовности рекомендовать обучение коллегам (индексы NPS и CSI).
Первый уровень самый поверхностный. Он показывает, нравится ли учащимся программа и организация обучения, интересно ли учиться, полезно и сподручно ли всё устроено. Удобно, что так можно выловить и быстро исправить досадные недостатки. Но встречаются и противоречивые мнения. Ведущего курса могут одновременно назвать и слишком заумным, и недостаточно глубоким. Одному нравятся вебинары, другой не хочет тратить на них время, для третьего слишком много текста и т. д.
2. Научение
Что можно оценить: как учащиеся поняли материал, хорошо ли его усвоили, уверенно ли ориентируются в нём.
Способы оценки: тесты, индивидуальные и групповые задания, открытые вопросы и обсуждения, аналитические записки.
Тесты и опросы позволяют сделать «моментальный снимок» учащегося или группы. Но надёжным этот способ не назвать: результаты будут отличаться, если учащиеся плохо сфокусированы на тесте, потому что устали или торопятся. А вот по решениям задач и обсуждениям видно, готовы ли они применять знания, навыки и инструменты в работе. Также по результатам можно увидеть, подходящие ли выбраны задания и достаточно ли времени дано на освоение и отработку материала.
3. Изменение поведения
Что можно оценить: достигнуты ли образовательные цели, действуют ли сотрудники так, как планировалось, после завершения обучения.
Способы оценки: наблюдение и контроль выполнения рабочих задач, интервью, аттестация (ассессмент) или селф-ассессмент.
Наблюдения и замеры на этом уровне имеют смысл, если ведутся в динамике, иначе результаты обучения не с чем сравнить. На каком уровне учащиеся владели навыками раньше и как владеют сейчас? Какие индикаторы указывали на это тогда и указывают теперь?
Чтобы получить ответы, ещё до начала проектирования образования нужно определить, каким компетенциям мы будем учить, разложить их на уровни владения и каждому приписать поведенческие индикаторы — т. е. контрольный список кейсов, с которыми может справиться человек.
Дальше договориться, до какого уровня мы прокачиваем учащихся на программе и что хотим видеть в ближайшей зоне развития — через 3-6 месяцев рабочей практики. Трудоёмко, зато после будет понятно наверняка, получилось или нет.
4. Бизнес-результат
Что можно оценить: стала ли команда быстрее справляться с определёнными задачами? Увеличилось ли число людей, владеющих конкретными навыками на конкретном уровне? Улучшилось ли качество производства, уменьшилось ли количество ошибок? Стало ли больше работ, которые выполняет компания? Больше ли проектов и клиентов? Сократилась ли текучка сотрудников? Улучшилась ли мобильность внутри компании?
Способы оценки: наблюдения и подсчёты на уровне подразделений и всей компании в динамике (матрицы компетенций, финансовая и HR-аналитика), отзывы клиентов.
Чтобы система сложилась, нужно построить структуру результатов сверху вниз — от верхнеуровневых целей до желаемых компетенций и их индикаторов. Должна получиться связка: цели компании → цели подразделения → цели обучения. Это карта, по которой сначала идёт провайдер, а затем её развивает тот, кто поддерживает обучение в компании — HR-служба, образовательное направление, руководители подразделений.
В дальнейшем модель Киркпатрика не раз изменяли и дорабатывали: например, модель CIPP (контекст, вводные, процесс, продукт) или модель CIRO (контекст, вводные, реакция, результат). Авторы этих подходов советуют внимательнее соотносить между собой:
стратегию компании и потребности в обучении сотрудников,
планы развития и доступные ресурсы,
результаты обучения и поставленные цели.
Метод расчёта возврата вложений
Он добавляет классической модели Киркпатрика ещё один уровень. Его автор, экономист Джек Дж. Филлипс предложил оценивать образовательный эффект с помощью расчёта коэффициента ROI (Return on Investment) — т. е. зависимости между вложением в обучение и последующей выгодой.
В расходы включены затраты на организацию и производство образовательного продукта, а также стоимость отвлечения сотрудников от рабочих задач на время учёбы.
Вроде бы всё прозрачно: чем выше прибыль компании (а вместе с ней и ROI), тем эффективнее было обучение. Но есть нюанс: чтобы увидеть, как обучение повлияло на финансовый результат, нужно изолировать его от других факторов.
Простой пример: мы месяц учили менеджеров работать с потребностями клиентов и отвечать на возражения. Замерили квартальный ROI, он оказался выше предыдущих. Обучение проходило в конце года, а перед праздниками продажи обычно растут. А ещё руководство в это время как раз увеличило бюджет на маркетинг. Где тут эффект от обучения, а где — от сезонности и стимулирования продаж, трудно разобрать.
На это же в начале 1990-х обратил внимание психолог и специалист по обучению Роберт О. Бринкерхофф. По его мнению, не бывает автономного эффекта от обучения. Это лишь один из факторов, связанный с другими: со зрелостью рабочих процессов, налаженной коммуникацией, стилем руководства и т. д. Результаты от обучения не будут высокими, если в системе есть другие проблемы.
Чтобы выяснить, что влияет на образовательный эффект, Бринкерхофф предлагает метод положительных примеров. Нужно интервьюировать сотрудников, разделив на две фокус-группы, — наиболее и наименее успешных учащихся. Учащиеся сами оценивают пользу от обучения, отвечая на вопросы: «Насколько обучение изменило ваш подход к делу?», «В какой степени вы применяете новые знания/навыки в работе?». Дальше сотрудников каждой группы просят ответить подробнее:
Насколько обучение помогает вам улучшить рабочие результаты?
Что в компании помогает (помогло бы) вам успешно учиться и показывать высокие результаты? Что стоило бы поддерживать и укреплять?
Что стоит изменить (улучшить), чтобы помочь вам достигать лучших результатов?
Теперь можно изучить опыт успешных учащихся и попробовать масштабировать его для всех сотрудников. Опыт менее успешных учащихся указывает на недостатки (например, нехватку своевременной обратной связи или слабую поддержку руководителя), которые полезно исправить.
Какие выводы можно сделать:
Способа быстро оценить образовательную разницу «было–стало» ещё не придумали, и вряд ли он когда-нибудь появится.
Маловероятно и то, что обучение может создать видимые изменения, если параллельно не работать над процессами, не налаживать и не укреплять коммуникацию.
Организацию обучения (программу, материалы, форматы, работу ведущих) и глубину освоения материала оценить проще всего — с помощью опросов, наблюдения и диагностики.
Для анализа более глубоких изменений (развитие сотрудников и подразделений, улучшение финансовых результатов) обучение нужно встроить в систему управления, использовать единую систему оценки компетенций, вести наблюдения и подсчёты в динамике.
Больше о том, как организовать обучение и работу команд, в телеграм-канале «Не мешайте людям работать».
Чтобы получить пробную консультацию по прокачке ваших ИТ-команд, пишите Паше Бунтману из Verno.
Авторы текста: Анастасия Зальцман, Артур Сахаров. Редактор: Татьяна Павлова. Автор иллюстраций: Дарья Щеголютина.
