В банковском секторе (и не только) эффективность — понятие относительное.
Зачастую корпоративные университеты представляют результаты обучения в виде сухого показателя обученности или, в лучшем случае, оптимистичного NPS. Сами по себе эти показатели ни плохи, ни хороши, но при их выбор бизнес-заказчик, как правило, выражает скепсис, и тогда в переговорной нависает вопрос: «А действительно ли обучение что‑то решает?»
В данной статье я покажу на примере, как можно измерять эффективность обучения, какие метрики выбрать и на что ориентироваться.
Метрики эффективности обучения зависят от целей компании
Закона Гудхарта гласит:
«Если мера становится целью, она перестаёт быть хорошей мерой»
Если у вас есть сложности с оценкой эффективности, первое, что вам необходимо принять — это то, что вам скорее всего не хватает не математического выражения формулы, а концепции и понимания того, что эта формула должна выражать.
Постарайтесь посмотреть на проблему чуть шире и задайтесь вопросом «Зачем?»
Зачем мы проводим обучение в компании?
Какую проблему оно решает?
Действительно ли оно её решает?
Как мы понимаем, что оно её решает?
Действительно ли это решение эргономично?
Эффективность — это не одна метрика, а целое множество метрик.
Чтобы понять насколько обучение эффективно, нужно понять, как оно встраивается в общую бизнес-стратегию организации. Поэтому на эффективность необходимо смотреть комплексно, вылавливая баланс между показателями «скорости», «цены» и «качества».
Только вместе они формируют полную картину, по отдельности же — не говорят ни о чём.
Анекдот:
Рекламный баннер строительной фирмы
«Работу выполняем быстро, качественно, недорого»*
*При заказе выберите 2 условия
Основные метрики оценки корпоративного обучения
На разных этапах развития компании на первый план могут выходить сначала одни метрики, затем — другие, и наконец — третьи. Поэтому иногда при принятии решений достаточно ограничиться одной из групп. Однако, чем больше метрик попадают в ваше поле зрения, чем больше из них отражают ваши идеи, тем ближе заветная цель: комплексная оценка эффективности обучения.
Вот примеры задач, которые могут решаться без композитной формулы:
Если вам нужно выполнить задачу по подготовке большого объёма кандидатов — ориентируйтесь на метрики производительности (Сколько обучение может пропустить через себя? Каков охват? Каков отток?) — используйте метрики вроде конверсии в завершённый план обучения, среднее время прохождения плана или успеваемости обучающихся.
Если вы хотите выйти, например, на внешний рынок и смотрите на обучение как на продукт — применяйте продуктовые метрики, вроде вовлечённости, лояльности или NPS. Если же вам важна не только «обёртка», но и «начинка» — посмотрите на качество разработки и поведенческие индикаторы, о которых писали Б.Блум и Д.Киркпатрик. (Насколько ваше обучение практикоориентированно? Действительно ли оно направлено на формирование целевого поведения у сотрудников?)
Только после этого получится перейти к финансовой стороне вопроса и проверить насколько конечные изменения в поведении оправдывают затраты на разработку и обучение. Каков его вклад в бизнес-результат? Сколько это стоило? Возвратны ли инвестиции в развитие сотрудников?
! Если на поведенческом уровне сотрудники не показывают результата после обучения, имеет в первую очередь обратить внимание на качество обучения. Считать метрики его рентабельности не имеет смысла, они всегда будут отрицательными.
Основные тезисы:
Первое. Эффективность относительна. Чаще она располагается на стыке метрик «Производительности», «Качества» и «Стоимости обучения» и выражается взвешенной формулой.
Второе. Чтобы посчитать эффективность, необходимо определить, что для вашей компании концептуально значит «эффективность» и как результаты обучения встраивается в единую бизнес-стратегию.
Как посчитать эффективность обучения?
Ответ напрашивается сам собой. Для начала необходимо научиться рассчитывать показатели каждой группы отдельно и только потом объединять их в общую формулу «эффективности». Этот способ сейчас и разберём.
Для этого пойдём от самого простого. На примере метрики производительности рассчитаем
Индекс производительности обучения или LPI (Learning Performance Index).
Какие показатели в конечном счёте войдут в него и будут учитываться, на самом деле решать вам, мы же разберём сам принцип и для примера допустим, что в вашей организации актуальны следующие:
Обученность (Completion Rate) — доля сотрудников, завершивших обучение
CR = (Количество завершивших обучение) / (Общее количество начавших обучение) × 100%
Прохождение плана в срок (On-Time Completion Rate) — доля сотрудников, завершивших обучение в установленный срокOTCR = (Количество завершивших обучение в срок) / (Общее количество завершивших обучение) × 100%
Завершение на максимальный балл (Perfect Completion Rate) — доля сотрудников, завершивших обучение на максимальный баллPCR = (Количество завершивших с максимальным баллом) / (Общее количество завершивших обучение в срок) × 100%
И вот перед вами встала задача: рассчитать производительность учебного трека, в который зашли 100 человек, 70 из которых завершили обучение в срок, а максимальный балл набрали 50 из последних.
Формула индекса производительности данного трека будет выглядеть так:
Она объединяет и учитывает ранее заявленные метрики в некоторой пропорции (веса):
Название метрики | Начали (чел) | Завершили (чел) | Показатель (%) | Вес показателя* | Вклад в LPI (%) |
|---|---|---|---|---|---|
Завершённость (CR) | 100 | 80 | 80% | 0,7 | 56% |
Прохождение в срок (OTCR) | 80 | 70 | 88% | 0,2 | 18% |
Макс. балл (PCR) | 70 | 50 | 71% | 0,1 | 7% |
*Сумма весов всегда должна ровняться 1. Вес каждого показателя определяется отдельно исходя из фокусов внимания компании: что для неё важнее в конкретный момент: завершённость, сроки обучения или максимальный балл.
Значения весов в таблице носят иллюстративный характер.
Подставим значения в формулу
Ответ: индекс производительности равен 80,6%
Аналогичный подсчёт можно произвести и по другим группам метрик («Качество» и «Стоимость») и тогда останется лишь объединить показатели единой формуле эффективности, указывая веса уже и для других групп.
Итоговая формула оценки эффективности:
Эффективность обучения = (% Производ x вес Производа) + (% Качество x вес Качества) + (% Стоимость x вес Стоимости) x 100
Как видите, формула эффективности очень проста, но её наполнение зависит от задач, которые компания ставит перед обучением:
Обучать массово?
Обучать качественно?
Обучать дёшево?
Можете не выбирать 2 условия, а всего лишь подобрать веса таким образом, чтобы баланс между группами метрик устраивал и вас, и других стейкхолдеров.
Вот ещё примеры метрик, которые можно использовать для подсчёта индексов групп «Производительности», «Качества» и «Стоимости обучения»
Производительность | Качество | Стоимость |
|---|---|---|
Посещаемость | Вовлечённость | Стоимость обучения на 1 чел |
Доля завершивших обучение | Усвояемость (знаний) | Стоимость разработки |
Доля прошедших в срок | Применимость навыков (изменения в поведении) | Стоимость сохранения кадров |
Среднее время прохождения | % ошибок и самостоятельной работы | Доля досрочного завершения обучения |
Успешность | Охват компетенций обучением | Окупаемость обучения |
Доля завершивших с первой попытки | Удовлетворённость обучением NPS | Доля повторного прохождения обучения |
Главное:
Выбор метрик и их весов — это не техническая, а стратегическая задача, которую нужно обсуждать с бизнесом и HR. Только так показатель эффективности обучения может стать инструментом принятия решений и управления бизнес-результатом.
И напоследок...
Практические шаги для подсчёта эффективности обучения:
Определите цели обучения (целого трека или отдельной программы);
Подберите под эти цели метрики внутри каждой из групп, произведите подсчёт;
Присвойте веса каждому показателю, подсчитайте индекс по каждой группе: «Производительность», «Качество», «Стоимость»;
Присвойте веса индексам каждой группы и поставьте их в формулу;
Определите период замера эффективности (неделя/месяц/квартал/год) и отслеживайте динамику;
Пересматривайте веса и метрики по мере смены фокусов компании.
