Последние несколько лет я активно участвую в процессе подбора системных аналитиков в департамент развития цифровых сервисов. Начинал с проведения скринингов и технических интервью, а уже будучи руководителем направления, принимал решение о распределении кандидатов по командам и их трудоустройстве.
Минувший год удивил значительным сокращением вакансий на позицию junior системных аналитиков. Бизнес, финансирующий деятельность команд, в большей степени заинтересован в найме опытных специалистов, способных сразу приступить к разработке новых цифровых продуктов. Всё меньше команд готовы вкладываться в развитие начинающих специалистов.
Но найм никто не останавливает. При этом бизнес выражает недовольство из-за отвлечения технических экспертов от работы над продуктами для проведения технических интервью. А многие кандидаты демонстрируют знания и навыки на уровне junior, что также не бьется с потребностями бизнеса. Поэтому было решено проанализировать процесс подбора и найти точки роста, чтобы закрывать потребности в найме с минимальными затратами времени технических экспертов. В результате появился скрининг-бот, о котором речь пойдет ниже.
С точки зрения кандидата текущий процесс подбора в департамент развития цифровых сервисов состоит из трех последовательных этапов:
Скрининг. Это общение с HR-специалистом на 15-30 минут, в ходе которого проверяются, в том числе, релевантные знания и опыт, необходимые для успешного прохождения технического интервью. На скрининге HR задаёт открытые вопросы, например, «С какими архитектурами работал за последние 5 лет?», «Есть ли опыт проектирования веб-сервисов с нуля?». Руководитель на основании анализа резюме и ответов кандидата принимает решение о направлении его на техническое интервью.
Техническое интервью. Общение с техническими экспертами Банка, где выявляется технический уровень кандидата — junior, middle или senior. На интервью кандидату предлагают как теоретические вопросы, так и практические задачи. После эксперты оставляют обратную связь с указанием уровня кандидата. На основании обратной связи и требований вакансии руководитель принимает решение о направлении кандидата на знакомство с командой.
Знакомство с командой. Встреча с членами продуктовой или платформенной команды, в которую направляется кандидат, в зависимости от уровня, выявленного на техническом интервью. Цель данной встречи состоит в оценке личных качеств кандидата, подходит ли он команде, сможет ли команда с ним сработаться. Если от команды в лице владельца продукта есть положительная обратная связь, то руководитель принимает решение о найме кандидата, совместно с HR-специалистом формирует job offer, запускает процесс трудоустройства.
Анализ этих этапов показал, что скрининг слабо выполняет функцию отбора кандидатов, его проходит абсолютное большинство. Так в моём направлении:
с 15 марта по 14 апреля его прошёл 91% кандидатов;
с 15 апреля по 14 мая — 100%;
а с 15 мая по 14 июня — 88%.
В среднем за три месяца — 93%. Слишком хорошая статистика, которая говорит лишь о том, что открытые вопросы не позволяют полностью оценить уровень знаний и навыков кандидата.
Для улучшения качества оценки кандидата на позицию системного аналитика было решено на этапе скрининга использовать закрытые вопросы. А для снижения нагрузки на HR-специалистов процесс проведения скрининга был автоматизирован за счет разработки бота для Telegram.
Кандидату направлялась персональная ссылка, перейдя по которой начиналось взаимодействие с ботом. Скрининг состоял из 16 вопросов, на которые требовалось ответить за ограниченное время — от одной до полутора минут на вопрос. Кандидат мог начать скрининг сразу, либо пройти его позже.
В качестве проверяемых были выбраны темы, рассматриваемые, в том числе, и на техническом интервью:
Работа с требованиями.
SOAP и XML.
REST и HTTP.
Базы данных и SQL.
Бот предлагал текстовую формулировку вопроса и несколько вариантов ответа, один из которых был правильным. Часть вопросов также имела графическое сопровождение.
Для успешного прохождения требовалось правильно ответить на 75% вопросов. Так за период с 15 июня по 14 июля успешно прошли скрининг-бот 26 из 59 кандидатов на штатные позиции — т.е. 44%.
Использование закрытых вопросов с единственным правильным вариантом ответа выразилось в снижении количества кандидатов, успешно прошедших скрининг, почти в 2 раза, и экономии до 29,5 часов HR-специалиста в месяц.
Если бы процент прохождения скрининга остался в значении 93%, то на техническое интервью вышло бы 55 кандидатов, т.е. на 29 человек больше. Обычно такое интервью длится от одного часа и требует привлечения двух технических экспертов для формирования альтернативного мнения. Отсюда вырисовывается и выгода для бизнеса.
Сокращение количества прошедших первый этап кандидатов повлекло за собой снижение времени отвлечения технических экспертов от работы над цифровыми продуктами на 58 часов в месяц.
На 10 августа по результатам технического интервью уровень Middle подтвердили десять кандидатов (38%), прошедших скрининг-бот. Это неплохой результат. Особенно с учётом того, что задача бота — лишь предварительная оценка знаний и навыков кандидата, а не определение его технического уровня. Из них четверо уже вышли на работу в департамент разработки цифровых сервисов.
Если обратить внимание на статистику ответов, то вырисовывается следующая картина:
На два вопроса поступило менее 40% правильных ответов.
По шести процент прохождения средний — от 40% до 70%.
С остальными вопросами, а их половина, успешно справляется более 70% кандидатов.
№ | % | № | % | № | % | № | % |
1 | 92% | 5 | 46% | 9 | 53% | 13 | 100% |
2 | 17% | 6 | 92% | 10 | 66% | 14 | 73% |
3 | 46% | 7 | 97% | 11 | 78% | 15 | 31% |
4 | 81% | 8 | 73% | 12 | 68% | 16 | 49% |
Обладая данной статистикой теперь стало возможным более обоснованно управлять этапом скрининга. Например, за счёт замены сложных вопросов (а их сейчас две штуки) более простыми, с целью увеличения воронки в случае расширения подбора. Либо за счет замены простых вопросов с высокой долей правильных ответов более сложными, с целью поддержания функции отбора. Ожидается, что такая система будет стремиться к равновесному состоянию, за счет которого будет обеспечен приемлемый уровень сложности вопросов, предлагаемых кандидатам на первом этапе подбора.
В настоящее время скрининг-бот используется в процессе подбора в штат департамента разработки цифровых сервисов. Причем не только на позицию системного аналитика, но и ещё на нескольких компетенциях. Идёт накопление статистики с целью принятия решения о дальнейшем его масштабировании — на аутстаф и другие департаменты банка.
Отдельную благодарность хочу выразить Игорю Беляеву (@korol-super-top) за разработку скрининг-бота. Если появятся вопросы по реализации, думаю, Игорь с радостью на них ответит.
Читатель, поделись, используете ли вы в своей компании аналогичные решения для предварительной оценки кандидатов? Что они из себя представляют? Буду рад найти описание вашего опыта в комментариях ниже.
А для тех, кому интересно, как может проходить второй этап процесса подбора в Банк - техническое интервью, оставляю ссылку на запись публичного собеседования на роль системного аналитика, сделанную в прошлом году совместно со Школой анализа и проектирования NextWay
