Последние несколько лет я активно участвую в процессе подбора системных аналитиков в департамент развития цифровых сервисов. Начинал с проведения скринингов и технических интервью, а уже будучи руководителем направления, принимал решение о распределении кандидатов по командам и их трудоустройстве.

Минувший год удивил значительным сокращением вакансий на позицию  junior системных аналитиков. Бизнес, финансирующий деятельность команд, в большей степени заинтересован в найме опытных специалистов, способных сразу приступить к разработке новых цифровых продуктов. Всё меньше команд готовы вкладываться в развитие начинающих специалистов.

Но найм никто не останавливает. При этом бизнес выражает недовольство из-за отвлечения технических экспертов от работы над продуктами для проведения технических интервью. А многие кандидаты демонстрируют знания и навыки на уровне junior, что также не бьется с потребностями бизнеса. Поэтому было решено проанализировать процесс подбора и найти точки роста, чтобы закрывать потребности в найме с минимальными затратами времени технических экспертов. В результате появился скрининг-бот, о котором речь пойдет ниже.

С точки зрения кандидата текущий процесс подбора в департамент развития цифровых сервисов состоит из трех последовательных этапов:

1. Скрининг. Это общение с HR-специалистом на 15-30 минут, в ходе которого проверяются, в том числе, релевантные знания и опыт, необходимые для успешного прохождения технического интервью. На скрининге HR задаёт открытые вопросы, например, «С какими архитектурами работал за последние 5 лет?», «Есть ли опыт проектирования веб-сервисов с нуля?». Руководитель на основании анализа резюме и ответов кандидата принимает решение о направлении его на техническое интервью.

2. Техническое интервью. Общение с техническими экспертами Банка, где выявляется технический уровень кандидата — junior, middle или senior. На интервью кандидату предлагают как теоретические вопросы, так и практические задачи. После эксперты оставляют обратную связь с указанием уровня кандидата. На основании обратной связи и требований вакансии руководитель принимает решение о направлении кандидата на знакомство с командой.

3. Знакомство с командой. Встреча с членами продуктовой или платформенной команды, в которую направляется кандидат, в зависимости от уровня, выявленного на техническом интервью. Цель данной встречи состоит в оценке личных качеств кандидата, подходит ли он команде, сможет ли команда с ним сработаться. Если от команды в лице владельца продукта есть положительная обратная связь, то руководитель принимает решение о найме кандидата, совместно с HR-специалистом формирует job offer, запускает процесс трудоустройства.

Анализ этих этапов показал, что скрининг слабо выполняет функцию отбора кандидатов, его проходит абсолютное большинство. Так в моём направлении:

• с 15 марта по 14 апреля его прошёл 91% кандидатов;

• с 15 апреля по 14 мая — 100%;

• а с 15 мая по 14 июня — 88%.

В среднем за три месяца — 93%. Слишком хорошая статистика, которая говорит лишь о том, что открытые вопросы не позволяют полностью оценить уровень знаний и навыков кандидата.

Для улучшения качества оценки кандидата на позицию системного аналитика было решено на этапе скрининга использовать закрытые вопросы. А для снижения нагрузки на HR-специалистов процесс проведения скрининга был автоматизирован за счет разработки бота для Telegram. 

Кандидату направлялась персональная ссылка, перейдя по которой начиналось взаимодействие с ботом. Скрининг состоял из 16 вопросов, на которые требовалось ответить за ограниченное время — от одной до полутора минут на вопрос. Кандидат мог начать скрининг сразу, либо пройти его позже.

В качестве проверяемых были выбраны темы, рассматриваемые, в том числе, и на техническом интервью:

1. Работа с требованиями.

2. SOAP и XML.

3. REST и HTTP.

4. Базы данных и SQL.

Бот предлагал текстовую формулировку вопроса и несколько вариантов ответа, один из которых был правильным. Часть вопросов также имела графическое сопровождение.

Для успешного прохождения требовалось правильно ответить на 75% вопросов. Так за период с 15 июня по 14 июля успешно прошли скрининг-бот 26 из 59 кандидатов на штатные позиции — т.е. 44%. 

Использование закрытых вопросов с единственным правильным вариантом ответа выразилось в снижении количества кандидатов, успешно прошедших скрининг, почти в 2 раза, и экономии до 29,5 часов HR-специалиста в месяц.

Если бы процент прохождения скрининга остался в значении 93%, то на техническое интервью вышло бы 55 кандидатов, т.е. на 29 человек больше. Обычно такое интервью длится от одного часа и требует привлечения двух технических экспертов для формирования альтернативного мнения. Отсюда вырисовывается и выгода для бизнеса.

Сокращение количества прошедших первый этап кандидатов повлекло за собой снижение времени отвлечения технических экспертов от работы над цифровыми продуктами на 58 часов в месяц.

На 10 августа по результатам технического интервью уровень Middle подтвердили десять кандидатов (38%), прошедших скрининг-бот. Это неплохой результат. Особенно с учётом того, что задача бота — лишь предварительная оценка знаний и навыков кандидата, а не определение его технического уровня. Из них четверо уже вышли на работу в департамент разработки цифровых сервисов.

Если обратить внимание на статистику ответов, то вырисовывается следующая картина:

1. На два вопроса поступило менее 40% правильных ответов.

2. По шести процент прохождения средний — от 40% до 70%.

3. С остальными вопросами, а их половина, успешно справляется более 70% кандидатов.

Обладая данной статистикой теперь стало возможным более обоснованно управлять этапом скрининга. Например, за счёт замены сложных вопросов (а их сейчас две штуки) более простыми, с целью увеличения воронки в случае расширения подбора. Либо за счет замены простых вопросов с высокой долей правильных ответов более сложными, с целью поддержания функции отбора. Ожидается, что такая система будет стремиться к равновесному состоянию, за счет которого будет обеспечен приемлемый уровень сложности вопросов, предлагаемых кандидатам на первом этапе подбора.

В настоящее время скрининг-бот используется в процессе подбора в штат департамента разработки цифровых сервисов. Причем не только на позицию системного аналитика, но и ещё на нескольких компетенциях. Идёт накопление статистики с целью принятия решения о дальнейшем его масштабировании — на аутстаф и другие департаменты банка.

Отдельную благодарность хочу выразить Игорю Беляеву (@korol-super-top) за разработку скрининг-бота. Если появятся вопросы по реализации, думаю, Игорь с радостью на них ответит.

Читатель, поделись, используете ли вы в своей компании аналогичные решения для предварительной оценки кандидатов? Что они из себя представляют? Буду рад найти описание вашего опыта в комментариях ниже.

А для тех, кому интересно, как может проходить второй этап процесса подбора в Банк - техническое интервью, оставляю ссылку на запись публичного собеседования на роль системного аналитика, сделанную в прошлом году совместно со Школой анализа и проектирования NextWay