Привет, Хабр! Меня зовут Михаил Новотарский, я из Сбера — лидирую тестирование внутренних продуктов и профсообщество тестировщиков. За плечами более 500 собеседований, от джунов до лидов. Этот материал мы подготовили вместе с Евгением Гребенщиковым, который создаёт и тестирует ИИ-агентов.

Хочу рассказать, как мы применяем ИИ в процессе найма QA-специалистов. Без обещаний революции и без страшилок про «всех заменят». Просто покажу, какие инструменты сделали, где они реально помогают, а где пока спотыкаются. Если вы проводите или проходите собеседования — welcome. Если просто хотите посмотреть, как ИИ работает не на маркетинговых слайдах, а в боевых условиях — тоже пригодится.

ИИ и собеседования: откуда ноги растут

Вопрос «ИИ нас заменит?» все мы слышали уже не раз, порой и в течение одного дня. Аналогичные разговоры были про компьютеры в 1990-х, про интернет в 2000-х, про станки и электричество, про повозку после изобретения колеса. Технология сама по себе никого не заменяет — люди, которые её используют, заменяют тех, кто не использует. Вот и вся история.

При этом ощущение, что ИИ пытаются воткнуть везде подряд, вполне обоснованное. Мы попробуем показать случаи, где это действительно работает. Речь пойдёт не только про найм — ИИ-агенты применимы для оценки знаний в целом: в интервьюировании, аттестовании, профтестировании. Везде, где нужно задавать вопросы и оценивать ответы.

Что такое ИИ-агент в нашем случае? Это программное обеспечение, которое автономно собирает данные и выполняет задачи. Не одноразовый промпт в чатик, а переиспользуемый инструмент. Для любого агента нужна база данных. У нас это матрица компетенций: документ с описанием того, что должен знать специалист каждого уровня. Она передаётся агентам как контекст.

Сам процесс собеседования разбивается на этапы: изучаем резюме, налаживаем контакт, спрашиваем теорию, спрашиваем практику, принимаем решение. Для тестирования тема особенно горячая: вакансия джуна может собрать под 500 откликов. Разобрать это вручную и честно посмотреть каждое резюме — задачка со звёздочкой.

Резюме: когда все стали идеальными

В 1990-х мы изучали резюме в Word. В 2000-х добавились GitHub и Skype. Сейчас между кандидатом и интервьюером появился ИИ, который помогает обеим сторонам. И вот тут начинается интересное.

Первая проблема — резюме стали похожи друг на друга как братья-близнецы. ИИ делает их «идеальными»: шаблонные формулировки, стандартные списки навыков. Берёшь своё менеджерское резюме, берёшь вакансию автоматизатора, просишь нейросеть пересобрать одно под другое — получаешь документ, от которого HR в восторге. Магия за ноль рублей. Только вот ничего не мешает не просто пересобрать, а попросить приукрасить.

Вторая проблема: непонятная мотивация. Человек откликнулся на сотню вакансий, позвали на двадцать, он даже не читал, куда идёт. Пять минут разговора — и понятно, что не подходим. Время потрачено.

Классический прескрининг через HR эти проблемы решает частично. Но там свои сложности: HR нужно обучить специфике, вопросы быстро утекают в интернет, нужно совпадение по времени для созвона.

Мы сделали агента, который получает требования к позиции и резюме кандидата, а на выходе генерирует индивидуальный тест. Каждый раз разный. Никого не нужно обучать, тесты могут утекать хоть каждый день — сгенерируется новый. И сразу видна мотивация: не готов потратить пять минут — значит, не наш вариант. Ограничение очевидное: как и любое домашнее задание, мы не знаем, кто его решал. Поэтому применяем для джунов и начальных мидлов.

Отдельный момент — ИИ тоже ошибается. Был случай: агент сгенерировал тест по Python и сам его решил неправильно. Вопрос про конкатенацию строк, правильный ответ C, а ИИ выбрал B. Переспросили — говорит, ошибся, правильный A. Снова мимо. Версии моделей обновляются, и не всегда в нужную сторону.

По разным данным, крупные компании вроде Amazon и Google используют ИИ для первичного скрининга в 60-80 % случаев. История распространённая.

Как перестать спрашивать одно и то же

После резюме мы приглашаем кандидата и на собеседовании налаживаем контакт. Собеседование это стресс, в первые минуты хочется снизить напряжение и проверить базовое соответствие ценностям. Этот этап остаётся человеческим, ИИ-агента для него нет.

А вот дальше начинается теория. И тут у интервьюера накапливаются боли. Собирать вопросы каждый раз — нужно время. Разные интервьюеры оценивают по-разному: для одного кандидат не подходит, для другого — нормальный мидл. Придумывать новые вопросы тяжело. И спрашивать одно и то же раз за разом — скучно.

Сделали агента по генерации вопросов и ответов. На входе — матрица компетенций, требования к позиции, резюме. На выходе — индивидуальные вопросы с ожидаемыми ответами. Зачем ответы? Чтобы интервьюер понимал, чего ждать от кандидата на конкретном уровне.

Тут важно поговорить про промпты. Промпт — это запрос или набор инструкций для нейросети. Мы для себя выделили три уровня. 

  • Первый: спрашиваешь в общем, получаешь общий ответ. Для собеседований не годится. 

  • Второй: структурированный промпт с компонентами: роль, контекст, формат, требования, ограничения, тема. 

  • Третий: когда обработали промпты с помощью подхода LLM-as-a-judge. Суть подхода: одна модель оценивает ответы другой. В классическом тестировании есть чёткий ожидаемый результат. С ИИ ответ может быть точным, но переформулированным, и сравнивать «по строке» не выйдет. Технология молодая, но рабочая — помогает улучшать промпт итеративно.

Чтобы не разбирать каждый вопрос вручную, выделили пять критериев: корректность формулировки, релевантность теме, соответствие уровню, глубина и полезность, вариативность.

Под капотом: как это устроено технически

Агент называется GEA (нужно быть авторизованным). В интерфейсе можно загрузить матрицу компетенций, указать требования, выбрать уровень и количество вопросов, выбрать темы и подтемы. Результат можно сохранить в файл и передать коллеге.

Матрица компетенций — документ с уровнями Junior, Middle, Senior, общими темами и подтемами. Для парсинга пробовали docx2md плюс промпт для нормализации — работало не очень. В итоге остановились на DOCX и регулярных выражениях.

Проблемы при работе с ответами ИИ: слишком шаблонные ответы, сложный парсинг, нестабильный формат, нестабильное качество. Решается промптингом — без него никуда (мы частично решили).

В промпте задаётся роль эксперта в тестировании ПО, передаются параметры: количество вопросов, уровень, что исключить, список компетенций и подразделов. Алгоритм: для каждого вопроса выбрать конкретный подраздел, сформулировать вопрос именно по нему, равномерно распределить по подразделам, создать практический сценарий. Формат — жёсткий JSON с полями: вопрос, ответ, компетенция, подраздел, сложность, уточняющие вопросы, практический сценарий.

Важный момент — ограничения. ИИ любит добавлять сложность там, где не просили. Уровень вопроса мог коррелировать с безопасностью или нагрузкой, хотя мы этого не запрашивали. Приходится явно указывать, чего делать не надо.

Используем few-shot prompting: даём в промпте 2-5 готовых примеров. Например: тема: жизненный цикл HTTP-запроса; плохой вопрос: «Что означает статус 200 OK?»; хорошие вопросы: «Какие HTTP-методы используются?», «Какие коды ошибок что означают?».

Тестировали на GigaChat, ChatGPT и DeepSeek. Точность у всех примерно одинаковая, в районе 96 %, иногда нужны ретраи. Архитектура позволяет подключить любую модель.

Практика и принятие решений

После теории — практические задачи. Проблема: одни и те же задачи кочуют с собеседования на собеседование. Задачу на тестирование функции определения типа треугольника показывали на сотнях собеседований — это не здорово.

Сделали агента, который генерирует UI-формы для тестирования: всплывающие подсказки, выпадающие списки, бегунки. Плюс чек-лист для интервьюера с позитивными и негативными сценариями. Генерация быстрая, секунд 20-30. Если что-то пошло не так — перегенерировать недолго.

И здесь ИИ иногда тоже ошибается. Пример: почти одинаковый промпт, разница в мелочах. Результат: форма сплющилась, копирайт съехал, пропали подсказки. Критично, если они были в чек-листе.

А как принять решение?

На этапе принятия решения обычно собеседует пара: один задаёт вопросы, второй ловит ошибки и анализирует социальные навыки. Появилась идея частично это автоматизировать. Сделали агента по анализу эмоций: он по видео анализирует голос, паузы, реакции. Пока в тестовой версии, качество видео обычно недостаточное для надёжных выводов.

Ещё один агент — по обратной связи. Многие кандидаты её не получают. Агент размечает общение, генерирует подсказки и развёрнутый отзыв. Ограничение: он не понимает ту «химию», которая возникает между людьми. Финальное решение — за человеком.

Крупные компании вроде Google, IBM, Microsoft используют гибридных помощников: ассистент интервьюера, генератор задач по стеку, анализ видеоинтервью.

Другая сторона баррикад: как кандидаты используют ИИ

Кандидаты тоже не стоят на месте.

  • Первый вариант — приукрашенный опыт: чужие репозитории, придуманные компании. Как с этим работать: просить разобрать подробности, объяснить архитектуру, уточнить противоречия.

  • Второй — ИИ-помощник в наушнике. Кандидат получает подсказки и повторяет почти дословно. Заметно по задержке и отстранённому голосу. Как бороться: ограничивать время на ответ, просить думать вслух. Отдельный приём — задавать вопросы про несуществующие термины. «Что такое сериполяризация в тестировании?» ИИ не любит признаваться, что чего-то не знает, и начнёт сочинять. Живой специалист засомневается.

  • Третий — deepfake. Человек с наложенным фильтром, плохой свет, выключенная камера. Как бороться: просить выполнить физическое действие — встать, повернуться. Был случай: попросили встать — «пропала связь». И так каждый раз. С улучшением технологий таких ситуаций может стать больше.

Что в итоге

И как теперь с этим жить? Как и с Agile, Scrum и Kanban-досками или вездесущим JavaScript и React с Electron, а также прочими бизнес практиками и технологиями — просто принять как данность. ИИ никуда не уйдёт, нравится это или нет. Очередная технология, которая, вероятно, будет с нами из десятилетия в десятилетие, став повсеметной нормой. Так что вопрос не в том, использовать или нет, а в том, как именно.

Интервьюеру — не соревноваться с нейросетью, а использовать как ассистента и копать в глубину. 

Кандидату — готовиться с помощью ИИ, но не превращаться в его голосовой интерфейс, это видно. 

Сейчас собеседование без человека невозможно, останется ли так через пару лет — вопрос открытый. Но на текущий момент, с текущими технологиями точно понятно одно: интервьюер без ИИ становится предсказуемым, а кандидаты уже вооружились. 

Когда ИИ говорит «да»? Когда его используют для рутины и освобождают голову для чего-то действительно полезного и интересного. Например, чтения этой статьи:)

Если вас заинтересовали наши подход и решения — с радостью готов обсудить в комментариях.