Привет! Меня зовут Михаил Беляев, я уже 11 лет работаю в компании «1С-Битрикс» и 4 года руковожу образовательным направлением.

Сегодня хочу поговорить о нейросетях, доверии и о ценности онлайн-обучения в ИТ. Этот материал будет интересен не только авторам курсов, но и эйчарам, руководителям, тимлидам. А вопросы, которые я подниму в статье, касаются не только сферы ИТ — они актуальны для проверки знаний в любых областях и в любом формате.

Тема для размышлений появилась, когда мы решили полностью пересмотреть систему сертификации разработчиков. Она существует в компании более 10 лет — мы обучаем сотрудников наших партнеров, которые занимаются внедрением продуктов «1С-Битрикс: Управление сайтом» и Битрикс24, пишут код или настраивают продукты.

На старте этой программы мы видели свои ключевые задачи в том, чтобы помочь специалистам быстро освоить работу с платформой и дать партнерам некое подспорье, чтобы они могли строить у себя систему обучения своих джунов. И тогда, и сейчас нам важно быть уверенными в том, что наши партнёры понимают, что такое Битрикс24 или «1С-Битрикс: Управление сайтом», видят особенности продуктов, правильно с ними работают и не создают излишне сложных решений.

Мы сделали два ключевых формата.

Первый — это онлайн-курсы. Сначала мы собирали группы участников, потом перешли на полностью предзаписанный формат с текстовыми и видео-уроками. Полученные знания мы оценивали тестами.

Затем появился второй формат — сдача экзамена онлайн, под камерой. Нам важно было удостовериться, что тест проходит именно тот человек, который получает сертификат, что он знает продукт и вытаскивает ответы из своей головы, а не из головы товарища, из книги или гугла.

Сейчас многое поменялось и мы проходим через серьезную трансформацию. У нас в Битрикс24, да и вообще вокруг нас, появились GPT-модели, например, наш CoPilot. Мы понимаем, что кто угодно может попросить CoPilot не только написать текст или собрать КП, но еще и ответить на вопросы теста. А значит те тесты, которые мы даем в своих курсах, уже невозможно использовать для проверки знаний человека, они теперь годятся только для самопроверки, потому что любой вопрос теста можно задать нейросети и получить с хорошей вероятностью правильный ответ.

Мы еще раз задумались над тем, что мы хотим проверять этими экзаменами? Насколько достоверной становится вообще любая сертификация специалиста на онлайн-курсах?

Что оценивают составители тестов и работодатели

Хотим ли мы проверить, что человек может в принципе решить задачу и нам не очень важно, как он нашел решение — сам, с помощью нейросетей, с подсказкой товарищей? Такие специалисты способны искать альтернативное решение задачи, но они скорее всего не обладают знаниями для того, чтобы решить ее сами. Либо мы хотим быть уверенными, что он способен эту задачу решить самостоятельно, а значит не должен использовать искусственный интеллект на экзамене?

Мы внутри команды пришли к тому, что все-таки мы аттестуем человека и оцениваем его знания, и поэтому задание экзамена решить он должен сам.

Но при этом мы приветствуем использование нейросетей в решении рабочих задач. И именно теми специалистами, которые могли бы решить эти задачи самостоятельно. Если разработчик понимает, что он хочет получить от нейросети — она становится его помощником. Допустим, разработчик может выполнить задачу за 4 часа, но если он может сформулировать промпт для нейросети и получить нужный ответ, работа займет в 4 раза меньше.

Если ты не умеешь сам делать то, что поручаешь нейросети, то не сможешь оценить результат. И не сможешь из среднего варианта сделать хороший. Если ты хочешь сделать классный текст через нейросеть, нужно быть готовым дописывать и допиливать его самостоятельно или уточняющими промптами. Если ты используешь нейросеть для переводов, ты должен сам уметь переводить и понимать написанное.

Не умея сам, ты не сможешь проверить нейросеть — это аргумент, почему мы выбрали сертифицировать знания человека, а не его способность решать задачу любым путем. Знание дает возможность верифицировать результат, выдаваемый искусственным интеллектом. В случае разработки ты либо сам понимаешь, что вернула тебе нейросеть, либо у тебя есть опытный разработчик, который сделает ревью кода.

Например, мы используем CoPilot внутри Академии для вёрстки. У нас нет профессиональных верстальщиков на этом проекте, поэтому, когда нам нужно запилить какой-нибудь новый блок, мы обращаемся к CoPilot’у и он выдает нам код. Но для того чтобы эта схема работала, мы сначала попросили наших коллег, которые занимаются сайтом, написать модуль, проверяющий код на наличие ошибок. Так мы заметно сокращаем возможные ошибки в верстке и публикуем новые материалы гораздо быстрее.

Как мы планируем проверять людей?

Возвращаясь к тому, как мы планируем дальше проверять людей, прослушавших наших курсы.

По итогам нашего обучения мы даем практическое задание, которое можем проверить, например, настроить в продукте смарт-процесс, который на выходе дает какое-то конкретное число или прохождение определенных параметров. Также у нас есть экзамены, где разработчики пишут код.

И мы понимаем, что любая GPT-модель, в том числе и наш Copilot, может помочь и с написанием кода и с выполнением практического задания.

Поэтому приходя к нам на онлайн-экзамен, человек оказывается в нашей терминальной среде. То есть он может пользоваться только теми инструментами, которые мы ему дали.

И, соответственно, там нет ни CoPilot’а, ни других нейросетей или подсказок. Есть база документации и инструменты для создания кода. Человек работает своей головой.

С точки зрения юзабилити, это не самая дружелюбная среда, но мы оставляем именно ее, чтоб проверить реальные знания человека.

Мы понимаем, что вероятность не стопроцентная, и нас могут хакнуть, придумать какую-то уловку — как на любом экзамене в любом вузе. Но для себя мы оставим пока такой подход.

Что дальше?

Я вижу две важных задачи, которые имеют все шансы перерасти в тренды рынка:

Всем тем, кто каким-то образом аттестует людей, проверяет их знания, придется пересматривать свои системы. Мы отказались от тестов как способа оценки знаний. Их мы оставили пользователю только для самопроверки.
Возможно в ближайшем будущем мы увидим два типа сертификатов — подтверждающие реальные знания человека или прохождение тестов по итогам курсов. А может быть появится сертификация самих обучающих программ, подтверждающая, что процедура оценки исключает использование нейросетей и других подсказок. Что-то вроде AI Free.
Работодателю придется принимать решение — хочет ли он, чтобы за человека тесты проходил искусственный интеллект или ему важны знание, навыки и умение использовать нейросеть как помощника в работе. Этот вопрос касается не только руководителей, но и HR, и тимлидов.

Представим, что в компанию приходит соискатель и предъявляет 7 сертификатов, подтверждающих его знание различных языков программирования, методик и подходов. Работодателю придется проверять, получены ли они за реальные знания или просто за умение пользоваться нейросетью.

Сейчас у HR-специалистов очень скудные возможности, чтобы проверить заявленные хард-скиллы разработчика — задать вопросы или дать тестовое задание, которое соискатель может «передать» на решение в ИИ. Фактически остается лишь довериться написанному в резюме и оценить софт-скиллы.
Разработчики проверяют знания кандидатов вживую, с помощью специалистов более высокого грейда, чаще это тимлиды. Так, например, в аутстафф-сегменте агентства, набирая сотрудников к себе в штат ограничивается лишь собеседованием, понимая, что своего специалиста всегда можно доучить. А уже на собеседовании у клиента эти же аутстафферы пишут тестовое задание во внутренней закрытой среде, где невозможно списать или попросить помощи у нейросети.

Проверку хард-скиллов придется перепридумать в зависимости от того, насколько важно вообще команде, тимлидам то, как кандидаты прошли экзамены на курсах. Если они набирают джунов, то сертификация особой роли не играет, за ними все равно придется перепроверять, а их самих придется дообучать. Если речь о миддлах и выше, возможно им критически важно, чтобы на эти позиции попадали люди, обладающие собственным знанием и опытом, умеющие использовать нейросеть не только для ответов на тесты.

И здесь уже впору говорить о том, что многим компаниям приходится выстраивать собственную градацию рисков, например, определяя, на каких позициях сотрудникам допустимо пользоваться нейросетью, где работа с искусственным интеллектом требует дополнительной проверки, а где — невозможна совсем, человек должен уметь писать код сам.

Но это тема для следующих материалов — я расскажу о том, как научиться доверять нейросетям и включать их в рабочие процессы, про матрицу рисков и грани технооптимизма. Не переключайтесь, будет интересно!

А пока поделитесь своим опытом — доверяете ли вы сертификатам онлайн-курсов и что для вас важнее — уверенное знание или умение решить задачу альтернативным способом?

Нейросети и люди: проверять, доверять или запрещать