- это ответ на очень простой вопрос "А сколько именно студентов после вашего курса получает IT-работу?".
Для успеха любого IT-проекта важна его прозрачность. Чем более понятны и объективны метрики происходящих процессов, тем заказчику проще предсказать дальнейшее развитие событий и при необходимости повлиять на результат, приняв в нужный момент правильные решения.
В EdTech, готовящем кадры для IT, пока есть определенные проблемы с прозрачностью.
Возможно, из-за того, что IT-образование пока все еще лихорадит.
В середине 19 века возникла калифорнийская “золотая лихорадка”, когда многие устремились на прииски в надежде отыскать золото и разбогатеть.
Спустя 160 лет там же началась лихорадка EdTech, когда в Калифорнии были основаны такие известные компании как Coursera, Udacity и Khan Academy.
Последние годы внимание к IT-образованию не ослабевает. Многие хотят реализоваться в IT и получить высокооплачиваемую работу.
Да, вероятность выучиться и найти IT-работу сильно выше, чем обнаружить золотую жилу на прииске. Есть много хороших программ, курсов и предостаточно квалифицированных специалистов, которые готовы делиться своим опытом.
Но это не значит, что улучшать нечего.
Без простых и объективных критериев эффективности образования у студента есть ненулевая вероятность не получить ожидаемый результат.
KPI
Какие могут быть показатели эффективности образовательного процесса?
Зависит от вида обучения.
Бывает обучение, где главный индикатор эффективности - это уровень комфорта и удовольствия студента от обучения. Таковы, например, курсы про выстраивание жизненного баланса, рисование или повседневное использование нейросетей. Они должны расслаблять и развлекать, а результатом будет являться тот самый комфорт, новые впечатления и умения.
Есть обучение, результатом которого должно быть изменение жизни студента и ее радикальное улучшение. Поэтому качество такого курса должно определяться главным параметром - получилось у студента изменить свою жизнь, карьеру или нет.
В разрезе IT-образования "с нуля" результатом будет как раз ответ на вопрос "Хватило ли полученных знаний и навыков для того, чтобы начать карьеру?".
Если хватило - то значит всё отлично.
Если нет - значит деньги студента потрачены впустую, а курсу надо что-то менять.
К сожалению, некоторые мои коллеги по EdTech категорически несогласны с тем, что трудоустройство - это главный индикатор, показывающий результативность IT-курса для новичков.
“Число трудоустроенных студентов - это не тот KPI, на который мы ориентируемся. Важнее COR (NPS, иное).”.
Конечно, данные параметры тоже важны. Сложно достичь результата, если обучаться не нравится, преподаватель объясняет непонятно, а занятия скорее демотивируют, чем зажигают.
Но эти параметры оценивают только процесс обучения, но не его результат.
А еще они имеют смысл для EdTech компании, но не для студентов. Что, например, означает для обучающегося COR 45% или NPS 60%? Как это ему поможет выбрать подходящее обучение?
Есть три основные причины, почему многие IT-курсы занимают позицию “трудоустройство после обучения - это не KPI”:
Скрытый текст
Деньги
Если поставить в качестве основного ориентира число начавшихся карьер, то придется отказываться от постулата “каждый может в IT”.
Как не каждый может стать врачом, так не каждый может разработчиком или тестировщиком. Чтобы студент мог впитать необходимый набор знаний и навыков, у него изначально должны быть некоторые способности и склонности.
Из этого логично вытекает то, что не нужно пытаться учить по принципу “раз смог заплатить, значит сможет работать в IT”. И нужно вводить вступительное тестирование способностей.
Увы, для курса это приводит к ощутимому падению числа студентов, а значит и денег.
Здесь от коллег по EdTech обычно звучит контраргумент “кто придумал такой KPI” и ”вступительное тестирование - это попытка курса облегчить себе работу”.
Но число трудоустроенных студентов и успех выпускников в данной области - это одни из главных KPI любого приличного западного вуза.
И сложно представить себе качественное учебное заведение без вступительных экзаменов.
Обновление программы (и снова деньги)
Не менее частая причина отсутствия результата - это обучающая программа, оторванная от реального рынка.
Более того - при получении мощной обратной связи от работодателей "знания джуна не в нашем стеке, мы как раз перешли на ***" обновлять учебную программу придется гораздо чаще, чем раз в два года.
С контраргументом “в тестировании тест-дизайн за последние 10 лет не менялся” я частично согласна. Тест-дизайн в понимании тестирования распространенных N-звенных приложений последние годы действительно тот же, что описан у Lee Copeland’a или даже у Mayers’a.
Когда 20 лет назад я устраивалась на свою первую полноценную работу тестером, достаточно было тест-дизайна и хотя бы общего понимания принципов работы ПО.
Также до 2020 года было сложно представить, что у джуна первой работой может быть проект с микросервисами.
А до 2023 года - что может потребоваться начать карьеру на проекте с AI и векторной БД.
Низкая статистика трудоустройств
Процент начинающих IT-карьеру студентов для разных курсов отличается на порядок (!). Понятно, что далеко не все курсы заинтересованы в том, чтобы к числу трудоустройств привлекалось внимание.
Большинству студентов не нужна учеба ради учебы.
Как старатели вряд ли пересекали океан, чтобы приехать в Калифорнию просто ради удовольствия покопаться в земле, так и главная жалоба, которую высказывают студенты многих курсов, это "из нашей группы почти никто не трудоустроился".
Студенты хотят начать карьеру в новой для себя индустрии.
А так как клиент всегда прав, IT-школы вынуждены публиковать статистику, хотя бы приблизительно отражающую объективные результаты их работы.
Далее поделюсь некоторым инсайдерским взглядом на IT-образование.
Про то, какие у каждого курса есть варианты рассказать про воображаемые или реальные результаты работы.
А у студента - отличить мнимое раскрытие тайны от реального.
🔴 Число трудоустроенных на лендинге курса
Сначала - про важный психологический момент.
По мнению обычного абитуриента, работу в IT должны получить 85-95% поступивших студентов, не меньше.
На самом деле теоретический максимум - это 81% трудоустроенных.
Почему именно 81%?
Скрытый текст
а) Даже на идеальном курсе 10% студентам помешает дойти до конца обучения:
Внезапный рост загруженности на текущей работе или длительная командировка
Внезапное повышение на текущей работе с привлекательными условиями
Проблемы личного характера, развод
Легкое личное заболевание (достаточно пару ОРЗ по десять дней, чтобы значительно отстать) или серьезное заболевание в семье
Беременность
Политические обстоятельства, внезапная релокация
Финансовые проблемы
(это всё реальные примеры из практики за последние 12 месяцев.)
б) Из дошедших до выпуска 10% студентов не сможет пройти финальную дистанцию “поиск вакансий, отклики, тестовые задания, собеседования” опять же по тем причинам, что указаны выше.
90%+90% = 81%
А на практике после разных курсов получают работу от 5% до 80% поступивших.
Это расхождение между ожидаемым и реальным, увы, вынуждает некоторые курсы пытаться завуалировать реальные цифры так, чтобы они были похожи на то, что ожидает увидеть абитуриент.
Наиболее типичные приемы подать статистику трудоустройств запутанно:
Скрытый текст
Сколько было тех, кто выполнил домашки на 90%?
50 студентов из 100?
или
5 студентов из 100?
Вторая часть "[% трудоустроившихся студентов среди тех, кто] получил оффер во время обучения" вызывает еще больше вопросов.
"Гуманитарий" прочитает это как "84% студентов нашли работу".
Человек с техническим складом как "из числа тех студентов, кто нашел работу, 84% сделали это с помощью Центра карьеры".
Для сравнения - весьма неплохой курс, Яндекс Практикум, открыто сообщает, что у них лишь 60% студентов доходит до конца обучения.
Поэтому 80% (!) трудоустроившихся, да и еще до конца курса (!) - это фантастический результат.
Но, возможно, подобно предыдущей картинке, это следует читать как “80% из числа всех нашедших работу находит ее до конца обучения”.
Основной вопрос к указываемым на лендингах числам трудоустройств - в 99% случаев не раскрываются исходные данные.
Проверить, что именно такой процент студентов на самом деле трудоустроился, невозможно.
Итак, способ №1 “данные на лендинге курса”
Плюсы: можно верить на слово, не вдаваясь в детали
Минусы: нужно верить на слово, не вдаваясь в детали
Второй способ:
🟡 Проверка трудоустройства внешним аудитом
Общее недоверие к статистике трудоустройств, которую курсы “считают сами о себе”, родило предложение в виде внешних аудитов трудоустройств.
Самые известные аудиты на русскоязычном рынке делает Национальный исследовательский университет «Высшая школа экономики» (НИУ ВШЭ).
Можно найти аудиты:
Это аудиты, которые содержат много интересной информации и дают много пищи для размышлений.
В отчете аудита можно увидеть, как отличается обучение на разных программах и с какими полученными специальностями студенты находят работу легче, а с какими сложнее. Также дается информация о том, каким способом чаще и как быстро студенты находят работу.
Единственный, но существенный минус аудитов НИУ ВШЭ - в них есть информация о выпускниках, но нет никакой информации о том, сколько студентов становится выпускниками. Мы можем посмотреть, сколько выпускников трудоустроилось, но не сколько из изначально поступивших дошло до конца обучения и получило работу в IT.
50 выпустилось, 25 трудоустроилось = 50%
выглядит намного лучше, чем
100 поступило, 25 трудоустроилось = 25%
Возможно, это ограничения методики или желание не делать статистику слишком сложной. Но то, что в данной статистике учитываются только “выжившие старатели”, всей полноты информации все-таки не дает. Это подобно анализу эффективности больницы только по выжившим пациентам.
Итак, способ №2 “внешний аудит”
Плюсы: проверяет внешняя компания, данным можно верить
Минусы: есть только часть статистики
Третий способ:
🟢 Поименные списки всех поступивших студентов и всех начавших IT-карьеру
Когда мы тоже прошли аудит, я задумалась.
Может быть, есть какой-то максимально убедительный способ продемонстрировать результаты обучения?
Чтобы он был полностью открытый, прозрачный и ни у кого в результате не оставлял сомнений.
И, главное, чтобы каждый желающий мог лично проверить статистику трудоустройств.
Например, в виде открытых списков.
Вот такие-то студенты начали обучаться.
А потом из их числа такие-то в результате начали IT-карьеру.
Но раньше я никогда не видела, чтобы курсы когда-нибудь открывали подобную информацию. Очевидно, что есть какие-то подводные камни, например, персональные данные. Не каждый студент согласится, чтобы информация о нем была размещена в сети.
На практике всё оказалось не так сложно:
Первым делом необходимо найти баланс по персональным данным. С одной стороны, частично деперсонализировать данные студентов, чтобы не создавать им проблем или просто дискомфорт. С другой - оставить возможность желающим убедиться, что это всё реальные, а не нагенерированные личности.
Затем - проверить, что действующие оферта и политика персональных данных позволяют размещать нужную информацию.
Главное - заручиться поддержкой студентов нескольких первых учебных групп. Как показал опыт, желание помочь другим ("я помню, как сам выбирал обучение, пытаясь отличить качественное обучение от плохого" и благодарность к школе (если, конечно, большинство студентов нашло работу после обучения) - это то, что позволяет эту поддержку получить.
Пример открытых списков
Первый столбец - имя и первая буква фамилии каждого студента. Ссылка из этого столбца ведет на телеграм студента.
Второй и третий столбец - это результат обучения в виде трудоустройства в конкретную компанию (или его отсутствия).
Четвертый столбец - это ссылка на LinkedIn* студента.
Заблокированный в РФ LinkedIn*, а не другая соцсеть или Habr, используется по двум причинам:
Скрытый текст
Проверка трудоустройства. В LinkedIn* проще убедиться, что трудоустройство в конкретную компанию реальное, а не виртуальное. В отличие, например, от Хабра, LinkedIn* показывает полностью весь список "заявившихся" сотрудников компании, а не его часть.
И если ты указываешь, что работаешь в CompanyName, то начинаешь публично отображаться в списке сотрудников.
Демонстрация, что студент закончил не EdTech-фабрику фейковых резюме. Есть мнение, что не нужно ориентироваться на число трудоустроившихся после курса студентов, потому что появилось слишком много курсов-фабрик фейковых резюме. Которые готовы трудоустроить кого угодно.
Такая проблема действительно есть - отдельные курсы дают некоторые базовые IT-знания, но значительный упор делают на, как они называют, “составление легенды в резюме”, помощь в выполнении тестовых и обучение списыванию на собеседованиях. Вплоть до активной помощи с прохождением самого собеседования.
Как проверить, что выпускник конкретного курса не плод такого “образования”?
Проще всего оценить реалистичность опыта по резюме. LinkedIn* - публичная соцсеть, поэтому по открытым спискам выпускников со ссылкой на их профили легко убедиться в том, какая модель трудоустройства использовалась. Достаточно сверить месяц окончания курса с указанным опытом по специальности.
*В РФ LinkedIn заблокирован, но, как показал опыт, 90% российских студентов с регистрацией проблем не испытывают.
Вышеуказанное позволяет не раскрывать то, что раскрывать не нужно.
Для тех студентов, кто не начал карьеру в IT, персональных данных практически нет - только ссылка на телеграм-профиль. Ник редко совпадает с фамилией, а номер телефона у большинства закрыт для просмотра.
Для тех студентов, которые не только учились, но и нашли работу в IT, персональных данных больше - есть ссылка на публичный профиль в LinkedIn* + название компании.
При этом всё это в совокупности позволяет любому желающему самостоятельно, без посредников, убедиться в том, какая реальная эффективность у обучения.
Пользуясь открытыми данными, можно выйти на контакт с любым обучавшимся. Чтобы проверить, что списки поступивших реальные ("А Игорь С. учился в вашей группе?"), а выпускники действительно трудоустроились в конкретные компании именно по специальности.
И, в конечном итоге, убедиться, что % трудоустроившихся студентов взят курсом не из головы.
Итак, способ №3 “поименные списки”
Плюсы: самый прозрачный способ
Минусы: нужно отслеживать судьбу каждого студента
ИТОГО
Если бы вы на последние деньги приехали на золотой прииск и услышали, что "многие из работавших здесь в результате стали миллионерами" логично было попросить список всех когда-либо работавших на этом прииске.
С явным указанием тех, кто в результате стал миллионером.
Аналогичное имеет смысл сделать и при выборе IT-обучения - попросить у представителя курса ссылку на открытые исходные данные по трудоустройству.
Это самый простой способ узнать, а как обстоят дела на самом деле.
Ведь как показывает опыт, у IT-курсов есть возможность максимально прозрачно продемонстрировать результаты обучения.
Про нюансы профессионального подхода к IT-образованию еженедельно говорим в телеграм-канале “Становимся тестировщиком”.
Там же появляются анонсы следующих Хабр-статей.
