Comments 2
Спасибо за вопрос, это как раз был ключевой момент. Было проведено изначально около 40 интервью школьников, студентов и молодых специалистов. Составлена сводная таблица их ожиданий и проблем, и в приоритете были "я не знаю, какой профессии мой тип и образование соответствует и почему", "я попробовал профессию Х, мне не зашло, теперь ищу что-то новое, не непонятно как это сделать" и пр. Так что из гипотезы о востребованности такого сервиса понимание его нужности стало фактом.
Затем встал вопрос о метриках качества. И тут была опасная развилка.
С одной стороны, есть традиционные методы построения психологических профилей, например "ваш тип личности оптимален для работы типа человек-человек", такие результаты часто получаются на сайтах "традиционных" тестов, например, солидный корпус такого рода тестов есть на сайте hh.ru и еще много где. Эти тесты имеют прекрасную точность по метрике типа ROC-AUC ... и никому не нужны ввиду их банальности.
С другой стороны, есть "ручная" работа опытных психологов, педагогов, руководителей лабораторий и отделов, которые умеют выявить перспективные предрасположенности молодежи и выстроить их начало карьеры так, что все довольны. Но это ручной труд и "химия" интуиции, эмоциональной включенности в человека и всего прочего, не поддающегося оцифровке.
Мы выбрали метрику, которая на начальных этапах трудоемка, но сочетает оба этих подхода. Сначала человек проходит ряд тестов, строится цифровой его профиль, он или она указывают свою карьерную цель, и из базы образовательных программ формируется набор курсов, который ведет к цели. И после этого опытнейшие эксперты по профориентации (в том числе руководители учебных программ РАНХиГС, спасибо вам!) вручную "профориентировали" ребят и формировали их карьерную траекторию. И вот только затем сравнивали с тем, что порекомендовал наш ИИ-движок, и оценивали его.
Сразу скажу, что получилось далеко не сразу, и еще есть над чем работать, но в сентябре на выборке из 36 старшеклассников и студентов были получены те самые метрики - удовлетворили более 70% пользователей и примерно 80% экспертов.
Чуть более точно - все результаты эксперты оценивали по 5-балльной шкале, по каждой специальности было минимум 5 экспертов. И если хотя бы один из экспертов считал, что рекомендация "на тройку", то такую рекомендацию признавали неудовлетворительной.
Лучше всего у нас получается строить траектории в области "цифровых профессий", там больше данных и они нам понятнее. Хуже всего - по редким профессиям, например, для человека с опытом работы инструктора в автошколе и амбициями в сторону стремительной карьеры на гос.службе метрика была стабильно неудовлетворительна. Но это нормально )
Управление своей образовательной и карьерной траекторией