Методика оценки знаний инженера. Путь архитектора и путь эксперта

    Можно ли на одной картинке представить уровень знаний и навыков инженера или даже команды?
    Параметров, на самом деле, много. Но у нас есть замечательный пример, как сложное можно визуализировать достаточно простым и наглядным способом.

    Я говорю про (думаю всем известный) квадрант Гартнера.

    Эта статья о том, как был применен подобный подход визуализации для оценки уровня знаний и навыков сетевых инженеров в одной российской компании.

    Двумерный подход


    При проведении вышеупомянутого опроса было принято решение отображать уровень знаний инженера в двух измерениях. Величина, откладываемая по оси OX характеризует глубину знаний а по оси OY – широту технического кругозора.

    Конечно, важно изначально ограничить круг рассматриваемых тем, в соответствии с требованиями компании. В нашем случае это были R&S, Security, Service Provider.

    image

    Оценка как «широты», так и «глубины» идет по 10-ти бальной шкале.

    Можно выделить 4 квадранта, которые мы условно назовем:

    • начинающий инженер – квадрант I, серая зона
    • тех. менеджер – квадрант II, голубая зона
    • профессионал широкого профиля или архитектор – квадрант III, зеленая зона
    • узкий специалист или эксперт – квадрант VI, желтая зона

    Так же в каждом квадранте можно выделить подзоны. Так, например, можно считать, что если знание инженера находится в зоне «широта» 7 – 10, «глубина» 7 – 10, то это инженер, обладающий фундаментальными, экспертными знаниями по многим технологиям, с большим опытом и навыками, способный выполнять фактически любые задачи.

    На этом графике так же можно учесть такие характеристики как

    • уровень мотивации
    • коммуникативные качества
    • способность к обучению
    • аналитические способности
    • ...

    Так, хорошие коммуникативные качества, как нам кажется, являются плюсом к «широте», т.к. помогают инженеру получать информацию по смежным направлениям. Остальные 3 качества являются плюсом как для “глубины”, так и для “широты”.

    Возможно, это несколько искажает картину на данный момент, но позволяет позволяет учесть динамику, что на наш взгляд является существенным фактором.

    Одномерный подход


    Одномерный подход визуализации имеет некоторое преимущество перед двумерным, т.к. позволяет ввести однозначную оценку «лучше-хуже» для инженеров и таким образом ранжировать их по уровню знаний и навыков. Но такой подход возможен лишь в том случае, если определена конечная цель в развитии инженера.

    Мы можем выделить как минимум две цели:

    • архитектор

    Предполагает IT эрудицию и достаточно глубокий уровень знаний по многим направлениям.

    • эксперт в узкой области знаний

    Инженер сосредотачивается на одном направлении. Знает детали, нюансы, теорию, возможно вплоть до уровня программирования, математики, знания комплектующих …

    Есть еще так же третья цель (IT менеджер), которую мы не будем рассматривать в данной статье, т.к. она не является инженерной целью.

    Как нетрудно заметить, эти цели соответствуют третьему (архитектор), четвертому (узкий специалист) и второму (IT менеджер) квадрантам двумерной схемы визуализации.

    В каждом из этих двух (инженерные цели) случаев мы можем привязать одномерную схему к двумерному подходу. Таким образом, на карте двумерной схеме мы можем получить

    • Путь архитектора
    • Путь эксперта

    Путь архитектора


    image

    Можно выделить 4 стадии в развитии, которые условно назовем

    1. Начальное знание
      Не требует пояснений.
    2. Узкий профиль (или “Операционное знание”)
      Инженер освоил теорию и овладел набором навыков на достаточном для выполнения своих операционных задач уровне. Он является специалистом в определенной области телекома, но его знания ограничены либо определенной технологией, либо тем, что от него требуется в компании. Такой инженер хорошо справляется с текущими, операционными задачами, но такой инженер не обладает квалификацией, необходимой для принятия архитектурных решений.
    3. Архитектор
      Инженер освоил на хорошем уровне несколько направлений в телекоме. Он обладает хорошим кругозором. Разбирается в различных вендорах, типах оборудования, знает “best practices”, различные рекомендованные дизайны,…
      Это знание позволяет инженеру выбрать для каждой конкретной задачи правильный подход, дизайн, вендоров, оборудование, …
      Но такой инженер пока не обладает достаточными навыками для определения тренда развития отрасли или отдельных направлений телекома.
    4. Звезда
      Инженер обладает полнотой знаний. Это результат как углубления, так и расширения знания ступени архитектор.
      Такие инженеры определяют развитие индустрии.

    Путь эксперта


    image
    Его стадии похожи на стадии “Пути архитектора”, но только не в области всей индустрии (или большой области знаний, связанной с телекомом), а в каком-то одном, довольно узком направлении. То, что этот путь выходит за границы шкалы говорит о том, что чтобы достичь «уровня звезд» и таким образом быть способным определять направление развития данной узкой области, обычно требуется не только отличный уровень инженерного знания, но и специфическое знание (например, знание комплектующих, радиоэлектроника, программирование, математика …)

    Несколько дополнительных замечаний


    • Четыре стадии в пути архитектора и эксперта полностью соответствуют четырем стадиям развития инженера
    • Как показал опыт, есть неоднозначность в подобной оценке и большой фактор имеет субъективная оценка интервьюеров. В принципе, когда мы говорим про квадрант Гартнера, то субъективность всегда присутствует. Но в данном случаем мы можем формализовать задачу и исключить субъективность.

    Пример формализированного (объективного) подхода


    У вас есть опросник, состоящий из 100 вопросов. Опросник соответствует 10 темам – по 10 вопросов на каждую тему. Все темы равнозначны с точки зрения важности. Предполагается, что тест составлен «идеально» и если экзаменуемый ответил на все 10 вопросов по теме, то он знает ее на 100 процентов (и этого, конечно, никогда не бывает, но в этой статье мы говорим не о том, как составить тест, а о методе оценки, когда вы уже смогли каким-то образом определить распределение знания и навыков по темам).

    После выполнения теста вы будете иметь распределение баллов (количество отвеченных вопросов в каждой теме) по 10 темам. Например, это может быть что-то типа:

    Q1: 9
    Q2: 7
    Q3: 4
    Q4: 6
    Q5: 0
    Q6: 3
    Q7: 6
    Q8: 1
    Q9: 1
    Q10: 3

    Хорошо. И какое место в нашей двумерной визуализации займет оценка этого инженера?
    Мы видим, что на 4 вопроса уровень выше среднего, а на 6 – ниже. В принципе можно предположить, что инженер находится, в верхней части квадранта IV или … в нижней части квадранта III. Куда добавить баллы за знания – в “ширину” или “глубину”? Неоднозначность. И, не очень понятно, как правильно.

    Могут быть выбраны разные алгоритмы. Я для примера написал простой python script и настроил его (меняя параметр factor) в соответствии со своим интуитивным восприятием.
    Так, например, для этого случая этот скрипт дает результат

    x = 8, y = 5

    То есть это верхняя часть квадранта IV.

    Это значит, что на пути архитектора этот инженер находится на грани между 2-ой и 3-ей ступенью.

    Но не слишком доверяйте формальному подходу. Ничто не заменит живое общение. Даже очень сильный инженер может сдать тест не очень хорошо. Просто потому, что вот в последнее время он работал в другом направлении и подзабыл что-то, или он просто не любит тесты или плохо спал… А с другой стороны, хороший результат может быть следствием того, что инженер заранее знал вопросы теста или вопросы вашего теста слишком легкие.

    Поэтому дальше при устном собеседовании вы можете определить точнее, на какой все же ступени находится инженер.
    • +16
    • 11,7k
    • 6
    Поделиться публикацией

    Комментарии 6

      +6
      Может вы пример своего опросника сперва покажите, чтобы оценить его адекватность решаемым им задачам?
      А то [синтетических] тестов [личности] так-то в мире много, а пользы от них не очень. Не говоря уже о том, что на определенных категориях людей они не действуют.
        0
        Да, это правильный вопрос. Не возможно составить такой опросник. Пример был приведен для того, чтобы показать как работает метод, когда вы уже каким-то образом определили в каких темах какой уровень знания. В конкретном случае нашего опроса там было несколько слоев собеседования. Очень важной темой было обсуждение опыта, какие задачи решались, решаются, какими методами, почему, какое взаимодействие в команде… Это была первая часть собеседования. Выжным моментом так же была оценка самим инженером уровня своего знания по различным темам. Далее — технические задачи по темам, где инженер считал себя сильным. После этого мы получали приблизительное распределение по знаниям. И совсем не обязательно все это делать формально. Обычно все же после собеседование у вас складывается впечатление насколько «глубоко» и «широко» знание. Но, конечно, это все довольно субъективно. Но собеседование вообще-то штука субъективная.
        +1
        Люблю, когда n-мерные проблемы описывают двухмерными моделями. Всё так просто становится.

        Во-первых, какой «менеджер» без soft skills? По совести, даже архитектор (работающий в команде) должен иметь недюжие коммуникационные способности.

        Во-вторых, картинка выглядит так, как будто у нас одно знание и мы его либо «расширяем», либо «углубляем». В реальности, таких областей практически несчётное количество (т.к. невозможно указать на границы между областями).
          0
          Да, все правильно. Это конечно же не совсем «ширина» и не совсем «глубина». Невозможно так просто это формализовать, но «ширина» и «глубина» ялвяются неплохим первым приближением. Дальше же вы конечно должны как-то здесь учесть и soft skills и мотивированность и способность к обучению… Собственно, квадрант Гартнера тоже сложная штука и не понятно до конца, как его строят, но все же он нагляден и на мой взгляд отражает положение вещей.

          Так и здесь. В принципе видно же насколько глубоко инженер знает темы и может решать сложные задачи и в какой степени он знаком со всем спектром необходимого знания. При этом софт скилы ведь тоже можно учитывать.

          Ну и все же эта статья не про менеджеров, а про инженеров :)
          0
          Плохо, что нет примерного списка вопросов. Потому как в любом тесте у нас есть проблема наблюдателя/составителя.
            0
            Статья ведь не про тест. У нас как такового теста не было. Была просто сильная тестирующая тех команда (CCIE/JNCIE R&S, Security, SP) и по большому счету просто беседа с теоретическими/практическими вопросами/задачами.

          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

          Самое читаемое