Методы экспертных оценок

    Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?


    Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

    Краткий ликбез


    Методы экспертных оценок являются частью обширной области теории принятия решений, а само экспертное оценивание — процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора).
    В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

    Существует две группы экспертных оценок:
    1. Индивидуальные оценки основаны на использовании мнения отдельных экспертов, независимых друг от друга.
    2. Коллективные оценки основаны на использовании коллективного мнения экспертов.

    Грубо говоря, к первой группе относится оценка статей на хабре, голосование в опросах и т.д., когда каждый эксперт принимает решение самостоятельно. Подбор (отсев) экспертов осуществляется посредством кармы. Именно первая группа превалирует в интернете 2 за счет возможности охвата большего числа экспертов.

    Способы измерения объектов
    1. Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
    2. Парное сравнение — это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.
    3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.

    Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения.

    aij — оценка признака экспертом. n — количество признаков, m — количество экспертов.
    Затем, подсчитывается Siсреднее значение важности признака.

    Метод задания весовых коэффициентов (aij)
    1. всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);
    2. наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

    Метод последовательных сравнений заключается в следующем:
    1. эксперт упорядочивает все признаки в порядке уменьшения их значимости: А1>A2>…>An;
    2. присваивает первому признаку значение, равное единице: A1=1, остальным же признакам назначает весовые коэффициенты в долях единицы;
    3. сравнивает значение первого признака с суммой всех последующих.


    В парном сравнении не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство. Парное сравнение можно проводить при большом числе объектов, а также в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо их ранжирование.
    При использовании метода чаще всего составляется матрица размером nxn, где n – количество сравниваемых объектов.

    При сравнении объектов матрица заполняется элементами aij следующим образом (может быть предложена и иная схема заполнения):
    • 2, если объект i предпочтительнее объекта j (i > j),
    • 1, если установлено равенство объектов (i = j),
    • 0, если объект j предпочтительнее объекта i (i < j).

    Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие. В этом случае диапазон изменения характеристик объекта разбивается на отдельные интервалы, каждому из которых приписывается определенная оценка (балл), например, от 0 до 10. Именно поэтому метод непосредственной оценки иногда именуют также балльным методом.



    А теперь, самое вкусное...

    Анализ результатов экспертных оценок


    Для анализа результатов применяются различные методы математической статистики. Причем, они могут комбинироваться и варьироваться в зависимости от типа задачи и необходимого результата.

    Формирование обобщенной оценки


    Итак, пусть группа экспертов оценила какой-либо объект, тогда xj – оценка j-го эксперта, где m – число экспертов.
    Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана, за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.
    Определение относительных весов объектов
    Иногда требуется определить, насколько тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что нужно определить вес каждого фактора. Отличается от формирования обобщенной оценки тем, что определяется не общая оценка объекта, а оценка для каждого его признака.
    А так же
    Существует огромное множество возможных методов обработки оценок.
    Как вариант, использовать систему рейтинга Эло для метода парных сравений.

    Метод анализа иерархий
    Парадокс Кондорсе
    Правило Борда
    ELECTRE

    Причем, результат может состоять из нескольких алгоритмов, переплетаясь с другими. Например, алгоритм расчета коэффициента компетентности эксперта может влиять на среднестатистическую оценку этого эксперта и т.д.

    Установление степени согласованности мнений экспертов


    В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
    Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса или статистическая вариация.
    Итак, способы вычисления меры разбрса:
    Вариационный размах
    image

    Среднее линейное отклонение
    image

    Среднеквадратическое отклонение
    image

    Дисперсия
    image

    Коэффициента ранговой корреляции Спирмэна
    image
    Коэффициент (величина image) может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.
    xij – ранг (важность), присвоенный i-му объекту j-ым экспертом, xik – ранг, присвоенный i-му объекту k-ым экспертом, di – разница между рангами, присвоенными i-му объекту.

    Коэффициент конкордации Кенделла
    Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.
    Вычисление
    Определяется средний ранг совокупности признаков:
    image
    Вчисляется отклонение dj среднего ранга j-го признака от среднего ранга совокупности:
    image
    Определяется число одинаковых рангов, назначенных экспертами j-му признаку – tq.
    Определяется количество групп одинаковых рангов – Q. Определяется коэффициент конкордации по формуле:
    image
    где
    image


    Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

    Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

    Заключение


    Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

    Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

    Ссылки:
    Википедия — свободная энциклопедия
    www.rae.ru
    emm.ostu.ru
    teorver-online.narod.ru
    www.habarov.spb.ru
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 19

      +1
      Вспоминается университет. Теорию выбора преподают в рамках дисциплины «Квалиметрия и системный анализ». В книгах по этой дисциплине есть неплохой материал по анализу экспертных оценок(например определение предвзятых и выбивающихся из общей картины экспертов, удаления их из результатов)
        0
        Для кого — в рамках дисциплины «экономико-математических методов», для вас — «квалиметрия и системный анализ», для нас — «проектирование экспертных систем». Довольно обширная область.
        +1
        Отлично! Жаль, что этот пост не был написан в начале года, я бы сэкономил время (писал работу по оценке технического состояния оборудования и аварийных рисках на основе экспертных оценок). Написано приятно для глаз, автор, пишите еще!
          +25
          вы тоже прочитали статью из- за первой картинки?
            +9
            Да, и был опечален что продолжения в посте нет.
              +2
              Ну мы будем надеяться, что автор подробно рассмотрит, например, многомерную матрицу рисков…
              +2
              «Методы экспертных оценок» — да, народ оценил…
              +3
              Из неописанных в статье первое, что приходит на ум — метод анализа иерархий.
                0
                ага, при прочтении заголовка первое имя которое всплыло — Саати — и и странно было не найти в статье
                +2
                Хм, изображения только у меня не грузятся?
                  0
                  Сатью не читай, коммент пиши? habrahabr.ru/post/189610
                  Копипаста картинок формул с википедий. Если в конце концов не погрузятся — перезалью через интерфейс.
                  +5
                  а автор знает как поднять посещаемость статьи в пятницу…
                    +2
                    Помнится делали систему предсказания результатов футбольных матчей, но по мнению не экспертов, а простых людей, без предварительной фильтрации по квалификации (субъективная оценка своей квалификации была в метаданных и системой не учитывалась). На троичном результате («выиграет А», «выиграет Б», «ничья» ) довольно высокая точность была, выше чем на статистическом анализе результатов матчей. Но самое интересное было разбирать ответы отдельных людей. Например, было пара человек (из пары десятков респондентов), которые ошибались в 90% случаев. Один считал себя экспертом, а другой «ничего не понимаю, футболом не интересуюсь». А вот чистого «рандома» не было — или значительная положительная корреляция, или значительная отрицательная. Но со временем точность начала падать на неизменной выборке. Гипотезы были, основной мотив всех — включалась обратная связь. Но проверить не успели — грант закончился. Вообще темой исследования было принятие решений подсознанием при неполных (вплоть до отсутствия) явных данных и ограниченном времени на ответ.
                      +3
                      Может я излишне придираюсь, но как-то сложно в данном случае добавить полезной информации, поскольку область очень обширна, а в статье сборная солянка из того, что оказалось под рукой.

                      Эксперты не всегда ранжируют все имеющиеся альтернативы (и не всегда это возможно). Не всегда есть возможность сравнить все альтернативы попарно.

                      Навскидку где-то тут же стоит упомянуть правила коллективного выбора и связанные с ними нюансы. Например, Парадокса Кондорсе, Правила Борда и тому подобные. Уже упомянутого метода анализа иерархий, ELECTRE и многокритериальную теорию полезности. Нюансы принятия решений типо парадокса Алле.

                      Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

                      Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

                        0
                        Нас обманули — расходимся.
                          0
                          Сама левая фотка из пяти — очень примелькавшаяся =)))
                            0
                            А почему все эксперты равноценны? Я бы, как минимум, добавил веса для экспертов. Кроме того, можно попробовать сделать балансировочную систему, в которой веса экспертов зависят от предыдущих оценок, а вес, в свою очередь, влияет на вес текущей оценки.
                              0
                              Не вес только, а корреляцию. На старте все равны. Чуть выше я писал про исследование. На начальных этапах было выявлено, что присваивать веса кому-то априори может плохо повлиять на точность.
                              0
                              Зашедшим по теме из интересного могу порекомендовать Манга Занимательная статистика, статьи vladob и теорему Эрроу о диктаторе.
                              Критика
                              • Правильное название статьи «Обзор методик...», потому что метод подразумевает конкретное приложение методики к чему-либо.
                              • Нет анализа того, что уже было на хабре. Хотя чтобы сделать статью интересной важен диалог, в том числе с прошлыми авторами.
                              • Нет фактов, примеров (в matlab, R и т.д.), графиков. Факты — это стержень обсуждения.

                              Оценку не ставил, так как данная ситуация обычная на хабре, автор не виноват, не повторяйте его ошибок.

                              Таки про картинку
                              И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

                              Методика должна быть основана не на экспертной оценке, а субъективной оценке и индивидуальных предпочтениях :)

                              Only users with full accounts can post comments. Log in, please.