Методы экспертных оценок

[@XBR]

Вспоминается университет. Теорию выбора преподают в рамках дисциплины «Квалиметрия и системный анализ». В книгах по этой дисциплине есть неплохой материал по анализу экспертных оценок(например определение предвзятых и выбивающихся из общей картины экспертов, удаления их из результатов)

[@ildarin]

Для кого — в рамках дисциплины «экономико-математических методов», для вас — «квалиметрия и системный анализ», для нас — «проектирование экспертных систем». Довольно обширная область.

[@Shiko_Siberia]

Отлично! Жаль, что этот пост не был написан в начале года, я бы сэкономил время (писал работу по оценке технического состояния оборудования и аварийных рисках на основе экспертных оценок). Написано приятно для глаз, автор, пишите еще!

[@ansaril3]

вы тоже прочитали статью из- за первой картинки?

[@VBKesha]

Да, и был опечален что продолжения в посте нет.

[@Shiko_Siberia]

Ну мы будем надеяться, что автор подробно рассмотрит, например, многомерную матрицу рисков…

[@Bringoff]

«Методы экспертных оценок» — да, народ оценил…

[@ITguru]

Из неописанных в статье первое, что приходит на ум — метод анализа иерархий.

[@optimizer]

ага, при прочтении заголовка первое имя которое всплыло — Саати — и и странно было не найти в статье

[@djvnsk]

Хм, изображения только у меня не грузятся?

[@ildarin]

Сатью не читай, коммент пиши? habrahabr.ru/post/189610
Копипаста картинок формул с википедий. Если в конце концов не погрузятся — перезалью через интерфейс.

[@grigly]

а автор знает как поднять посещаемость статьи в пятницу…

[@VolCh]

Помнится делали систему предсказания результатов футбольных матчей, но по мнению не экспертов, а простых людей, без предварительной фильтрации по квалификации (субъективная оценка своей квалификации была в метаданных и системой не учитывалась). На троичном результате («выиграет А», «выиграет Б», «ничья» ) довольно высокая точность была, выше чем на статистическом анализе результатов матчей. Но самое интересное было разбирать ответы отдельных людей. Например, было пара человек (из пары десятков респондентов), которые ошибались в 90% случаев. Один считал себя экспертом, а другой «ничего не понимаю, футболом не интересуюсь». А вот чистого «рандома» не было — или значительная положительная корреляция, или значительная отрицательная. Но со временем точность начала падать на неизменной выборке. Гипотезы были, основной мотив всех — включалась обратная связь. Но проверить не успели — грант закончился. Вообще темой исследования было принятие решений подсознанием при неполных (вплоть до отсутствия) явных данных и ограниченном времени на ответ.

[@akmet]

Может я излишне придираюсь, но как-то сложно в данном случае добавить полезной информации, поскольку область очень обширна, а в статье сборная солянка из того, что оказалось под рукой.

Эксперты не всегда ранжируют все имеющиеся альтернативы (и не всегда это возможно). Не всегда есть возможность сравнить все альтернативы попарно.

Навскидку где-то тут же стоит упомянуть правила коллективного выбора и связанные с ними нюансы. Например, Парадокса Кондорсе, Правила Борда и тому подобные. Уже упомянутого метода анализа иерархий, ELECTRE и многокритериальную теорию полезности. Нюансы принятия решений типо парадокса Алле.

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

[@Mario_Z]

Нас обманули — расходимся.

[@ivvi]

Сама левая фотка из пяти — очень примелькавшаяся =)))

[@Gokjer]

А почему все эксперты равноценны? Я бы, как минимум, добавил веса для экспертов. Кроме того, можно попробовать сделать балансировочную систему, в которой веса экспертов зависят от предыдущих оценок, а вес, в свою очередь, влияет на вес текущей оценки.

[@VolCh]

Не вес только, а корреляцию. На старте все равны. Чуть выше я писал про исследование. На начальных этапах было выявлено, что присваивать веса кому-то априори может плохо повлиять на точность.

[@HPowEng]

Зашедшим по теме из интересного могу порекомендовать Манга Занимательная статистика, статьи vladob и теорему Эрроу о диктаторе.

Критика

• Правильное название статьи «Обзор методик...», потому что метод подразумевает конкретное приложение методики к чему-либо.
• Нет анализа того, что уже было на хабре. Хотя чтобы сделать статью интересной важен диалог, в том числе с прошлыми авторами.
• Нет фактов, примеров (в matlab, R и т.д.), графиков. Факты — это стержень обсуждения.

Оценку не ставил, так как данная ситуация обычная на хабре, автор не виноват, не повторяйте его ошибок.

Таки про картинку

И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Методика должна быть основана не на экспертной оценке, а субъективной оценке и индивидуальных предпочтениях :)