Методы экспертных оценок

Вспоминается университет. Теорию выбора преподают в рамках дисциплины «Квалиметрия и системный анализ». В книгах по этой дисциплине есть неплохой материал по анализу экспертных оценок(например определение предвзятых и выбивающихся из общей картины экспертов, удаления их из результатов)

Отлично! Жаль, что этот пост не был написан в начале года, я бы сэкономил время (писал работу по оценке технического состояния оборудования и аварийных рисках на основе экспертных оценок). Написано приятно для глаз, автор, пишите еще!

вы тоже прочитали статью из- за первой картинки?

Из неописанных в статье первое, что приходит на ум — метод анализа иерархий.

Хм, изображения только у меня не грузятся?

а автор знает как поднять посещаемость статьи в пятницу…

Помнится делали систему предсказания результатов футбольных матчей, но по мнению не экспертов, а простых людей, без предварительной фильтрации по квалификации (субъективная оценка своей квалификации была в метаданных и системой не учитывалась). На троичном результате («выиграет А», «выиграет Б», «ничья» ) довольно высокая точность была, выше чем на статистическом анализе результатов матчей. Но самое интересное было разбирать ответы отдельных людей. Например, было пара человек (из пары десятков респондентов), которые ошибались в 90% случаев. Один считал себя экспертом, а другой «ничего не понимаю, футболом не интересуюсь». А вот чистого «рандома» не было — или значительная положительная корреляция, или значительная отрицательная. Но со временем точность начала падать на неизменной выборке. Гипотезы были, основной мотив всех — включалась обратная связь. Но проверить не успели — грант закончился. Вообще темой исследования было принятие решений подсознанием при неполных (вплоть до отсутствия) явных данных и ограниченном времени на ответ.

Может я излишне придираюсь, но как-то сложно в данном случае добавить полезной информации, поскольку область очень обширна, а в статье сборная солянка из того, что оказалось под рукой.

Эксперты не всегда ранжируют все имеющиеся альтернативы (и не всегда это возможно). Не всегда есть возможность сравнить все альтернативы попарно.

Навскидку где-то тут же стоит упомянуть правила коллективного выбора и связанные с ними нюансы. Например, Парадокса Кондорсе, Правила Борда и тому подобные. Уже упомянутого метода анализа иерархий, ELECTRE и многокритериальную теорию полезности. Нюансы принятия решений типо парадокса Алле.

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Нас обманули — расходимся.

Сама левая фотка из пяти — очень примелькавшаяся =)))

А почему все эксперты равноценны? Я бы, как минимум, добавил веса для экспертов. Кроме того, можно попробовать сделать балансировочную систему, в которой веса экспертов зависят от предыдущих оценок, а вес, в свою очередь, влияет на вес текущей оценки.

Зашедшим по теме из интересного могу порекомендовать Манга Занимательная статистика, статьи vladob и теорему Эрроу о диктаторе.