Здравствуйте. Как я и обещал, я выкладываю результаты Эксперимента №2, задачей которого было более детальное исследование явления выдачи большим количеством людей при усреднении правильного ответа (или невыдачи).
Спасибо всем, кто принял участие в опросе.
Прежде чем перейти к результатам, бегло рассмотрим методы анализа результатов экспериментов и измерений, широко применяемых в науке и технике. Те, кто с этим знакомы, могут сразу же переходить к пункту 2. А он, как и все прочие пункты — под катом.
Измерение — это процесс сравнения некоторой измеряемой величины с эталоном. Результатом измерения является величина равная числу, показывающему во сколько раз измеряемая величина превосходит эталон, и имеющая размерность эталона.
Измерения бывают прымые и косвенные.
Прямое измерение — процесс, при котором результатом самого измерения является искомая величина
Косвенное измерение — процесс, при котором получаются одно или несколько значений, над которыми в дальнейшем выполняются математические преобразования, результатом которых уже является искомая величина.
Но самое главное в измерениях — это погрешности. В физическом мире никогда нельзя ничего измерить точно, однако в физическом же мире никогда абсолютно точные значения и не требуются. Значения требуются в каждом отдельном случае с определенной точностью, и сам по себе результат измерения не имеет никакой ценности, если мы не можем указать его погрешность.
Погрешности классифицируют по нескольким критериям:
По частоте появления:
По природе погрешности:
По математическому характеру погрешности
Важно заметить следующее:
Как обстоят дела с погрешностями метода оценки толпой
Действительно, плотность человеческого тела по воде около единицы. И здесь «около» — это ± 1/60. Изображенный на фотографии человек, вдохнув полные легкие воздуха, легко держится на воде, не совершая никаких движений, а глубоко выдохнув начинает медленно, но уверенно уходить под воду с головой. Его вес 66.5 килограмма (ладно, масса). Следовательно, его объем – 66.5 литров.
Что нам дал анализ приведенных результатов:
Средний объем по мнению общественности (если отбросить те варианты, которые полагается отбросить) составляет 56.5 литров. Почему так? Оказывается, как сообщают психологи, в быту человеку свойственно преувеличивать объем тел правильной формы, и преуменьшать объем тел неправильной формы.
Несколько человек, в комментариях озвучили мысль о плотности человека примерно равной 1, и я даже стал опасаться, что многие начнут оценивать массу (а массу человека в диапазоне 55-75 люди на глаз оценивают очень хорошо, по словам тех же психологов), но это не спасло общественность (потому что комментариев многие не читали, и правильно делали, в той теме этого делать ненужно было): относительная ошибка составляет 13,5%.
Казалось бы, неплохо. Но.
Мы опросили 93 человек, я сидел и учитывал результаты, смотрел, чтобы не было «накруток», отсеивал негодные значения, и все ради того, чтобы получить результат с такой точностью, какую может обеспечить опрос 2-3 экспертов. При этом экспертом в данном случае будет всего лишь человек, который помнит среднюю плотность человека, или может ее быстро сообразить.
При этом мы подвергались опасности нарваться на флешмоб, или попасть в ту область, где человеческая психика типично ошибается в несколько раз.
Мы делали совершенно ненужное прямое измерение, хотя можно было сделать куда более точное косвенное.
Мой личный вывод. Это усредненное мнение общества – ненадежная и даже опасная вещь.
А кому нужно издавать книжки о его непогрешимости и всесилии, а так же о сопутствующих социальных явлениях, я расскажу в своем ближайшем подкасте.
Благодарю за внимание.
Спокойной ночи ))
Спасибо всем, кто принял участие в опросе.
Прежде чем перейти к результатам, бегло рассмотрим методы анализа результатов экспериментов и измерений, широко применяемых в науке и технике. Те, кто с этим знакомы, могут сразу же переходить к пункту 2. А он, как и все прочие пункты — под катом.
1.Теория измерений
Измерение — это процесс сравнения некоторой измеряемой величины с эталоном. Результатом измерения является величина равная числу, показывающему во сколько раз измеряемая величина превосходит эталон, и имеющая размерность эталона.
Измерения бывают прымые и косвенные.
Прямое измерение — процесс, при котором результатом самого измерения является искомая величина
Косвенное измерение — процесс, при котором получаются одно или несколько значений, над которыми в дальнейшем выполняются математические преобразования, результатом которых уже является искомая величина.
Но самое главное в измерениях — это погрешности. В физическом мире никогда нельзя ничего измерить точно, однако в физическом же мире никогда абсолютно точные значения и не требуются. Значения требуются в каждом отдельном случае с определенной точностью, и сам по себе результат измерения не имеет никакой ценности, если мы не можем указать его погрешность.
Погрешности классифицируют по нескольким критериям:
По частоте появления:
- Систематические. Ошибки этого класса возникают при каждом измерении, и имеют предсказуемую величину
- Случайные. Эти ошибки возникают непредсказуемо и могут иметь от измерения к измерению различные величины и знаки.
- Грубые ошибки. Иногда их относят к случайным. Суть их в немногократном сильном нарушении методики эксперимента или измерения (например меряли что-то неисправным прибором, или не то число в журнал измерений записали). Поскольку эти ошибки могут иметь непредсказуемую величину их выявляют и отбрасывают
По природе погрешности:
- Инструментальная. Существует в двух видах: ограниченная точность самого измерительного прибора (например школьной линейкой точнее чем с точностью 0,5мм не измеришь). И раскалиброванность прибора (редко какие две школьные линейки сходятся рисочками на 20см).
- Математическая. Тут все просто — где-то округлили, где-то какой-то интеграл численным методом взяли
- Методическая. Не осознали в полной мере суть физического явления. (использовали для расчетов физически неправильную формулу, или не совсем чисто поставили эксперимент, что-то не учли)
- Ошибки оператора. Не то сделал, не то записал и т.д.
По математическому характеру погрешности
- Аддитивная. Измеренная величина отличается от измеряемой на константу. Это возникает при сдвиге шкалы прибора. (или легком косоглазии оператора)
- Мультипликативная. Измеренная величина отличается от измеряемой в определенное число раз, т.е. погрешность составляет постоянный процент от величины.
- Прочие. Ввиду сложности и неудобства обработки результатов, содержащих отличные от первых двух погрешностей, их стараются минимизировать, сделать достаточно малыми и забыть о них.
2.Сравнение погрешностей в измерениях и в массовом опросе.
Важно заметить следующее:
- Все погрешности в традиционных измерениях, носящие детерминированный характер, могут быть обнаружены, и математически компенсированы
- Все погрешности в традиционных измерениях, носящие случайный характер, в следвие изотропности пространства накапливаются (как правило) равномерно по обе стороны от измеряемой величины, поэтому могут быть скомпенсированы большим количеством измерений с последующим усреднением.
- Величина, для которой не указана погрешность измерения нафиг никому ненужна, потому что мы не имеем ни малейшего понятия, как она соотносится с реальной. Вот вы у меня спросите: «Каков вес гуся?» Я вам скажу, что 10кг, и, если вы умный человек, вам будет наплевать на эти мои слова, потому что вы не знаете погрешность этого значения. (может я допускаю погрешность в 200%). И это относится ко всем измерениям в жизни. (а озвучиваем мы погрешность не всегда, т.к. подразумевается, что она меньше, чем существенная, хотя и тут бывают казусы).
Как обстоят дела с погрешностями метода оценки толпой
- Человеческая психика – вещь поддающаяся описанию с большим трудом. В психологии и так все «с точностью до слона».
- Процессы в человеческой психике не изотропные ни разу. Поэтому, погрешности могут накапливаться однонаправленно
- При оценке людьми, могут быть странные случаи, когда непонятно, нормальное ли это мнение, грубая ошибка или вообще умышленно введенный мусорный результат. Я до сих пор думаю, всерьез ли были названы некоторые варианты ответа.
- Погрешности человеческой психики имеют огромный разброс в зависимости от количественной, качественных и эмоциональных факторов. И если в простых случаях можно воспользоваться КПпО (Коэффициент подгонки под ответ), то в сложных случаях это не поможет. В случае с орешками мы получили небольшую относительную погрешность, а кстати, какую? (роется в архивах) 3%. Почему? Потому что до 200 все считать умеют (и мозг человеческий считать умеет неплохо «на автомате», в случает с человеческим телом ситуация будет немного хуже, а если попросить назвать количество камушков на пляже, или количество молекул воды перетекающих из Байкала в Ангару за час, то хорошо, если результат будет отличаться в количество раз не превышающее 10.
3.Ближе к телу
Действительно, плотность человеческого тела по воде около единицы. И здесь «около» — это ± 1/60. Изображенный на фотографии человек, вдохнув полные легкие воздуха, легко держится на воде, не совершая никаких движений, а глубоко выдохнув начинает медленно, но уверенно уходить под воду с головой. Его вес 66.5 килограмма (ладно, масса). Следовательно, его объем – 66.5 литров.
Что нам дал анализ приведенных результатов:
Средний объем по мнению общественности (если отбросить те варианты, которые полагается отбросить) составляет 56.5 литров. Почему так? Оказывается, как сообщают психологи, в быту человеку свойственно преувеличивать объем тел правильной формы, и преуменьшать объем тел неправильной формы.
Несколько человек, в комментариях озвучили мысль о плотности человека примерно равной 1, и я даже стал опасаться, что многие начнут оценивать массу (а массу человека в диапазоне 55-75 люди на глаз оценивают очень хорошо, по словам тех же психологов), но это не спасло общественность (потому что комментариев многие не читали, и правильно делали, в той теме этого делать ненужно было): относительная ошибка составляет 13,5%.
Казалось бы, неплохо. Но.
- Если бы была поставлена задача оценить массу, ошибка была бы намного меньше, т.к. не было бы вариантов 35кг и 80 (соответствующих 35 и 80 литрам)
- Вычисленная погрешность измерения на основе разброса самих вариантов пользователей составляет 17% (допустим, что мы не знаем настоящего ответа). При этом 40% пользователей назвали число на 17% и менее отличающееся от истинного
Долгожданный итог
Мы опросили 93 человек, я сидел и учитывал результаты, смотрел, чтобы не было «накруток», отсеивал негодные значения, и все ради того, чтобы получить результат с такой точностью, какую может обеспечить опрос 2-3 экспертов. При этом экспертом в данном случае будет всего лишь человек, который помнит среднюю плотность человека, или может ее быстро сообразить.
При этом мы подвергались опасности нарваться на флешмоб, или попасть в ту область, где человеческая психика типично ошибается в несколько раз.
Мы делали совершенно ненужное прямое измерение, хотя можно было сделать куда более точное косвенное.
Мой личный вывод. Это усредненное мнение общества – ненадежная и даже опасная вещь.
А кому нужно издавать книжки о его непогрешимости и всесилии, а так же о сопутствующих социальных явлениях, я расскажу в своем ближайшем подкасте.
Благодарю за внимание.
Спокойной ночи ))