Comments 19
Есть много случаев, когда что-то похожее на эффект Данига-Крюгера работает. Водители, например, больше всего попадают в аварии в первый год - когда ещё ничего не умеют, и на третий год - когда думают что уже умеют. (Ну, по статистике ещё и в пятнадцатый - когда у него уже хрен проскочишь :)).
Я так понимаю по описанию, Вы видели вот это исследование - там на графике видны выбросы на 5 и как раз 15 год. Но там очень маленькая выборка только по Латвии и авторы таких выводов по годам тоже не делают. Куча гуглится других статей, где пики на других годах или их вообще не видно (например здесь) - это просто шум похоже.
Нет, вот как раз этого исследования я не видел - я рассматривал статистику ДПС из журнальных публикаций и отчёт региональной ассоциации автошкол Москвы (там правда только до трёхлетнего стажа).
Автор похоже специально разными отступлениями и личными мнениями пытается ее ещё больше запутать и ввести читателя в заблуждение. Формальное доказательство будет?
Это популярная статья. Если что-то непонятно, то можно попробовать по запускать мой код и почитать по ссылкам. Ссылку на одну академическую статью я дал в самом начале. Там с формулами. Тогда уж можно почитать и ответ на неё от Даннинга с Крюгером и ответ на ответ и... там много было итераций. Можно ещё сходить на английскую википедию, там в соответствующем разделе залинковано таких формальных доказательств штук 10 - ссылка.
Спасибо за ссылку на википедию, но в каком разделе там перечислены опровержения?
Ссылку на одну академическую статью я дал в самом начале.
Там много ссылок, "ад с автокорреляцией" ?
Я дал ссылку именно что на раздел википедии, где "перечислены опровержения". Ссылка поломалась? У меня работает.
Не, я про академические статьи в научных журналах, не про хабр. Вот ещё раз - Krueger and Mueller (2002).
Когда в обоих переменных есть шум, то правильнее использовать
ортогональную регрессию, а не линейную
В обоих случаях минимизируется сумма квадратов расстояний от экспериментальных точек до аппроксимирующей прямой, поэтому обе эти регрессии, вообще говоря, линейные. А разница в том, что это расстояние берется либо по перпендикуляру к прямой (ортогональная линейная регрессия) либо по вертикали (классическая линейная регрессия, или "просто линейная")
С философской точки зрения, простую линейную регрессию надо использовать, когда независимая переменная известна точно (а зависимая - с ошибками). А ортогональную - когда погрешность (шум) есть в обоих сопоставляемых переменных. Меня обескураживает тот факт, что даже в ВУЗ-ах, рассказывая про регрессионный анализ, преподаватели не всегда акцентируют на этом внимание. Хотя тут вообще никаких формул нет - просто элементарная философия, понятная "из первых принципов"
Тогда
смещение коэффициента регрессии, вызванное зашумлением, исчезает
Вот сварганил наспех на коленке иллюстрацию - пояснение:
Фактически на двух последних картинках считается регрессия ряда самого на себя (+шум). Теоретическое значение коэффициента регрессии в обоих случаях, разумеется, единица.
P.S. На шкалы на картинках не обращайте внимания, я для простоты сгенерил синтетические ряды по образцу того, что было в рабочем пространстве. Это просто иллюстрация разницы между двумя способами минимизации невязок.
Но в рамках описанной автором задачи все почему-то упорно используют именно линейную регрессию, как будто независимая переменная известна точно. Хотя вполне очевидно, что при таком дизайне исследования это допущение не выполняется.
Так что не вдаваясь в интерпретации, могу подтвердить, что с матобработкой у авторов оригинальной статьи явно были проблемы.
Что, впрочем, совершенно не удивительно, если познакомиться с приведенным вот тут коротким обзором (смотреть надо в конце стр.71). Сразу несколько разных авторов, анализировавших статьи в медицинских журналах на предмет корректности матобработки, утверждают что в большинстве медицинских исследований статистические методы
применяются неправильно
Данные слегка устаревшие, но тем не менее:
В работе [Hall, 1982] проанализированы публикации одного из известных медицинских журналов Великобритании. Ошибки в применении статистических методов допущены 78% статей:
В работе [Леонов, 2007а] показано, что лишь 10% клинической информации в российских медицинских публикациях подвергается корректному статистическому анализу
В работе [Леонов, Ижевский, 1997] - что t-критерий Стьюдента в половине случаев применяется некорректно (в этой работе тоже рассматривались диссертации и публикации в наиболее известных биомедицинских журналах).
Другие примеры, а также полные библиографические ссылки на упомянутые выше статьи можно найти все в той же нашей работе, которая доступна для скачивания вот здесь. (Если ссылка протухнет, статью также можно найти на ResearchGate)
Да, перечисленные в обзоре работы слегка устарели, и сейчас ситуация
стала немного получше
хотя публикаций с явными ошибками в медицинских журналах по-прежнему полным-полно, но все-таки их не 90%, как раньше, а значительно меньше
Но оригинальная-то работа Д&К (1999) относится-то как раз к тому самому "золотому веку" неведения, про который пишут авторы вышеупомянутого обзора. Когда многие медики еще не вкусили запретный яблочный плод от математического древа познания...
Выводы автора - типичная профанация. Что за поведенческая психология такая? А чем она отличается от когнитивной или экспериментальной или вообще поведенческого анализа?? . Яркий пример поговорки -слышал звон , не зная где он.
Да что же вы эту ветрянную мельницу мучаете то :)
-----------------
Ну смотрите, сначала просто почему это работает. Это ж не про математику, а про психологию. Вот есть Солнце и есть Земля. Все ж видят что Земля большая, Солнце маленькое. Оно движется, его можно закрыть рукой. Значит земля центр мира, а Солнце крутится вокруг и дарит там свет и тепло.
... конечно же нет :), но много веков назад людей которые так думали, было абсолютное большинство. И все эти люди нисколько не сомневались в своем "знании", и более того, окажись вы в то время и вступи с ними в спор - итог скорее всего был бы печальным, но коротким. Т.е. убежденность людей в своей правоте была просто на максимально возможном уровне, а неприятие другой точки зрения макстимально болезненным для его носителя
Но были те, кто знали больше (их сейчас называют экспертами) и они сомневались в этой стройной и всем понятной картине мира. Они исследовали, строили гипотезы и далее последовал ряд открытий. Изменение картины мира, законы Кепплера .. Кто-то нашел целую планету, засомневавшись в том, что результаты измерений известных планет верны. И т.д.
Наука движется сомневающимися людьми, которые способны свои сомнения обратить в тягу к знаниям и методично ищут новую истину.
Таких примеров есть огромное количество и почти всегда "толпе абсолютно уверенных в себе людей" противостоит (слава богу, что не прямо, иначе бы мы все еще были плоскоземельщиками) незначительное число сомневающихся экспертов. Вы только представьте, сколько де......тов, де...ов, ду...ов говорили Колумбу кто он по своим умственным способностям :) И все они свято верили, что правы и знают лучше всех.
Это просто массовый эффект, который вокруг нас все время. Просто мы, к сожалению, не эксперты и часто не даем себе труд сомневаться :)
Но понятно, что просто сомнения тоже не признак ума :)
----------------
Если же вам все таки хочется победить ветряную мельницу ... ну смотрите. Математически опровергать гипотезу как-то не очень продуктивно. Математика сама по себе штука очень в себе. Что рождается в математике, там и остается. Вопрос всегда в том, какие данные вы взяли, и как вы интерпретировали полученный результат. Если есть гипотеза, которая начинается в мире психологии, потом некими числами уходит в математику, и в конце снова в виде интерпретации возвращается в психологию, то чисто формально у вас есть три точки приложения ваших усилий:
найти что не так с входными данными. Наверняка были РЕАЛЬНЫЕ эксперименты и вы можете провести свои собственные, чтобы повторить путь, который уже пройдет и найти ошибку
погрузиться в мир математики, тут (я уже писал вам), можно начать с банального аналитического дополнения к Excel, которвый вам все бесплатно подсчитает. И не надо много писать, скрина будет достаточно тем, кто в теме
попробовать найти ошибку в рассуждениях, которые интерпретируют результаты рассчетов
Попытки же как-то что-то показать на аналогиях и прочем - это просто не имеет смысла в виду лживости аналогий и наличия простого пути, который я описал выше
Это нормально относиться скептически. Я могу и по Вашей программе тоже:
1) Реальные эксперименты: из недавнего исследование на студентах ВШЭ с похожими выводами - Magnus and Peresetsky 2022.
2) Excel: тут я не очень понял чем Вам не подходит мой код не питоне со скриншотом. Тем что не Excel?
3) Ошибка в рассуждениях: если не нравится мой аргумент с нефальсифицируемостью, то можно почитать более подробно в деталях у Gignac and Zajenkowski 2020. Тоже, кстати, у них сделано своё исследование на 900 респондентах.
Поймите, эта тема разобрана во всех вариантах до очевидности. Стоит только захотеть разобраться.
Ну блин, там же взята выборка студентов, которым пообещали бонус за точный прогноз :) Но в реальной жизни, к которой и применим эффект, никто бонус не обещает. Никто ж не приходит к вам и говорит - я вам дам бонус, если вы не совещании ... Суть же не в просто проведении неких телодвижений с цифрами. Я ж вам написал "данные" - "модель" - интерпретация. Тут же ж заранее данные взяты в исскуственной среде, которую еще и мотивировали на поведение, отличное от стандартного.
Просто так понятно и точно работает. Или EViews. Сорян, читать код, зачем?
Вы просто осознайте пример с Солнцем и Землей. Вот нагляднейший пример работы эффекта. И он очевиден без математики.
Зачем вы игнорируете реальную жизнь?
=====
Вы поймите. Математикой легко обосновать, что Солнце крутится вокруг Земли. Достаточно просто взять "верные" исходные данные
Вы, и многие, просто идедте сразу в понятную (я так предполагаю) вам область чисел, забывая о том, а что вы вообще считаете
Если вы не делаете корректный переход из реального мира в его модель - дальнейшие "упражнения" не имеют смысла.
Я не знаю как математикой обосновать, что Солнце крутится вокруг Земли:)
Да просто, любая задача на движение, векторы с 9-го класса. Точкой отсчета выбирается Земля. И все. В вашей модели, как ни старайся, все крутится относительно ее :)
Например на соударение объектов. Часто для упрощения помещают точку отсчета на один из объектов, корректируя вектор остальных :)
Видимо вы имеете в виду астрономические наблюдения. Так как раз нельзя обосновать что вокруг чего крутится, так как можно поставить в центр Солнце и мат модель будет тоже соответствовать наблюдениям - оба варианта работают. Заметьте разницу - не "можно обосновать", а именно что "нельзя обосновать". Для вращения Земли строгое доказательство пришло только с маятником Фуко. С эффектом Д-К то же самое - в него можно верить, но нужно понимать, что никаких научных данных нет так как данные прекрасно бьются с моделью вообще без психологии.
Ну так ведь оба утверждения неверны )
И земля, и Солнце крутятся вокруг общего (с учетом влияния других планет) центра масс ))
А если по делу - Вы разбирали какая была мотивация в оригинальном исследовании? На самом деле Даннинга с Крюгером критиковали за ОТСУТСВИЕ мотивации по факту. И они даже повторили это исследование с 5$ призами. С тем же результатом. Я, кстати ссылки на два исследования приводил. Вы оба успели посмотреть? Суть как раз в нефальсифицируемости. Хоть с мотивацией, хоть без мотивации, хоть у ВШЭ, хоть в оригинале получается один и тот же результат, который соответствует как модели с шумом так и психологическим объяснениям. Это как с гипотезой о Боге - нефальсифицируема.
Извините, но я на EViews с питона не буду переписывать, так как не верю, что Вы серьёзно это пишите.
Разоблачаем эффект Даннинга-Крюгера — теперь с регрессией