Анализируем странные корреляции

[ServPonomarev]

Потребление маргарина сигнализирует о снижении уровня благосостояния (бедным — маргарин, богатым — масло). Разводы — тоже функция от благосостояния. Не только нищенский быт заедает, но и банально матерям-одиночкам что-то от государства перепадает в виде субсидий.

Так что, настолько-ли эта корреляция случайна?

[KindDragon]

Под любые данные можно придумать объяснение :-)

[Einherjar]

И про влияние количества пиратов на глобальное потепление?

[KindDragon]

По моему там нету корреляции :-)
Хотя может глобально потепление привело к существенному уменьшение кол-ва пиратов из за ухудшения погодных условий на воде

[Mercury13]

Даже если очистить от тренда? А то когда одно возрастает и другое возрастает, корреляция ≈1.

[dimview]

Там не один общий тренд, а два с противоположными знаками. Температура растёт, количество пиратов уменьшается. Соответственно корреляция отрицательная.

[aush]

Температура растет, количество непиратов тоже растет.

[dimview]

Количество непиратов примерно равно населению, даже когда пиратов было много, поэтому это другая история, похожая на первый пример.

[besisland]

Научно-технический прогресс: пиратов стало проще истреблять, заводов-фабрик стало больше.

[dimview]

Как только пираты перестали топить торговые корабли, так сразу развилась промышленность, загадила атмосферу и учинила парниковый эффект.

[pvasili]

Все политики, государственные бюрократы и сми, в принципе, этим и занимаются :).

[jar_ohty]

Или так: снижение потребления маргарина снижает частоту случаев развода из-за испачканной маргарином мебели или постели.

[Griever]

даёшь корреляцию по потреблению качественного сыра в России и количеством свободных сми в ней же ;)

[32bit_me]

Количество защищенных кандидатских диссертаций в США должно быть равно нулю, кстати, в связи с отсутствием таковых.

[mickvav]

PhD?

[Coob]

В этом плане весьма забавен google trends.

[Everlier]

C сезонами отпусков и доступом в интернет?
Резкие пики на графиках — зимние каникулы, плавные сёдла — периоды летних отпусков :)

[Coob]

Большие циклы — да, а вот совпадения мелких пиков и спадов для меня загадка.

[ServPonomarev]

Большие циклы — да, а вот совпадения мелких пиков и спадов для меня загадка

Ответ простой. Страх. Прочитав в СМИ очередную страшилку про глобальное потепление, в духе «А-а-а-а мы все умрём!» люди сразу вспоминают о религии.

Зависимость достаточно явная. Корреляция не ложная.

[jar_ohty]

Плюс надо сравнить короткие скачки вниз с несостоявшимися концами света, которые, вероятно, на некоторое время поднимают уровень скептицизма.

[Eternalko]

Весенним обострением?

[playforfoodz]

давно так не смеялся :) спасибо!

[tumbler]

Интересная идея с линейной регрессией, а какие еще есть варианты по удалению трендов из данных?

[NNikolay]

Безбожники финансисты ещё часто смотрят на корреляцию приростов показателей по отношению к предыдущему периоду. Так тренд тоже уходит. С линейной регрессией результаты похожи, но для меня этот метод более наглядный и понятный.

Ещё можно убирать циклы из данных, но на 11 точках это мало что даст. Это можно использовать когда у всех показателей есть какой-то годовой (или месячный) цикл, не связанный напрямую с показателем. Прекрасный пример — поисковые запросы из комментариев сверху. Наверняка там многие циклы объясняются выходными днями и отпусками. Ну и все мы помним, что «весной и осенью у шизофреников обостряется активность».

[mwa]

Не будет у вас больше диссертаций

[Eternalko]

Спасибо за ссылку.

[DISaccount]

Все это чем то напоминает квантовую запутанность в макромире.

[igor_kleiner]

«Корреляцию нужно мерять по стационарным переменным» — извините это теорема имени вас? Кому нужно? Всем всегда?

Вы сами это придумали?

[NNikolay]

Зачем так кипятиться, вот я не понимаю?

Нет, к сожалению, это не я придумал. Это нужно было лет на сто раньше родиться, наверное :)

Смысл в том, что если мы делаем предположение о cвязи между переменными по корреляции, мы нагенерим много таких левых гипотез, если не позаботимся о трендах. Обычно это проявляется в форме введения переменной «время» в моделях множественной регрессии. Так учит делать любой учебник по эконометрике. Но здесь, я считаю, та же идея, только в профиль.

Если хочется харкора и почитать источники, википедия ведёт сюда, тема очень древняя — www.math.mcgill.ca/~dstephens/OldCourses/204-2007/Handouts/Yule1926.pdf

Но согласен, что никакой строгой теории тут нет, корреляция не обязательно значит причинность.

[adeshere]

Лучше поздно, чем никогда!
Несмотря на прошедшие шесть лет, я все-таки оставлю здесь ссылку вот на эту статью, где тема ложных корреляций рассмотрена под немного другим углом зрения.