Что я нашёл интересного на почтовом сервере метеорологов

[DerSpinner]

Ждемс продолжения анализов. Думаю вполне интересная тема. (Хотя и трудозатратная).

[pgrishin]

Раньше для проведения исследований за данными ходили на полевые испытания, а теперь, вот, на чужие сервера :)

[kurokikaze]

А если это вообще не координаты? :)

[dug]

координаты, в переписке было вот такое:

The file sib.dat contains the sequence numbers, three-letter site
code, longitude and latitude for the 61 chronologies from Vaganov et
al, comma-separated. As I typed thesein it would be wise to check
that the three letter code is found in the first line of the file
names sequence number.txt, e.g. 26.txt should be SOB, etc.

это там кто-то кому-то объяснял про данные полученные «от русских»

[XenJ]

есть мнение, что Vaganov — это ректор сибирского федерального университета.
habrahabr.ru/blogs/popular_science/76482/
Его публикации:
www.cru.uea.ac.uk/cru/pubs/byauthor/vaganov_ea.htm
Вот название одной из них:
Briffa, K.R., Shishov, V.V., Melvin, T.M., Vaganov, E.A., Grudd, H., Hantemirov, R.M., Eronen, M. and Naurxbaev, M.M., 2007
“Trends in recent temperature and radial tree growth spanning 2000 years across northwest Eurasia”
Philosophical Transactions of The Royal Society B, doi:10.1098/rstb.2007.2119
(keywords: climate change; Eurasia; tree-ring chronology; temperature)

[XenJ]

первую ссылку не ту вставил.
www.sfu-kras.ru/en/management/vaganov

[XenJ]

www.cru.uea.ac.uk/cru/people/briffa/jgr2001/

[XenJ]

а еще, если посмотреть сюда: www.cru.uea.ac.uk/cru/people/briffa/jgr2001/
можно увидеть знакомые графики.

[XuMiX]

впечатляет там самый правый график

[grep0]

Особенно хорош график Plate 3

Кривая наблюдений улетает после ~1980 года в небеса, но остальные кривые даже не пытаются за ней следовать.

[therussian]

Насколько я понимаю, данные в научных работах основываются на методах, отличных от простого наблюдения за температурой (в работе по ссылке — на толщине колец деревьев, в остальных — не знаю). С одной стороны, природа может реагировать с некоторой задержкой, тем более когда используются некие методы усреднения и контроля шумов. С другой — данные наблюдений проверить сложнее, скорее всего температуры точно записывали только метеорологические агентства, тогда как деревьев в лесу еще полно.

[Sone]

Чем то напоминает котировки на валютном рынке с кучей анализаторов:)

[therussian]

Исходя из abstract, основные выводы статьи состоят в том, что использование некой новой статистической техники (age band decomposition) анализа для пересчета предыдущих выводов из измерений толщины колец деревьев в 9 регионах Северного полушария за последние 600 лет позволяет предположить, что климат в этих регионах в период измерений (насколько я понимаю, имеются ввиду именно старые наблюдения за 15-19 век) был несколько прохладнее, чем считалось ранее. Исключение составляет Северная Сибирь, где в 15ом веке лето было более теплое, чем сейчас.

Ваганов (Евгений) отмечен как Institute of Forest, Akagemgorodok, Krasnoyarsk, Russia. Его соавтор Шиятов (Степан) отмечен как Institute of Plant and Animal Ecology, Ural branch of the Russian Academy of Sciences, Ekaterinburg, Russia.

Традиционные для борцов с глобальным потеплением выводы живут вот в этом абзаце:



(холодный 17ый век, потепление в начале 18ого, резкое похолодание в начале 19ого и не менее резкое потепление в 20 веке, дошедшее до общего уровня, который не встречался за последние 600 (и возможно 1000) лет.

[dymdym]

Мужик. Голова.
Верно подмечено что можно получить хоть потепление, хоть похолодание, а если очень надо то и конец света увидеть можно.

[dug]

всё есть в архиве, экстраполируйте ;) в 2012м наверняка конец света :)

[hypercom]

К сожалению хакеры были не настолько круты, чтобы спереть данные за 2012 год.

[1ney]

Термин «экстраполяция» вам ни о чем не говорит?

[hypercom]

Говорит, но как верно отмечено в статье, из этих данных можно экстраполировать все что вам захочется.

[1ney]

Трактовать можно как угодно, а вот при экстаполяции получится плюс-минус такой же график, что и вернет нас на исходные позиции.

[dime]

Пока не выявлено никакой закономерности, экстраполировать можно только случайным образом. То есть _как_угодно_ :)

[opeg]

нужно трейдерам отдать, они точно что-то выжмут из графиков
ну или хотябы денег заработают ))

[Pono]

Да, заработают. На продаже прогнозов :)

[ozs]

Так ведь о еще не наступил

[CAH4A]

О! Это не простая задача сделать адекватный метод оценки среднегодовой температуры по кольцам деревьев.

Экстраполяция полиномом здесь точно ничего не даст. Потому что интерполировать получиться скорее всего только бикубическим уравнением, а по формулам бикубическим нельзя экстраполировать.

Экспоненциальное сглаживание? Скоринговые модели?

Да и по этой статистике предсказать на 22 года вперёд с приемлимой вероятностью — думаю не получиться.

[ivlis]

Вы очень большой молодец! Спасибо Вам!

[piatachki]

> Это ж метеорологи, что первое в голову приходит? Конечно же это данные о температуре.

Мне сразу пришло в голову, что это — осадки. Может быть такое?

[nolled]

Вы подорвали мою веру в мировой заговор метеорологов.

[DurRandir]

А не подкинете ссылку на архив? На мининове уже нет.

[4udik]

multi-up.com/176180 пожалуйста

[brom38]

Огромный объем работы был проделан: с чувством, с толком, с расстановкой. Вызывает такое же огромное уважение!

[seventh]

Собственно, данные-то и не сказать, что секретные. Почему бы такие интересные обзоры не писать самим метеорологам.

[dug]

Они там в переписке денег на билеты просят :( душераздирающее чтиво, я пока старался не вникать. Статьи и обзоры они пишут на нерусском языке, продраться через терминологию к смыслу мне пока не удалось :) Я про этот метод стандартидации читал.

Ну и статьи и их графики это одно, а тут я сам взял и посчитал, совсем другое отношение к процессу и результатам.

[ChemAli]

Если обязать ученых публиковать такие статистические данные чтобы обычные люди могли поизводить анализ для себя (как показано выше) — будет много криков «мы все умрем!» или мир станет чуточку лучше и интереснее?

[dug]

По-моему второе ;)

Они может даже публикуют, просто никто не интересуется. Хотя я давно хочу уже на росстат подписаться и делать выводы, делать выводы. Я вообще для подкаста полез туда что-то найти интересное. У росстата наверняка полно всякой подобной ерунды про всякие опросы, которые толком никто не обозревает.

[McStrauth]

Осталось только определиться со степенью соответствия этих данных истинному положению дел. Их ведь потому и не обозревают, что веры им — ни на грош.

[ivlis]

Кто вам мешает подписаться на профильные журналы?

[Halt]

Потому что журналы ныне содержат ту информацию, которая выгодна партииидее Глобального Потепления™

[ivlis]

ну а вы читайте не МК, а нормальные журналы :) Там данные обычно приводятся. Но а если найдёте подгон, то затролли.

[VlexZ]

Я думаю, что крики будут те, которые кому-то выгодны. Согласитесь, не каждый человек сможет сделать подобный анализ. Те кто не смогут — будут верить на слово тем, кто может или говорит, что может.

[kurokikaze]

В Архив такого добра каждый день сливается тонна. Только кто ж его читать будет, кроме специалистов? :)

[dug]

ну вот я разве что специалист в разборе подобного барахла :)

[el777]

1,SCH,69.17,66.49
<....> Похоже на широту и долготу.

Хм… а мне IP-адрес напомнило :) Только зачем он метеорологам, да еще в 18-м веке? :)

ЗЫ. Я вначале не заметил запятую — думал точка :)

[Adelf]

Эти данные получены в 21 веке :) а не в 18. Ну или в конце 20.

З.Ы. Я тоже сначала про IP подумал.

[sayber]

Кокой IP — там запятая четко указанна. А это значит разные цыфры.

[otaqsun]

www.gramota.ru/

[sayber]

Вы правы, в конце раб. дня лучше писать в Word или не писать вообще. Мозг отказывается работать.

[otaqsun]

А браузер не подсвечивает?

[nochnoy]

Подскажите, откуда архивчег скачать можно?

[kay]

+1
В оригинальной статье ссылка на torrent битая.

[dug]

думаю можно так: thepiratebay.org/search/foi2009/0/99/0

[silentroach]

Посту самое место в блоге «я безумный» =)

[dug]

я колебался :)

[demin]

Я так понимаю, что о глобальном потеплении нельзя судить только по температуре городов. Насколько мне известно, основная паника из-за того что тают ледники. Возможно, что на материках температура может даже немного понижаться, в суперпозиции, тем не менее, увеличиваясь.

[dug]

ну о городах вроде вообще речи нет, деревья спилены, как говорят англичане, «посередине нигде» (ссылки на гуглмапс).

и специально написал в выводах — конечно никаких выводов о климате.

[kvk]

Вы не совсем правы.
Ледники тают, но это многолетние льды. Если посмотреть РЛС зондирование Северного Ледовитого океана, то можно увидеть, что однолетние льды наоборот становятся толще.
Так, что и тут климатологи немного ошибаются.
К тому же уже известно, о том, что Гольфстрим немного похолодел…
Данные эти у меня из моего университета где я учился на кафедре экспереминтальной физики атмосферы.

[bolkhovsky]

Хм, в то же самое время мы наблюдали динамику сокращения площади арктических льдов чуть ли не в полтора раза. По тем же самым данным RSA.

[kvk]

ждём весны, тогда и получим свежие данные.
в любом случае говорить о глобальном потеплении пока рано, как бы похолодание не началось.
ещё кстати не плохо бы сопоставить солнечную активность по годам…

[dug]

вот именно эта мысль первая пришла в голову. ну после канадских данных.

[name1ess0ne]

По ОРТ была передача о глобальном потеплении, в которой на основе такого вот сопостовления опровергалось глобальное потепление.
www.youtube.com/watch?v=KUvRCEB28fs х.з. насколько можно доверять этой передаче, но там есть ссылки на ученых, к оторые делали эти исследования. Наверно стоит найти их публикации и почитать.

[conturov]

Прочитал, все до самого конца. Интересно почитать, а потом и подумать.

[LebedevS]

Интересная аналитика, спасибо.

P.S. Можно попробовать на Oracle BI сделать отчетиков, привязать к карте. Долго, но результат будет стоить того:)

[unchqua]

По-моему стОит попросить автора раздавать файлы сразу в формате, пригодном для загрузки в различные базы данных, которыми он сам пользуется, ну конечно по мере возможности человека. Сделан такой шаг в сторону доступности столь обширной мировой информации, на этом фоне маленькие неудобства кажутся раздражающими.

[dug]

Так там и были файлы в виде пар значений год-значение, совсем чуточку грязные. Вот графики строить я не умею, хорошо как раз возился над статистикой для других своих проектов, было кое-что написано.

[sirus]

Автор, респект и уважуха!!! за исследование первоисточника, за научную работу, за то что вы любите свою работу!

[LevaniD]

Очень интересно, спасибо. А то что метеорологи денег на билеты просят это конечно очень жаль :( как обычно у нас получается что исследователи не оперируют большими суммами денег :(

[dug]

Эксель очень страшное стоит и неудобно в нём. У меня были кое-какие процедуры для работы как раз с похожими данными написаны на php, их и приспособил.

[alexbooter]

Мсье знает толк в извращениях (с)

Попробуйте GNUplot. Там такие ascii datники одной строчкой строятся. «plot 'sib.dat' u 1:2 w l»

[dug]

Была задача: уметь рисовать графики по полупроизвольным условиям, это мне нужно для моих там персональных проектов. Возник массив данных, почему бы не воспользоваться наработками, вместо того чтобы тратить время на изучение гнуплота. Я про него слышал и мне даже эксперты его советовали… Вообще надо бы освоить какой-то инструмент для подобного именно интерактивного разбора статистики.

[unbeliever]

Боюсь вам скоро предложат новую работу. Настоятельно так предложат…

[gag_fenix]

Пилить деревья на лесоповале? Некоторый опыт уже ведь есть :D

[dug]

ага, и данные анализировать, анализировать ;)

[tangro]

А ведь если бы вот это всё рассказывалось на лекции по экологии или где-нибудь в газете «Наш дом — планета Земля» — в жизни бы никто из айтишников не читал. А если то же самое расшифровано хитрыми методами из спертого у ученых архива — это супер-интересная информация. :)

[dug]

*Приз за Лучший комментарий*

[smirik]

На самом деле, и без усреднения всё хорошо видно. Через первый график замечательно проводится «прямая». А отклонения бывают вполне конкретные — у нас ведь графики на одной широте, а ось немного «двигается» (прецессия, нутация), вот и идут небольшие отклонения. Один период в 18.6 лет должен быть вообще хорошо заметен. Кстати, чтобы не «класть» всё на один график, можно отложить гео-координаты по третьей оси, а промежуток проинтерполировать.

[dug]

была мысль на счёт гео-координат по вертикальной оси, но тогда нельзя было бы 2d график рисовать, а 3d во-первых сложнее во-вторых незачем в самом то деле

[null]

Вспомнил Знамение :)
Крутой анализ :)

[Levsha100]

>>И это сегодня, а завтра кто ещё знает чего там кто где добудет.
Архив переписки с марсианами =)

[Stom]

Теперь когда Ваганов будет выступать с этими данными на конференции его закидают тухлыми яйцами с криками баян!!!

[Undo]

кажется, я знаю чем занять хаброжителей на ближайшую ночь: найду в шкафах свою магистерскую, выкину текст, оставлю 70 страниц таблиц с результатами анализов непонятно (вам) чего и вывалю в сеть. посмотрим какой там у меня тайный смысл :)
а ещё фильм «игры разума» на ум пришёл…

[danilissimus]

ну вобще там много русских.
чего стоит только 0826209667.txt из mail

From: «Tatiana M. Dedkova»
…
Subject: schijatov
…
I and Eugene…
…
The best wishes to you and Phil.

Yours sincerely Stepan Shiyatov

[amgorb]

Самое плохое, что вот теперь когда метеорологи поднимут тревогу по действительно НАСТОЯЩЕЙ проблеме, то им уже никто не поверит :(

[kurokikaze]

Следующей проблемой, очевидно, должно стать глобальное похолодание :)

[Tonna]

Смотрю я на графики и вижу наводку 50Гц… :)

[ostrovityanin]

А много у нас в России деревьев с возрастом в 600 лет?

[Mordraug]

полагаю, что в тайге их достаточно… «посередине нигде» :)

[ostrovityanin]

В нашем климате деревья не живут столько, и погибшие не хранятся долго.

[dug]

по деревьям из 15го века «консистентные», если я правильно помню, данные вот до 1996-го года, то есть это вот прям вчера спиленные

[eugyn]

На гугльмап взгляните.
Там не Ваш клиат :-)

[ostrovityanin]

Пермь?

[eugyn]

Севернее Якутска :-)

[eugyn]

>— север Восточной Сибири

ну так это там и есть

[tash]

Сиби́рский кедр, или сосна́ сиби́рская кедро́вая (лат. Pínus sibírica) — один из видов рода Сосна; вечнозелёное дерево, достигающее 35—44 метров в высоту и 1,8 метра в диаметре ствола. Максимальная продолжительность жизни 800—850 лет.

[romikk]

Детский сад…
Неужели Вы и впрямь считаете что способны сделать адекватные выводы без соответствующих знаний и такими школьными методами?
Взяли какие-то цифры, толком даже не зная что это вообще такое, построили по ним красивые графики, добавили среднее для наукообразности и сразу же потрясающий вывод о глобальном потеплении!
И туча восторженных коментов про «исследования» и «анализ»…
Давайте еще бозон Хиггса «поисследуем» на основе данных с LHC. Достать их несложно и графики изумительнейшие будут.

по теме
читать раз: igorivanov.blogspot.com/2009/11/climate-hackers.html
читать два: www.realclimate.org/index.php/archives/2009/11/the-cru-hack/

[romikk]

Эта оговорка ничего не значит, там целый абзац про тенденции в температуре.

Вывод из этого поста можно сделать один: автор хорошо умеет строить графики по данным из текстовых файлов и строить по ним среднее.

[dug]

Да ради бога, у Вас как раз ровно ноль кармы — сделайте что-то и напишите об этом?

[Kalobok]

А с чего, собственно, вы взяли, что эти данные — температура или хотя бы пропорциональны ей? Это может быть все что угодно и ваше «исследование» абсолютно ни о чем не говорит.

[Kalobok]

Тогда о чем статья? Можно было бы с тем же успехом взять случайные числа и построить кучу графиков. Сырые экспериментальные данные, как правило, требуют очень серьезной обработки.

[dug]

Ну, чуть шире: я ничего ни про какие кольца вообще не знал до этого. За вечер узнал и про кольца, и про дендроклиматологию и про стандартизацию данных, и вообще кучу всего. Но не потому что мне нравятся деревья или интересен климат. Просто интересно копаться в данных. Я как раз в этом ключе сейчас копаюсь в данных по своему проекту, потом может напишу отдельно, хотя вряд ли, конечно, такой отзыв получит.

[SerW]

Я в шоке. Чувствую себя приобщённым к детективной стори тако-о-о-о-го масштаба! )))
Спасибо за по-настоящему новое и уникальное на Хабре!

[dug]

там :) мегабайт (смайлик — это «60» набранное с шифтом) — там разве что писем от марсиан правда нету, я только призываю общественность к действию, а не обсуждению постов с цитатами на каких-то английских форумах.

кстати наши СМИ я так смотрю вообще это дело проигнорировали

[fStrange]

это дендрохронологические данные, есть такая наука дендрохронология
Вам эти графики не дадут абсолютно ничего, ибо нет методики работы с ними, нет региональных поправок.

На толщину годовых колец сильно влияет процент содержания СО2 в атмосфере, поэтому возникает масса региональных поправок

[movUA]

Так заинтриговали, что решила и сама посмотреть, что же ценного можна там получить. После того, как я в одном из файлов прочла такое:
Dear Keith,
enclosed are data concerning Yamal chronology.
— 2 — general chronology (1248 BC — 1994 AD). I have some little
doubt about 360 BC — may be it is false. It was found that
in chronology I sent you before 155 BC was false ring;
— у меня был шок ) откуда у них данные (даже если они приблезительные) за ТАКОЙ период?

[fStrange]

дендрохронология дает достоверные результаты более чем на 5 000 лет

[dug]

О, второй приз за лучший комментарий. Чисто по времени второй.

Очень, кстати, мило, я тоже на сто лет киваю в своих типавыводах, хотя конечно тонкостей формирования этих размеров колец не знаю.

[skobkin]

Если помыслить и попараноить — можно подумать, что это толковый вброс.
Хотя если посмотреть правде в глаза — сейчас такое время, что деньги выбивают из всего. Поэтому все это довольно правдоподобно. Действительно, сложно придумать кому выгодно делать такое кроме как хакеру ради удовольствия и просвящения общественности.
В ящике, кстати, тоже пытались говорить, что ГП — вброс, но там это на корню задавлено… Спрос на потепление есть — будут снимать про потепление. А скоро должны будут снять про то, что потепление — вранье — тоже ведь прибыль!

[proxor]

Мощно :) Не знал, что по кольцам дерева можно судить о климате. Пойду скачаю себе, тоже покопаюсь.

[Gumoza]

это вроде еще Леонардо додумался до этого :)

[darii]

Данные в каталоге ORIG принадлежат программе Microcal Origin, которую используют физики для построения сложных графиков. Скачайте версию постарше (актуальная, кажется 7, но общественность в силу некоторых предпочтений предпочитает Origin 4, 5 или 6).

[grep0]

Сомнительно. Может быть, у меня среди знакомых неправильные физики, но они любят R, или, на худой конец, Matlab.

[TuKTeeK]

Есть ложь, есть наглая ложь, а есть статистика (С)

Хотя сам замечал что в чужих данных копаться гораздо интереснее, чем в своих или которые просто в открытом доступе лежат. Оживленность хабра как бе намекает.

[dobersoft]

«Смотрите как похожи графики» — ненаучно. Посчитайте, пожалуйста, коэффициент корреляции, раз уж в базу загрузили.

Для того чтобы говорить о циклах (50-летних, скажем), требуется провести Фурье анализ. Так как мы имеем дело со случайным процессом, то нужную нам информацию даст преобразрвание Фурье корреляционной функции.