Пару недель назад я публиковал статью про то, что я нашёл для себя интересного внутри почтового архива метеорологов. Кроме прочих советов и комментариев мне указали на архив данных, который распространяет аж ООН и конечно я не мог пройти мимо. Кроме всего прочего в нём, конечно, есть и данные о температуре. Я сразу захотел совместить эти данные с данными о годичных кольцах деревьев и посмотреть что получится.
Под катом как обычно минут 10 чтения и много графиков, на этот раз есть даже карта. Ознакомление с первой статьёй рекомендуется, хотя и не обязательно.
Итак база данных изначально была в виде кучи mdb-файлов, возиться в которых совершенно не хотелось. К счастью, там прилагалась какая-то мутная программа специально для экспортирования в csv-файлы. Я опущу проблемы, с которыми я при этом столкнулся, скажу только, что на загрузку результирующего csv-файла я потратил дня два, в то время как на загрузку вообще не предназначенных, казалось бы, для этого данных из украденного архива у меня ушло не больше часа.
По результатам получилось две таблицы: перечень станций (с названием, страной расположения, широтой, долготой, возвышением и т.д.) и собственно средние температуры по этим станциям. Данные приводятся по среднемесячной температуре, но я их сводил к одной цифре за год, имея в виду, что мне надо будет это всё сравнивать с данными по годовым кольцам деревьев. Удивительно, но данные с метеостанций приведены за довольно длительный период.
Первое, что приходит в голову – это построить график средней температуры по стране за последние сто лет. Так как страна метеостанций была указана, то возиться с этим не пришлось и первый график построился совершенно без проблем. Ссылки с картинок — сами на себя.
Среднегодовая температура на территории РФ.
График, конечно, довольно тоскливый вышел, да ещё и ползёт вниз. Но ничего не поделаешь. В любом случае, интересна будет температура не за весь год, а только за те месяцы, когда активно растут деревья (далее я называю это средней за лето температурой). Я решил, что это май-сентябрь включительно, этот график выглядит уже не так тоскливо, но тоже явно идёт вниз:
Средняя за лето температура на территории РФ.
Тогда я решил на том же графике отобразить количество действующих в соответствующий год метеостанций, они показаны серым цветом:
То есть до 50-х годов метеостанций было гораздо меньше, и что важнее: их состав изменялся. Вот на этот простенький факт я хочу обратить внимание особо, потому что путём изменения состава метеостанций можно запросто прибегать к любым спекуляциям. Мало того, что нам редко говорят о методе, который использовался для получения данных о колебаниях температуры, так тем более никто и никогда не говорит о составе, расположении и изменении в составе точек съёма информации. А зачем? Телезрителю ведь не это интересно. Начни мы строить сейчас метеостанции по южным границам – сразу найдётся потепление, прямо на следующий год будут подтверждённые результаты.
Но я не об этом, я о деревьях. 50 лет более-менее стабильного состава метеостанций должно быть вполне достаточно чтобы заметить наличие или отсутствие корреляции между кольцами деревьев и температурой, поэтому я не очень расстроился.
Была ещё одна… не то чтобы проблема, но сложность. Данные о деревьях, взяты довольно кучно: такой полоской в малонаселённой части России. А как расставлены метеостанции я просто не знал, но скорее наоборот, вдоль населённой части страны, поэтому сравнивать просто так средние значения тут и там не очень хотелось. Хорошо бы было найти такую станцию, рядом с которой было бы спилено дерево. Ничего более путного, чем просто нарисовать все станции и все деревья по координатам на чистом листе в голову не пришло. Дело это нехитрое, поэтому не долго думая этим я и занялся. Правда пришлось загрузить ещё небезызвестный sib.dat (который содержит перечень 51-го дерева, как раз с координатами), но это времени тоже не особо заняло.
Зелёными пятнами отмечены места спила деревьев по данным файла sib.dat, красным – метеостанции. По-моему уже похоже на знакомые с детства очертания. Сразу захотелось наложить эти пятна на настоящую карту. Проблема ещё в том, что большинство карт рисуются не в прямоугольных координатах, а с искажением (пример): меридианы на севере карты всегда ближе друг к другу, чем на юге. Мне вспомнился google maps: если в нём отодвинуть карту максимально, то получается мозаика из повторений карты, что похоже на приведение к прямоугольной системе координат.
Для привязки к карте по положению и масштабу необходимо несколько точек с известными координатами. Для этого вполне подойдут города. Среди метеостанций есть расположенные прямо в крупных городах, так что будет с чем связаться. К сожалению google maps прячет города при уменьшении карты, поэтому пришлось работать с довольно большим масштабом. Я отметил на своём рисунке Москву, Пермь, Волгоград и Казань, после нескольких манипуляций с масштабом удалось совместить их с картой.
По ссылке полный большой вариант.
Погрешность мне показалась вполне допустимой, кто ещё знает, где именно эти метеостанции стоят. Результат: большая картинка (1814x739, 404k), но оно того стоит. Наложенные на карту выделенные города не так заметны, но если присмотреться, то отчётливо видно и Москву (покрупнее) и другие. Интересно обратить внимание на станции на камчатке и на островах рядом с ней. Ещё видно, что метеостанции есть в Нижнем Новгороде и Екатеринбурге, но нет в Новосибирске (проверял). По-моему для совпадений слишком аккуратно, так что я в общем доволен.
Синими кружками на карте обведены три пары точек: это станции и деревья, которые я отобрал для проверки зависимости ширины годичных колец и температуры. Станция в левом кружке называется «OLENEK» и имеет координаты 112.43, 68.5; дерево, которое нашлось рядом имеет координаты 112.15, 68.36 и подписано «OLE». За одно открылась природа происхождения странных трёхбуквенных названий деревьев: это всё-таки населённые пункты, которые не всегда есть на карте.
Красная линия – средняя температура за лето на станции, зелёная – ширина годичных колец соответствующего дерева. Что тут можно сказать. Да мало что на самом деле можно сказать. Графики очень шумные и не очень похожие. Аномалия температуры в начале графика – это сказалось отсутствие данных за 45-й и 46-й годы. За 45-й их не было вообще (отображено как ноль), а за 46-й данные были только за сентябрь: -3°C; не до погоды, наверное, после войны было. В 1990-м году ситуация аналогичная, почему то очень мало данных за этот год.
Имея некоторое желание, конечно, можно рассмотреть, что всё-таки при росте температуры график колец тоже всегда идёт вверх, или замедляет падение. Почти всегда пики температуры совпадают с пиками графика по кольцам, хотя есть и явные противоречия, например, в районе 1970-го года. Причин у этого может быть много, думаю основная — не учтена концентрация CO2, которая сильно влияет на рост деревьев. Для проверки я строил графики по двум другим отмеченным метеостанциям, там ситуация полностью аналогичная. Приведу только средние графики по трём этим точкам. Кстати говоря, эти три, весьма северные станции, собственно и начали действовать где-то в 40-м году.
Раз уж сделана такая подготовка, то построил я и средний график по всему региону, который я получил путём отсечения прямоугольника по широте и долготе, так чтобы метеостанции были примерно в том же районе, что и деревья: контролировал я это по отображению станций и мест сбора деревьев.
Чтобы было интереснее, построил начиная с 1900-го года, снова заметно, как средняя температура падает по мере роста количества метеостанций, которое едва доходит до 20-ти. Комментировать в общем особо нечего, я даже не обижусь, если кто-то скажет, что никакой корреляции нет вовсе: зависимость явно ещё меньше, чем в отдельных графиках по трём станциям.
В процессе написания статьи пришла в голову идея построить графики температур по этим трём станциям, кое-что эта картинка объясняет (красная линия — среднее).
Это не данные апи шум какой-то: слишком уж далеко друг от друга находятся станции. Чтобы не очень расстраиваться я построил аналогичный график по другим, близко расположенным станциям в другой части страны (Сочи, Пятигорск, Туапсе):
Вообще другое дело, жаль деревьев команда Ваганова там не напилила.
Всякие мелочи
Вместо заключения
Снова хочу обратить внимание сообщества на присутствующую здесь сегодня и сейчас возможность самому посмотреть на сырые данные, построить какие-то графики, сделать какие-то, хоть и не претендующие на нобелевскую премию, но собственные выводы. Ну и не давайте непонятно кому рассуждать о среднегодовой температуре на планете, не уточнив методов её измерения, учтён ли CO2, если это были годичные кольца деревьев, учтено ли изменение в составе метеостанций, если это были метеостанции и т.д. Большая часть т.н. «экспертов» ничего про это не знает.
Под катом как обычно минут 10 чтения и много графиков, на этот раз есть даже карта. Ознакомление с первой статьёй рекомендуется, хотя и не обязательно.
Итак база данных изначально была в виде кучи mdb-файлов, возиться в которых совершенно не хотелось. К счастью, там прилагалась какая-то мутная программа специально для экспортирования в csv-файлы. Я опущу проблемы, с которыми я при этом столкнулся, скажу только, что на загрузку результирующего csv-файла я потратил дня два, в то время как на загрузку вообще не предназначенных, казалось бы, для этого данных из украденного архива у меня ушло не больше часа.
По результатам получилось две таблицы: перечень станций (с названием, страной расположения, широтой, долготой, возвышением и т.д.) и собственно средние температуры по этим станциям. Данные приводятся по среднемесячной температуре, но я их сводил к одной цифре за год, имея в виду, что мне надо будет это всё сравнивать с данными по годовым кольцам деревьев. Удивительно, но данные с метеостанций приведены за довольно длительный период.
Первое, что приходит в голову – это построить график средней температуры по стране за последние сто лет. Так как страна метеостанций была указана, то возиться с этим не пришлось и первый график построился совершенно без проблем. Ссылки с картинок — сами на себя.
Среднегодовая температура на территории РФ.
График, конечно, довольно тоскливый вышел, да ещё и ползёт вниз. Но ничего не поделаешь. В любом случае, интересна будет температура не за весь год, а только за те месяцы, когда активно растут деревья (далее я называю это средней за лето температурой). Я решил, что это май-сентябрь включительно, этот график выглядит уже не так тоскливо, но тоже явно идёт вниз:
Средняя за лето температура на территории РФ.
Тогда я решил на том же графике отобразить количество действующих в соответствующий год метеостанций, они показаны серым цветом:
То есть до 50-х годов метеостанций было гораздо меньше, и что важнее: их состав изменялся. Вот на этот простенький факт я хочу обратить внимание особо, потому что путём изменения состава метеостанций можно запросто прибегать к любым спекуляциям. Мало того, что нам редко говорят о методе, который использовался для получения данных о колебаниях температуры, так тем более никто и никогда не говорит о составе, расположении и изменении в составе точек съёма информации. А зачем? Телезрителю ведь не это интересно. Начни мы строить сейчас метеостанции по южным границам – сразу найдётся потепление, прямо на следующий год будут подтверждённые результаты.
Но я не об этом, я о деревьях. 50 лет более-менее стабильного состава метеостанций должно быть вполне достаточно чтобы заметить наличие или отсутствие корреляции между кольцами деревьев и температурой, поэтому я не очень расстроился.
Была ещё одна… не то чтобы проблема, но сложность. Данные о деревьях, взяты довольно кучно: такой полоской в малонаселённой части России. А как расставлены метеостанции я просто не знал, но скорее наоборот, вдоль населённой части страны, поэтому сравнивать просто так средние значения тут и там не очень хотелось. Хорошо бы было найти такую станцию, рядом с которой было бы спилено дерево. Ничего более путного, чем просто нарисовать все станции и все деревья по координатам на чистом листе в голову не пришло. Дело это нехитрое, поэтому не долго думая этим я и занялся. Правда пришлось загрузить ещё небезызвестный sib.dat (который содержит перечень 51-го дерева, как раз с координатами), но это времени тоже не особо заняло.
Зелёными пятнами отмечены места спила деревьев по данным файла sib.dat, красным – метеостанции. По-моему уже похоже на знакомые с детства очертания. Сразу захотелось наложить эти пятна на настоящую карту. Проблема ещё в том, что большинство карт рисуются не в прямоугольных координатах, а с искажением (пример): меридианы на севере карты всегда ближе друг к другу, чем на юге. Мне вспомнился google maps: если в нём отодвинуть карту максимально, то получается мозаика из повторений карты, что похоже на приведение к прямоугольной системе координат.
Для привязки к карте по положению и масштабу необходимо несколько точек с известными координатами. Для этого вполне подойдут города. Среди метеостанций есть расположенные прямо в крупных городах, так что будет с чем связаться. К сожалению google maps прячет города при уменьшении карты, поэтому пришлось работать с довольно большим масштабом. Я отметил на своём рисунке Москву, Пермь, Волгоград и Казань, после нескольких манипуляций с масштабом удалось совместить их с картой.
По ссылке полный большой вариант.
Погрешность мне показалась вполне допустимой, кто ещё знает, где именно эти метеостанции стоят. Результат: большая картинка (1814x739, 404k), но оно того стоит. Наложенные на карту выделенные города не так заметны, но если присмотреться, то отчётливо видно и Москву (покрупнее) и другие. Интересно обратить внимание на станции на камчатке и на островах рядом с ней. Ещё видно, что метеостанции есть в Нижнем Новгороде и Екатеринбурге, но нет в Новосибирске (проверял). По-моему для совпадений слишком аккуратно, так что я в общем доволен.
Синими кружками на карте обведены три пары точек: это станции и деревья, которые я отобрал для проверки зависимости ширины годичных колец и температуры. Станция в левом кружке называется «OLENEK» и имеет координаты 112.43, 68.5; дерево, которое нашлось рядом имеет координаты 112.15, 68.36 и подписано «OLE». За одно открылась природа происхождения странных трёхбуквенных названий деревьев: это всё-таки населённые пункты, которые не всегда есть на карте.
Красная линия – средняя температура за лето на станции, зелёная – ширина годичных колец соответствующего дерева. Что тут можно сказать. Да мало что на самом деле можно сказать. Графики очень шумные и не очень похожие. Аномалия температуры в начале графика – это сказалось отсутствие данных за 45-й и 46-й годы. За 45-й их не было вообще (отображено как ноль), а за 46-й данные были только за сентябрь: -3°C; не до погоды, наверное, после войны было. В 1990-м году ситуация аналогичная, почему то очень мало данных за этот год.
Имея некоторое желание, конечно, можно рассмотреть, что всё-таки при росте температуры график колец тоже всегда идёт вверх, или замедляет падение. Почти всегда пики температуры совпадают с пиками графика по кольцам, хотя есть и явные противоречия, например, в районе 1970-го года. Причин у этого может быть много, думаю основная — не учтена концентрация CO2, которая сильно влияет на рост деревьев. Для проверки я строил графики по двум другим отмеченным метеостанциям, там ситуация полностью аналогичная. Приведу только средние графики по трём этим точкам. Кстати говоря, эти три, весьма северные станции, собственно и начали действовать где-то в 40-м году.
Раз уж сделана такая подготовка, то построил я и средний график по всему региону, который я получил путём отсечения прямоугольника по широте и долготе, так чтобы метеостанции были примерно в том же районе, что и деревья: контролировал я это по отображению станций и мест сбора деревьев.
Чтобы было интереснее, построил начиная с 1900-го года, снова заметно, как средняя температура падает по мере роста количества метеостанций, которое едва доходит до 20-ти. Комментировать в общем особо нечего, я даже не обижусь, если кто-то скажет, что никакой корреляции нет вовсе: зависимость явно ещё меньше, чем в отдельных графиках по трём станциям.
В процессе написания статьи пришла в голову идея построить графики температур по этим трём станциям, кое-что эта картинка объясняет (красная линия — среднее).
Это не данные а
Вообще другое дело, жаль деревьев команда Ваганова там не напилила.
Всякие мелочи
- Данные я брал здесь.
- Оказывается регулярные наблюдения за погодой документируются аж с 1800-го года. Первыми следить за температурой начали в Австрии, Великобритании, Венгрии, Германии, Дании ну и рядом там.
- В России регулярные наблюдения идут с 1850-го года, причём начались они сразу сразу в 14-ти городах.
- Загружено было 5988 метеостанций в 203-х странах, общее количество записей о температурах: 3.8 миллиона. По России загружено 156 тысяч записей, 206 метеостанций. Непосредственно сама загрузка длилась 59 минут 19 секунд.
- Того кроме, существуют и доступны данные прямо по лето 2009, но, блин, аж в виде pdf-файлов, полна талантами Земля, хорошо не bmp.
Вместо заключения
Снова хочу обратить внимание сообщества на присутствующую здесь сегодня и сейчас возможность самому посмотреть на сырые данные, построить какие-то графики, сделать какие-то, хоть и не претендующие на нобелевскую премию, но собственные выводы. Ну и не давайте непонятно кому рассуждать о среднегодовой температуре на планете, не уточнив методов её измерения, учтён ли CO2, если это были годичные кольца деревьев, учтено ли изменение в составе метеостанций, если это были метеостанции и т.д. Большая часть т.н. «экспертов» ничего про это не знает.
