Точность метеорологических прогнозов

    Разнообразие температур, наблюдающееся этой зимой, напомнило мне о проекте MyCli.me Хабраюзера aib, собирающего прогнозы погоды сразу с нескольких гидрометеорологических сайтов и позволяющего путем усреднения «в голове» повысить их точность.

    Собственно, еще полтора года назад при первом знакомстве с сайтом, меня первым делом посетила мысль о том, что статистика с него — идеальный материал для неформальной оценки качества предсказаний погоды. Если быть совсем точными, то сайт и сам имеет систему рейтинга достоверности прогнозов, выбирая наилучшего «предсказателя» для каждого занесенного в реестр города за прошедший месяц.

    Но мне хотелось более продолжительной и «взвешенной» оценки.

    Входные данные

    Города, участвующие в анализе: Москва, Санкт-Петербург, Нижний Новгород, Киев, Сочи — равномерно из разных частей европейской части России и Украины. Красноярск, Новосибирск и другие рядом расположенные города, пришлось исключить из-за частых сильных (до 22 градусов) ошибок у многих метеосайтов, сильно изменяющих, как следствие, общую статистику качества прогнозирования.

    Период анализа: 3 месяца — ноябрь, декабрь, январь. Для Москвы за эти 3 месяца максимальная фактическая температура составила +13С, минимальная -23С, т.е. наблюдался почти весь зимний диапазон значений.

    Первый срез: краткосрочный или долгосрочный

    Производим выборку усредненных абсолютных (по модулю) значений ошибок для разных прогнозов «за 1 день», «за 2 дня», ..., «за 5 дней» (только для дневной температуры). Сразу хочу предупредить (т.к. неоднократно возмущался сам), что ось абсцисс немного поднята — исключительно для читаемости графика.



    Второй срез: дневной или ночной

    Попытаемся определить совокупную точность прогноза на конкретный день. Для этого присвоим веса (коэффициенты) [ 45%, 25%, 15%, 10%, 5% ] ошибкам прогнозов за 1, 2,… и 5 дней соответственно. Это экспоненциально взвешенное среднее (EMA) с периодом T=2 дня (т.е. любая пара коэффициентов, отстоящих друг от друга на 2 дня отличаются в 2,718 раза). Логично предположить, что ошибка в прогнозе за день до срока может вызвать более неприятные последствия, чем за 4 или 5. Графически веса выглядят примерно следующим образом:



    Для того, чтобы графическое изображение было нагляднее, рассчитаем среднюю ошибку с этими весами отдельно для дневных и отдельно для ночных температур и отложим их по разным осям. Соответственно, признак высокого качества прогноза — близость к точке (0;0), этот факт дополнительно выделен заливкой. Интересно резкое ухудшение на этом графике позиций BBC Weather, т.к. его дневные прогнозы — одни из самых точных, в то время как ночные — не в первой пятерке.



    В «сухом остатке»

    Озвучивать выводы дело неблагодарное — каждый может сделать их для себя сам. Кому-то интереснее прогноз «на завтра», кому-то «на 5 дней вперед», кому-то важнее температура днем, а кому-то и наоборот. Конечно, некоторых сайтов здесь нет вообще, а некоторые сайты имеют весомые конкурентные преимущества, например, в длительности публикуемого прогноза. Задачей не стояло найти «самый лучший метеосайт», а только лишь сравнить точность краткосрочных прогнозов за ближайший прошедший 3-месячный период.

    Если сравнение вас заинтересовало — можно попытаться сделать аналогичный анализ за 12 месяцев.

    Похожие публикации

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 38

      +17
      Хм. Можно было бы строить средневзвешенный прогноз с учетом коэффициентов доверия.
        +1
        Интересная мысль…
        +3
        у яндекса прогноз через 7 дней как правило абсурдный, такое ощущение что они специально его накручивают, чтобы народ ходил и смотел что через неделю будет -30.
          +1
          Зато какое облегчение, когда убеждаешься в их ошибке!)
          Сервис хорошего настроения прямо)
            0
            Еще на втором курсе университета, на парах по «Теории управления» узнал, что метеопрогноз более чем на 7 дней попросту не имеет смысла. Был поначалу удивлен, но, ознакомившись с «матчастью» всё стало на свои места.
            –1
            Ладно прогнозы. Но когда прошлой зимой температура падала до минус 39, а все инет-ресурсы показывали 30-35, это как?
              0
              у них градусники обмерзали и они дышали на них, чтобы лед отлетел от градуника, ну и сами понимаете температура поднималась :)
              0
              Осталось добавить на график погоду «яндекса» и получить оценку :)
                +3
                Яндексу предоставляет данные Foreca.
                  0
                  Но у всех в головах «Яндекс» :)
                    0
                    Ух ты, и правда Foreca :)
                    А ведь долгое время были Метеоновости (hmn.ru). Они же поставщик Рамблера.
                    Интересно, сменили именно из-за качества прогнозов или по другим причинам (финансы, оргвопросы)?
                  –1
                  Отличный отчет, ясно видно, что надо менять провайдера прогнозов, а то мой любимый интеликаст на этой неделе два раза подвел уже, обещал, гад, солнце а я получил, густую низкую облачность, и это в отпуске, что самое обидное ;(
                    –1
                    У Интелликаста показатели — одни из лучших во всех разрезах, так что по-моему вы это зря.
                      0
                      ну да, я вижу, уверенное третье место, и удобно очень, вот только совершенно не известный мне белорусский сервис поражает. Или это скрытая реклама?
                        0
                        Совершенно неизвестным сервисом вы называете ГидроМетЦентр РФ?
                        www.meteoinfo.ru/

                        (В прогнозе для Минска можно проверить, что «MeteoInfo» — не то же самое, что «MeteoInfo.by»)
                          0
                          Посыпаю голову пеплом, просто кликнул на метеоинфо в правой колонке сайта, переправило на Белоруссию.
                          Тогда ничего удивительного ;)
                          0
                          Кстати, meteoinfo.by довольно серьезный сайт, хотя и выглядит неказисто.
                      +1
                      меня первым делом посетила мысль о том, что статистика с него — идеальный материал для неформальной оценки качества предсказаний погоды.

                      Сервис MyCli.me — это отличная и очень полезная идея, полностью загубленная плохой реализацией. Механизм составления рейтинга там ну просто никуда не годится. Подробнее я писал больше года назад в блог разработчику.

                      P.S. Если с того времени положение вещей серьезно поменялось — буду рад ошибиться и прошу прощения.
                        0
                        Ну что поделать, никто не идеален и высчитывать такой показатель как достоверность метопрогнозов можно по разному. Будем исправляться :)
                        0
                        На основе каких данных происходит анализ?

                        Фактическое значение погоды у всех «источников» будет одинаковым.
                        Прогнозируемая погода расчитывается на основе чистых данных, которые у всех одинаковые.

                        Пусть сегодня понедеьник, прогноз на пятницу на 18:00 говорит, что будет +15. Ждём пятницы 18:05, чтобы снять факт. Факт показывает +13. Вот теперь можно понять разницу в ошибке прогноза данного на 5 дней вперёд. Однако, помним, что чем меньше срок, тем точнее прогноз.
                        У каждого сайта свой алгоритм анализа прогноза. Это матметоды. И уж усреднять получаемые данные точно не стоит.
                          0
                          Кстати, сам пользуюсь Гисметео. Почему не другими?
                          Сетка подсчёта погоды гораздо мельче, чем, например, у accuweather. И на гисметео есть информация по небольшим городам.
                            0
                            Спасибо за минус, но про Магнитогорск только Гисметео знает на моём Windows mobile.
                            0
                            Было бы неплохо дать ссылки на сервисы принимающие участие в исследовании.
                              –1
                              В целом на сайте mycli.me есть список последних добавленных источников со ссылками, в правой колонке, подозреваю, что это вообще все сервисы которые использует этот сайт.
                                0
                                UPD Мои подозрения были беспочвенны — это не весь список.
                              0
                              Когда оценят yr.no?
                                0
                                Прикольные, не знал о них.
                                  0
                                  и пока что, для меня, самые точные. правда у меня выборка совсем небольшая.
                                0
                                С недавних пор даже перестал заглядывать на Gismeteo вот по какой причине.

                                Смотрел 30 января прогноз на 1 и 2 февраля (дневную температуру) на город Орёл (Россия), данные были такими:
                                1 февраля -18°С
                                2 февраля -26°С

                                Что было (средняя дневная температура):
                                1 февраля: -5°С, -7°С (с 12:00 до 19:00)
                                и второго: -1°С, -3°С (с 12:00 до 19:00)

                                Это ж как так можно ошибиться?
                                  0
                                  Хорошо было бы плагин для браузера (и еще для чего-нибудь), который бы выбирал провайдера на основе точности данных или просто показывал усредненный вариант. В общем что бы не быть привязанным к одному поставщику.
                                    –1
                                    А какой тут может быть еще вывод? Метеинфо всех делает, перехожу на него, большое спасибо!
                                      +4
                                      Я практически уверен, что точность прогноза в разных городах у разных служб отличается. Соответственно, интересно было бы посмотреть именно рейтинги по городам/регионам.
                                        0
                                        предсказание погоды такая интересная штука, что точность зависит от максимально полных данных со всей планеты. т.е. «дырки» по данным на территории индии, могут вполне оказать негативное влияния на качество предсказания в мексике. поэтому точность может плавать вообще, на первый взгляд, непонятно как. из-за этого, метеослужбы разных стран обмениваются данными.
                                        ну и самое главное, кто-то уже доказал, что нельзя предсказать погоду больше чем на неделю. и понятно, что чем дальше срок от «сегодня» тем менее точным будет прогноз. поэтому 14-15 дней в прогнозе просто гадание на кофейной гуще.
                                        0
                                        Полезный топик.
                                        Как дальнейшее развитие идеи предлагаю высказать свое мнение по вопросу народного мониторинга.
                                          0
                                          Был бы очень интересен анализ точности предсказания погодных условий, те насколько верно тот или иной сервис предсказывает дождь, туман или снегопад. По-моему ошибка в прогнозе на 2-3 градуса не настолько неприятна, как неверное предсказанный дождь (когда отменяешь из-за него планы на выходные, а в итоге небо чистое) или снегопад.
                                            0
                                            мне ubuntu показывает погоду и должен заметить весьма точно…
                                              0
                                              mycli.me идиотское имя домена. не могу запомнить его 2 года.
                                                0
                                                Интересно, изменилось ли что-нибудь, спустя 7 лет?

                                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                Самое читаемое