Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 65
Кстати, гораздо интереснее будет, если вместо одного оранжевого цвета предсказаний будет несколько цветов — по дням. Например за 5,3,2,1 день. Очевидно, что чем дальше от актуальной даты предсказание, тем больше будет отклонение от действительной температуры. А возможно, все совсем не так очевидно.
А можно Вас попросить подобные последним двум графикам составить для GisMeteo.ru, AccuWeather.com, Weather.com, Meteoinfo.ru?
Я бы ещё в этот заявочный список попросил добавить Foreca и Weather Underground, а также было бы неплохо сравнить у всех них соотношение реальной температуры от какого-нибудь электронного градусника и показываемой, как температура на текущий момент времени.
Вопрос еще в том, какому «градуснику» верить. Электронный термометр у меня расходится с ртутным на 2 градуса при температуре за бортом около -20 по Цельсию. И чем ниже температура, тем больше расхождение. И всегда интересовал вопрос, кому же больше верить — китайскому электронному чуду или безымянному ртутному (а может и спиртовому, хз).
Наука говорит, что нужны два термометра:
В качестве температурных датчиков используют обычные термометры – ртутные (для измерения высоких температур) или спиртовые (для низких температур).
Ну и каким измерял автор? Я имею в виду, что можно ли доверять измерениям автора статьи. Добавьте 1 градус на погрешность прибора и график на первой картинке таки влезет в указанный коридор.
и не внутри психрометрической будки, а также измерение скорее всего проводится не на открытой площадке на высоте два метра над грунтом, а где нибудь у стены, на каком-то этаже здания.
Вчера как раз «разглядывал» температуры на Народный Мониторинг. Разброс значений в 5 градусов между некоторыми.
Вчера как раз «разглядывал» температуры на Народный Мониторинг. Разброс значений в 5 градусов между некоторыми.
давно в транспорте слышал разговор двух парней.
один из них писал диплом и там были расчёты завязанные на температуру.
он получил официальные данные со всех трёх имеющихся поблизости метеостанций.
одна оказалась слишком далеко.
две других давали настолько непохожие данные что у него расчёты на правдоподобность вообще никак не проверялось.
и он плакался приятелю, что он обязан в дипломе привести данные со всех трёх станций и обосновать каждый чих.
а по кривости народных датчиков, вроде по бигдата делают? опорные показания у метеостанции. а остальные принимаются в расчёт как показатели изменения в динамике. а дальше веса доверия, с учётом известных погрешностей известных датчиков и схем.
один из них писал диплом и там были расчёты завязанные на температуру.
он получил официальные данные со всех трёх имеющихся поблизости метеостанций.
одна оказалась слишком далеко.
две других давали настолько непохожие данные что у него расчёты на правдоподобность вообще никак не проверялось.
и он плакался приятелю, что он обязан в дипломе привести данные со всех трёх станций и обосновать каждый чих.
а по кривости народных датчиков, вроде по бигдата делают? опорные показания у метеостанции. а остальные принимаются в расчёт как показатели изменения в динамике. а дальше веса доверия, с учётом известных погрешностей известных датчиков и схем.
Автор брал данные яндекса с температурой на данный момент, если вы про это. В статье было описано что температура на 14.25 каждого дня
А вот мне интересно, откуда на разных сайтах берутся данные по давлению. Недавно обратил внимание, что на погодных сайтах давление у меня в Челябинске различается аж на 20 миллиметров. Прямо сейчас:
Foreca: 1020 hpa (765 mmHg)
OpenWeatherMap: 1020 hpa (765 mmHg)
Гисметео: 746 mmHg
Яндекс: 746 мм рт.ст.
Weather.com: 30.12 in (765 mmHg)
Meteoinfo.ru (Гидрометцентр): 747 мм рт.ст.
Chelpogoda.ru (Челябгидромет): 747 мм рт.ст.
Ощущение, что источник для зарубежных сайтов почему-то приводит давление примерно к уровню моря (Челябинск находится на высоте 200-220 метров над уровнем моря и нормальное давление тут 738 миллиметров). Почему — мне неведомо.
Foreca: 1020 hpa (765 mmHg)
OpenWeatherMap: 1020 hpa (765 mmHg)
Гисметео: 746 mmHg
Яндекс: 746 мм рт.ст.
Weather.com: 30.12 in (765 mmHg)
Meteoinfo.ru (Гидрометцентр): 747 мм рт.ст.
Chelpogoda.ru (Челябгидромет): 747 мм рт.ст.
Ощущение, что источник для зарубежных сайтов почему-то приводит давление примерно к уровню моря (Челябинск находится на высоте 200-220 метров над уровнем моря и нормальное давление тут 738 миллиметров). Почему — мне неведомо.
Могу предположить, что данные сервисы получают метеосводки в виде отчетов METAR, которые как-раз таки содержат давление, приведенное к уровню моря (QNH). Далее его можно пересчитать в давление на конкретной высоте по простым формулам, если знать эту высоту. Почему они не выполняют этот пересчет, учитывая что данные по высотам найти не проблема, уже другой вопрос.
Яндекс же берёт данные у Foreca как раз.
Янд похвастался информацией с метео-радаров, но реалии сильно отличаются от анимации осадков…
Ну вот прямо сейчас у меня совпадает картинка на «Карте погоды» и за окном :) По прогнозу снегопад прекратится в течение получаса — посмотрим :)
Метеорадары есть не во всех городах, поэтому где то скорее всего просто «прогноз». А так, у нас в Казани все совпадает, с точностью до района. Впрочем, как и совпадало раньше, когда была доступна публично картинка с метеорадара.
Он кажется берет данные из нескольких источников и обрабатывает их
Если честно, для меня это новость. Я всегда считал, что у Яндекса свои прогнозы.
> А можно Вас попросить подобные последним двум графикам составить для GisMeteo.ru, AccuWeather.com, Weather.com, Meteoinfo.ru
https://geektimes.ru/post/112958/
https://geektimes.ru/post/112958/
Смотрю погоду на Weather.com — они часто попадают точно с ошибкой +30 минут.
Эти же прогнозы показывает Google по запросу «погода».
Эти же прогнозы показывает Google по запросу «погода».
Не нужно. Все вами перечисленное нужно для понимания причины «точности» прогнозов, а для соотношения прогноза и реальности достаточно иметь эти самые прогноз и реальность.
Зато на бытовом уровне можно определить доверять или нет.
afaik точность прогноза ОЧЕНЬ сильно зависит от срока, поэтому не стоит на бытовом уровне грести под одну гребенку доверие к яндекс прогнозу на завтра и на две недели
Это очевидно всем, кто знает про странные аттракторы (а это практически все, отучившиеся в технических вузах России), поэтому на бытовом уровне большинство людей все-таки различают прогноз на два дня и на две недели, и понимают, почему последний принципиально невозможен.
Так вот надо было сделать несколько графиков:
Вот тогда было бы видно на какой дистанции можно доверять, а на какой нет, а может даже на 2 недели он берет от балды, на просто сравнить.
Кстати был случай лет 5 назад прогноз яндекса через 2 недели показал что будет гололед и снег хотя до того дня будет относительно тепло и без осадков, а мне это как раз на руку, так как мне надо было сдавать на права и не хотел сдавать в гололед, и получилось как предсказывал: высушило дорогу, я сдал, а на следующий день пошел снег и был гололед, так что прогноз на дальние даты может и изменятся, но иногда(как в моем случае) попадает.
- исполнение прогноза на завтра
- исполнение прогноза через 2 дня
- исполнение прогноза через неделю
- исполнение прогноза через 2 недели
Вот тогда было бы видно на какой дистанции можно доверять, а на какой нет, а может даже на 2 недели он берет от балды, на просто сравнить.
Кстати был случай лет 5 назад прогноз яндекса через 2 недели показал что будет гололед и снег хотя до того дня будет относительно тепло и без осадков, а мне это как раз на руку, так как мне надо было сдавать на права и не хотел сдавать в гололед, и получилось как предсказывал: высушило дорогу, я сдал, а на следующий день пошел снег и был гололед, так что прогноз на дальние даты может и изменятся, но иногда(как в моем случае) попадает.
При ширине диапазона предсказаний минимум в 10, а максимум в 20 (согласно первому графику) градусов просто удивительно, что еще бывают случаи «не угадывания». Надо расширить диапазон, и тогда проблем с неугадыванием у Яндекса не будет: «завтра температура будет. точка.»
постоянная температура -5 чаще попадет в прогноз чем фактическая :)
На сайте rp5.ru можно скачать архив погоды за любой период с 2005 года сразу в xls или csv.
Всем заинтересованным в погоде рекомендую заглянуть на www.windguru.cz
Да он корректируется с течением времени, но на сутки вперед показывает достаточно точно, на работе мониторим осадки и в соответствии с ними планируем монтажные работы.
Если зарегистрироваться, можно создать свои локали для показаний прогноза, можно привязать свою погодную станцию, при наличии.
Да он корректируется с течением времени, но на сутки вперед показывает достаточно точно, на работе мониторим осадки и в соответствии с ними планируем монтажные работы.
Если зарегистрироваться, можно создать свои локали для показаний прогноза, можно привязать свою погодную станцию, при наличии.
Я так и не смог понять графики: что голубым обозначено, а что коричневым, зачем дата со временем в заголовке?
Яндекс недавно сделал очень полезную вещь — прогноз осадков. Не для всех городов это работает конечно, но нашему городу (Казань) — повезло.
Это даже не «классический» прогноз погоды, а реальные данные с метео радаров. Два года назад, картинка с радара была доступна всем. Открываешь и видишь, где идут осадки, в какую сторону движутся и с какой скоростью. По работе очень нужно было все это дело прогнозировать. Клиенты удивлялись, когда говорил «ничего не отменяем, через час дождя не будет и на пару часов». Потом данные внезапно закрыли (стали выкладывать с задержкой в сутки).
https://yandex.ru/pogoda/kazan/nowcast
Это даже не «классический» прогноз погоды, а реальные данные с метео радаров. Два года назад, картинка с радара была доступна всем. Открываешь и видишь, где идут осадки, в какую сторону движутся и с какой скоростью. По работе очень нужно было все это дело прогнозировать. Клиенты удивлялись, когда говорил «ничего не отменяем, через час дождя не будет и на пару часов». Потом данные внезапно закрыли (стали выкладывать с задержкой в сутки).
https://yandex.ru/pogoda/kazan/nowcast
Радар от Gismeteo тоже немного поменяли.
https://www.gismeteo.ru/maps/
https://www.gismeteo.ru/maps/
В СПб до сих пор доступен один радар
Да, теперь вот так — http://www.meteorad.ru/maps (Карта метеоявлений ДМРЛ за последние 3 часа. Данные с задержкой 24 часа). И эта задержка очень удобна, потому что позволяет им на все претензии отвечать, что, мол, данные выкладываются, но с временной задержкой.
А раньше были нормальные карты:
И порой даже был включен режим турбулентности
А раньше были нормальные карты:
Карты
И порой даже был включен режим турбулентности
Турбулентность
Есть мобильные приложения, которые делают то же самое. Можно поискать по запросам «погода спутник», «погода радар» и подобным.
непонятно, как реализован заявленный И.И.
В виде пользователя, нажимающего на иконку реального состояния погоды на местности?
В виде пользователя, нажимающего на иконку реального состояния погоды на местности?
В исследовании допущено множество ошибок и само исследование абсолютно бесполезно, так как не показывает никаких конечных значений, а именно оправдываемости в % и отклонения фактической температуры от прогнозируемой в градусах на разные сутки. Это во-первых.
Во-вторых, главная ошибка заключалась в том, что Яндекс показывает не реальную температуру, а расчётную, опять же используя данные своего суперпупер крутого Метеума. Поэтому эти виртуальные температуры нельзя использовать для проверки прогноза. Для верификации прогнозов всегда используются данные местной метеостанции. В данном случае, если речь идёт про Новосибирск, то это учебная станция 29637 или станция в аэропорту UNNT.
В третьих. Точность прогноза определяется попаданием фактического значения в прогнозируемый интервал. В соответствии с наставлением Гидрометцентра об оправдываемости краткосрочных прогнозов, допустимой погрешностью считается 3 градуса. Например, по прогнозу на завтра днём максимальная температура составит +20 градусов, тогда допустимый интервал +17...+23 градуса. Если фактическое значение попадает в этот диапазон, значит прогнозу ставится 100%, если нет — 0%. Схема простая. В качестве дополнения всегда обязательно считается отклонение факта от прогноза в градусах, на разные сутки. Например, похожим образом я определял точность прогнозов сайта Gismeteo для Кургана. Выборка 60 дней. На первые сутки точность составила 92%, на 5-е сутки — 77%, а на 13-е — 50%. В качестве инструмента оценки прогнозов использована программа Weather_FMX Version 2.10
Во-вторых, главная ошибка заключалась в том, что Яндекс показывает не реальную температуру, а расчётную, опять же используя данные своего суперпупер крутого Метеума. Поэтому эти виртуальные температуры нельзя использовать для проверки прогноза. Для верификации прогнозов всегда используются данные местной метеостанции. В данном случае, если речь идёт про Новосибирск, то это учебная станция 29637 или станция в аэропорту UNNT.
В третьих. Точность прогноза определяется попаданием фактического значения в прогнозируемый интервал. В соответствии с наставлением Гидрометцентра об оправдываемости краткосрочных прогнозов, допустимой погрешностью считается 3 градуса. Например, по прогнозу на завтра днём максимальная температура составит +20 градусов, тогда допустимый интервал +17...+23 градуса. Если фактическое значение попадает в этот диапазон, значит прогнозу ставится 100%, если нет — 0%. Схема простая. В качестве дополнения всегда обязательно считается отклонение факта от прогноза в градусах, на разные сутки. Например, похожим образом я определял точность прогнозов сайта Gismeteo для Кургана. Выборка 60 дней. На первые сутки точность составила 92%, на 5-е сутки — 77%, а на 13-е — 50%. В качестве инструмента оценки прогнозов использована программа Weather_FMX Version 2.10
О, уже пару лет такая же идея лежит в записках. Только вот не вполне корректная реализация, имхо. Т.к. прогноз очень сильно меняется в течение даже дня и по-хорошему надо собирать заранее и потом через фиксированное время смотреть текущую погоду. Но как это реализовать я не понял пока, кроме того, что в течение года собирать реальный прогноз который показывается каждый день на неделю вперёд, например. Потому что задним числом и при приближении к прогнозируемому дню прогноз всё точнее становится, очевидно.
з.ы. да, выше примерно то же самое несколько раз упоминали.
з.ы. да, выше примерно то же самое несколько раз упоминали.
Есть ещё данные с аэропортов. Мобильное приложение точно есть.
Павел, спасибо за статью. Мне нравится ваш метод сравнения гораздо больше методички Росгидромета, но в реализации есть неточности.
Почему больше нравится — потому, что это реальный юзкейс живого человека. Так нашу погоду смотрят пользователи, так они принимают решения. Поэтому результат для меня в десять раз полезнее, чем доли градуса в среднем отклонении температуры (привет fantast8).
Главная неточность в том, что вы принимаете значение из поля фактической температуры за ground truth. На самом деле это тоже немного прогноз, просто более точный, чем тот, который сделан за 24 часа. Чтобы сравнение было более правильным, нужно сравниваться в точке, которая поближе к метеостанции (сейчас вы савниваете прогнозы и факты на точку, близкую к геометрическому центру Новосибирска).
Теперь о вечном — почему меняются прогнозы. Если коротко, то прогнозы меняются потому, что наши методы несовершенны и потому, что приходят новые данные. Если бы наши прогнозы на горизонт не более чем на 10 дней всегда были идеально точными, мы бы не меняли свои значения никогда, но это увы не так. Однако, мы знаем, что добавив актуальных данных в прогноз, мы повышаем точность на ближних горизонтах, что тоже важно для пользователей. Мы досыпаем новые данные в прогноз до 24 раз за день, поэтому и долгосрочные прогнозы, бывает, меняются. Мы знаем, что это плохо сказывается на нескольких юзкейсах и у нас есть мысли про то, как это полечить.
Почему больше нравится — потому, что это реальный юзкейс живого человека. Так нашу погоду смотрят пользователи, так они принимают решения. Поэтому результат для меня в десять раз полезнее, чем доли градуса в среднем отклонении температуры (привет fantast8).
Главная неточность в том, что вы принимаете значение из поля фактической температуры за ground truth. На самом деле это тоже немного прогноз, просто более точный, чем тот, который сделан за 24 часа. Чтобы сравнение было более правильным, нужно сравниваться в точке, которая поближе к метеостанции (сейчас вы савниваете прогнозы и факты на точку, близкую к геометрическому центру Новосибирска).
Теперь о вечном — почему меняются прогнозы. Если коротко, то прогнозы меняются потому, что наши методы несовершенны и потому, что приходят новые данные. Если бы наши прогнозы на горизонт не более чем на 10 дней всегда были идеально точными, мы бы не меняли свои значения никогда, но это увы не так. Однако, мы знаем, что добавив актуальных данных в прогноз, мы повышаем точность на ближних горизонтах, что тоже важно для пользователей. Мы досыпаем новые данные в прогноз до 24 раз за день, поэтому и долгосрочные прогнозы, бывает, меняются. Мы знаем, что это плохо сказывается на нескольких юзкейсах и у нас есть мысли про то, как это полечить.
Вот опять Вы обманываете людей. О каких долгосрочных прогнозах идёт речь? На сайте Яндекса нет долгосрочных прогнозов. Вы заявляете это как прогноз на месяц, но это лишь усредненные данные за последние 7 лет, к будущему состоянию атмосферы они не имеют никакого отношения. Поэтому у Вас и появляется такая разница между 2 и 3 января.
Под долгосрочными прогнозами я имел в виду прогнозы на 5-10 дней, это и правда неточность моей терминологии. Что до наших климатических норм, которыми мы продолжаем прогноз, то имеют они отношение к будущему или нет, покажет время.
Вот вы, как метеоролог-любитель, наверняка знаете какая погода будет, например, во Владивостоке 25 января. Расскажите — сильно она будет отличаться от климатической нормы? Покажите, как говорится, свою точность.
Вот вы, как метеоролог-любитель, наверняка знаете какая погода будет, например, во Владивостоке 25 января. Расскажите — сильно она будет отличаться от климатической нормы? Покажите, как говорится, свою точность.
Делал подобное, но с глубиной прогноза по прошедшим дням. С выводом согласен — близкие к реальным данные можно получить только на 2-3 дня.
21 декабря. -5 -25 градусов. Браво! Отличная точность.
Что по одежде при таком прогнозе?
Что по одежде при таком прогнозе?
Благодаря этому посту наконец-то узнал, почему у меня виджет Яндекс.Погоды стал в текущей погоде на 3-4 градуса по утрам ошибаться. Что-то они перекрутили с алгоритмами, раньше использовал, чтобы точнее знать, во что одеваться, а теперь оденешься на минус, а там за окном на самом деле почти плюс уже. Снес, поставил MSN, теперь снова соответствует температура на виджете температуре на улице.
Уже несколько раз пытался выяснить, у яндекса почему температура на станице погоды моего города, упорно иногда в РАЗЫ отличается от источника, на FORECA.
Отвечают, что то не внятное!
Отвечают, что то не внятное!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Соотношения реальной температуры и прогноза Яндекс.Погоды