Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 37
О родной Курган! Как же там бывает холодно)
Просто яндексу нужно повысить покрытие по геотаргетингу для рекламы, вот и рекламируют чепуху.
Было бы очень интересно почитать про вашу методику составления прогноза, если конечно вы готовы ее разгласить. В чем основное преимущество вашего метода: объединение нескольких моделей, ручная корректировка моделей под локальные условия или ручная пост-обработка данных?
Отвечаю на Ваш вопрос. Но для начала немного теории. На данный момент в мире насчитывается дюжина компьютерных моделей для прогнозирования погоды. Они делятся по ряду критериев. По географическому расширению: глобальные, захватывающие весь мир и локальные, захватывающие определенный участок суши. У каждого более-менее развитого государства есть своя компьютерная модель, разработанная в недрах своих институтов и исследовательских центров. Глобальные модели есть у таких государство, как США (Лидеры), Россия, Китай, Бразилия, Великобритания, Индия и Канада. В США сосредоточены самые крупные вычислительные ресурсы, поэтому они лидеры в этой области. У них много моделей, но их топовая модель GFS находится на втором месте. У Евросоюза есть своя общая модель, ECMWF (Модель европейского центра среднесрочных прогнозов) — лучшая в мире, как у я уже писал в тексте. У России тоже есть своя модель, но она очень очень плохого качества, мы в этой области отстали от запада на 15-20 лет. Каждая модель хороша по-своему. Например, есть северо-американская модель NAEFS, которая хорошо прогнозирует ночное выхолаживание в центре антициклона, такое же свойство имеет и канадская модель GEM. Поэтому если надо мной будет висеть антициклон, и я буду видеть, что сегодня есть вероятность быстрого остывания воздуха, то я буду сдвигать прогноз в сторону этих моделей, которые более чувствительны в данной синоптической ситуации, чем другие. Мой метод заключается в сборе данных со всех моделей и приведение их в общему знаменателю, в зависимости от «небесной» ситуации. Модели — это сырые данные, человеческий фактор исключать нельзя. У человека, как синоптика, есть интуиция, опыт, чутьё. У моделей такого нет. Поэтому человек + модель = хороший прогноз. Разумеется, мой метод заточен под мою местность, я знаю её особенности. Нельзя создать полностью автоматизированный прогноз рассчитанный на идеальный результат. Правка со стороны человека всё равно должна присутствовать. Наши синоптики в местном ГМЦ выдают прогноз по температуре на сутки в 85% — это очень плохой показатель, уровня 80-х годов. Прогноз составляется классическим синоптическим методом, когда на картах цветными мелками и карандашами наносятся фронты, а дальше методом траекторий рассчитывается куда будет сдвигаться циклон. Этот метод хорош, но если ты живёшь в 60-е годы. Сейчас этот метод устарел. Средний возраст наших синоптик в районе 40-50 лет, и не все они могут осилить тот пласт сведений поступающих от компьютерных моделей. Это всё равно, что дать своей бабушке iphone и научить её пользоваться хотя бы почтой. Будущее за компьютерными моделями. Если есть вопросы, задавайте.
Если увлекаешься метеорологией, то обрати внимание на Норвежский Метеорологический Институт: http://www.met.no/English
У них отличная собственная система прогнозирования, которая используется, например, в мобильным приложением yr.no ( https://play.google.com/store/apps/details?id=no.nrk.yr ).
У них отличная собственная система прогнозирования, которая используется, например, в мобильным приложением yr.no ( https://play.google.com/store/apps/details?id=no.nrk.yr ).
Это не их собственная система прогнозирования. Это интерпретация Европейской среднесрочной модели (ECMWF) о которой я писал. Эти же данные представлены в прогнозе на 10 суток на этом сайте — meteocenter.asia Если Вы видите, что сайт выдаёт прогноз на 10 суток — знайте, скорее всего это европейская модель. Её используется Форека (лучше всех), yr.no и meteocenter.asia. Данные yr.no ещё перехватывает gismeteo, но делают они это хуже всех. Первые 10 суток у них это ECMWF, а дальше идёт GFS, так как американка единственная выдаёт прогноз до 16 суток. И да, если Вы видите, что на сайте болтается прогноз на 15 суток, скорее всего это именно GFS. Но, например, сайт rp5 использует британскую модель UKMO. А кто же лучше? А лучше Foreca и их приложение. Рекомендую.
По той скупой и мутноватой информации, что была выдана в рекламном посте и комментариях к нему вывод почти однозначный — маркетинг.
Есть, конечно, вероятность, что они просто не хотят разглашать какие-то крутые ноу-хау, старательно обходят вниманием ключевые моменты хитрой технологии, и от того возникает такое вот впечатление.
Может быть. Но маловероятно.
Есть, конечно, вероятность, что они просто не хотят разглашать какие-то крутые ноу-хау, старательно обходят вниманием ключевые моменты хитрой технологии, и от того возникает такое вот впечатление.
Может быть. Но маловероятно.
Да какая погода. Вы видели что показывает яндекс погода на карте? ) Открываешь центральный регион — погода показывается в 3ех городах: Тверь, Ярославль, Иваново =) Если увеличивать, то вроде начинает показывать, но не в городах, а почему-то везде, но не там где надо… Откройте Европу. Там вообще пусто (не считая Перми) :) Более бестолковой карты погоды я не видел…
Если в посте яндекса на хабре нет развернутой технической части — это 100% маркетинговое дерьмо :)
Причем, нет никакой разницы: про погоду это или про то, как они для защиты своих пользователей referrer-ы начали шифровать.
Причем, нет никакой разницы: про погоду это или про то, как они для защиты своих пользователей referrer-ы начали шифровать.
Я утром с собакой хожу гулять. Так что если кому нужна точная инфа о погоде утром в Питере, спрашивайте в личку
А почему не написать здесь?
Вы сразу напишите, в каком вы районе гуляете, чтобы понимать, доверять вашему прогнозу или нет.
Это ведь не прогноз, а фактическая информация.
Да, вы правы. Но суть моего комментария в том, что фактическое состояние дел и прогноз могут значительно расходиться в зависимости от того, о какой части города речь.
В таком случаем можете наблюдать за показателями в разных частях на карте по данным автоматических станций. weatherobs.com На +5 не смотрите, это глюк. 
Я как-бы не удивляюсь, что глобального улучшения предсказаний своим прогнозом Яндыкс не достигает.
Но меня несколько удивляют ваши «выводы». Ваша модель и модель Яндыкса судя по таблице демонстрируют практически одинаковые показания. 2.4 против 2.7 — невелика разница. Её можно списать на статистическую погрешность.
Вы сделали такую же работу, как и Яндыкс: проагреггировали различные прогнозы и получили некоторый результат, чуть точнее чем все они. Получили точность чуть-чуть лучше чем Foreca. Возможно, чуть точнее яндыха. Зачем? Процитирую ваш же вопрос в конце: «А если нет разницы, зачем платить больше?»
Яндекс сделал точно тоже самое, но по всей России.
В целом, мне статья понравилась, но выводы какие-то предвзятые. Такое ощущение, что вы «ревнуете» нового конкурента:)
Но меня несколько удивляют ваши «выводы». Ваша модель и модель Яндыкса судя по таблице демонстрируют практически одинаковые показания. 2.4 против 2.7 — невелика разница. Её можно списать на статистическую погрешность.
Вы сделали такую же работу, как и Яндыкс: проагреггировали различные прогнозы и получили некоторый результат, чуть точнее чем все они. Получили точность чуть-чуть лучше чем Foreca. Возможно, чуть точнее яндыха. Зачем? Процитирую ваш же вопрос в конце: «А если нет разницы, зачем платить больше?»
Яндекс сделал точно тоже самое, но по всей России.
В целом, мне статья понравилась, но выводы какие-то предвзятые. Такое ощущение, что вы «ревнуете» нового конкурента:)
>Ещё ни один сервис, ни одна самостоятельная модель не смогла составить прогноз точнее, чем у меня.
Ну у меня после этой фразы вообще создалось впечатление, что человек просто рекламирует свой сайт.
Ну у меня после этой фразы вообще создалось впечатление, что человек просто рекламирует свой сайт.
Как вообще можно сравнивать автоматический прогноз с ручным локальным прогнозом, учитывая, что первый не проигрывает.
Может яндекс задействовал данные с narodmon.ru?
Прежде чем брать данные с конкретного датчика можно проанализировать его достоверность по своим прогнозам или другим датчикам.
Я тут недавно понял, что наверно очень важно предсказывать ОПАСНЫЕ метеоусловия.
И например нет прогноза по видимости из-за снега. Причем снег может не падать а будет сдувать с поля.
Вот чтобы было меньше случаев, когда водители поехали в другой населенный пункт и застряли на дороге.
У меня такой вопрос: как учитывается высота и структура снежного покрова на местах.
Рыхлый или мокрый или с коркой.
И вопрос еще такой, вот лежит слой снега в 10см, скажем из которого можно снежки лепить, через какое время он может стать рассыпчатым ???
Какое время и какие условия для этого нужны?
Прежде чем брать данные с конкретного датчика можно проанализировать его достоверность по своим прогнозам или другим датчикам.
Я тут недавно понял, что наверно очень важно предсказывать ОПАСНЫЕ метеоусловия.
И например нет прогноза по видимости из-за снега. Причем снег может не падать а будет сдувать с поля.
Вот чтобы было меньше случаев, когда водители поехали в другой населенный пункт и застряли на дороге.
У меня такой вопрос: как учитывается высота и структура снежного покрова на местах.
Рыхлый или мокрый или с коркой.
И вопрос еще такой, вот лежит слой снега в 10см, скажем из которого можно снежки лепить, через какое время он может стать рассыпчатым ???
Какое время и какие условия для этого нужны?
Добавлю от себя минус в копилку Яндекса. Сразу же после перехода на технологию Яндекс.Метеум был глобально переделан виджет для Андроида и с него пропала такая полезная информация как направление и скорость ветра. Это был чуть ли не единственный виджет, который умел показывать эти данные. Возникает такое ощущение, что метеорологи маркетологи считают, что люди вовсе не должны интересоваться такими параметрами как: ветер, влажность, давление.
С интересом прочитал статью, большое спасибо автору за анализ прогнозов в городе Курган. Попробую ответить на несколько вопросов, заданных в тексте.
Полностью согласен с автором — бывают случаи очень однородного поля температуры, когда над огромными площадями температура практически не изменяется. Не очень понятно, правда, почему в связи с этим не стоит делать прогноз погоды с высоким разрешением. Хорошо известны ситуации, когда мгновенные (не минимальные, и максимальные) температуры различаются на 2-4 градуса на расстоянии в несколько километров, например из-за городского острова тепла.
Модель ECMWF действительно очень хороша. Однако, как убедительно говорит автор в своем комментарии про технологию составления прогноза, среди моделей не существует абсолютного чемпиона по точности — все модели в чем-то хороши, а где-то ошибаются. Кроме того, график, приведенный автором под названием «прогноз барического поля» на деле содержит оценку точности прогнозов барического поля на высоте 500 ГПа (около 5.5 км над поверхностью Земли). Распределение давления на высоте 5.5 км — параметр безусловно важный, но далеко не единственный, не говоря уже о том, что корреляция не принимает в расчет систематических ошибок.
Это и правда ошибка, которую я признаю. В дальнейшем, буду очень признателен автору за сообщения о таких моментах: мы и правда хотим сделать наш прогноз самым точным для всех городов России, а детальный фидбек от пользователей нам в этом очень помогает.
Что касается непосредственно результаты сравнений, то тут у меня возникает достаточно много вопросов, которые как бы остались за рамками статьи. По каким (и скольким) метеостанциям были проведены сравнения? Каков объем выборки? Какая заблаговременность прогноза использовалась? Без этой информации комментировать результаты сравнений достаточно сложно. Что касается метрик сравнения, то средняя абсолютная погрешность определения максимальной и минимальной температуры, как правильно отмечает автор, пользователем ощущается слабо. Можно было бы, например, посчитать процент больших ошибок (более 5 градусов), которые, кажется, больше заметны людям. И это касается только температуры, а ведь есть еще осадки — не менее важный параметр… В общем, готов обсудить методику сравнений. По нашим приборам за выбранный период мы и правда не слишком отличались от Фореки по точности предсказания температуры на 24 часа вперед, в то время как сильно выигрывали по точности предсказания осадков.
Да, чуть не забыл :)
Это ваше описание, кстати, очень похоже на то, что происходит внутри Метеума, с той разницей, что анализ закономерностей в прогнозах и наблюдениях у нас происходит с помощью машинного обучения.
Напоследок хочу добавить, что мы не используем наши данные для рекламы.
В некоторых случаях воздушная масса оказывается настолько однородной, что на один градус температура изменяется каждые 10, 20 или 50 километров!
Полностью согласен с автором — бывают случаи очень однородного поля температуры, когда над огромными площадями температура практически не изменяется. Не очень понятно, правда, почему в связи с этим не стоит делать прогноз погоды с высоким разрешением. Хорошо известны ситуации, когда мгновенные (не минимальные, и максимальные) температуры различаются на 2-4 градуса на расстоянии в несколько километров, например из-за городского острова тепла.
Ещё одно утверждение, требующее пояснений. Американская компьютерная модель GFS действительно хороша, но она не самая точная. Европейская модель ECMWF – вот самая точная модель.
Модель ECMWF действительно очень хороша. Однако, как убедительно говорит автор в своем комментарии про технологию составления прогноза, среди моделей не существует абсолютного чемпиона по точности — все модели в чем-то хороши, а где-то ошибаются. Кроме того, график, приведенный автором под названием «прогноз барического поля» на деле содержит оценку точности прогнозов барического поля на высоте 500 ГПа (около 5.5 км над поверхностью Земли). Распределение давления на высоте 5.5 км — параметр безусловно важный, но далеко не единственный, не говоря уже о том, что корреляция не принимает в расчет систематических ошибок.
Например, в новогоднюю ночь я ожидал похолодание до -30 по большинству моделей. А Яндекс показывал лишь -21.
Это и правда ошибка, которую я признаю. В дальнейшем, буду очень признателен автору за сообщения о таких моментах: мы и правда хотим сделать наш прогноз самым точным для всех городов России, а детальный фидбек от пользователей нам в этом очень помогает.
Что касается непосредственно результаты сравнений, то тут у меня возникает достаточно много вопросов, которые как бы остались за рамками статьи. По каким (и скольким) метеостанциям были проведены сравнения? Каков объем выборки? Какая заблаговременность прогноза использовалась? Без этой информации комментировать результаты сравнений достаточно сложно. Что касается метрик сравнения, то средняя абсолютная погрешность определения максимальной и минимальной температуры, как правильно отмечает автор, пользователем ощущается слабо. Можно было бы, например, посчитать процент больших ошибок (более 5 градусов), которые, кажется, больше заметны людям. И это касается только температуры, а ведь есть еще осадки — не менее важный параметр… В общем, готов обсудить методику сравнений. По нашим приборам за выбранный период мы и правда не слишком отличались от Фореки по точности предсказания температуры на 24 часа вперед, в то время как сильно выигрывали по точности предсказания осадков.
Да, чуть не забыл :)
Мой метод заключается в сборе данных со всех моделей и приведение их в общему знаменателю, в зависимости от «небесной» ситуации.
Это ваше описание, кстати, очень похоже на то, что происходит внутри Метеума, с той разницей, что анализ закономерностей в прогнозах и наблюдениях у нас происходит с помощью машинного обучения.
Напоследок хочу добавить, что мы не используем наши данные для рекламы.
Наставление по оценке краткосрочных прогнозов от Гидрометцентре из файла опубликованного в тексте.
7.3.1.4 Оправдываемость прогноза температуры воздуха на каждой станции Рt равна 100 %, если фактически наблюдаемая максимальная (минимальная) температура находилась в пределах прогнозируемой градации или отличалась от крайних ее значений не более чем на 2 °С. Если фактические значения наблюдаемой температуры отличались от крайних значений прогнозируемой градации более чем на 2 °С, то оправдываемость Рt равна 0 %.
Например. Чаще всего в сводках выдают прогнозируемый интервал, например +9...+11. Центральное расчётное значение это +10. Допуск 2 градуса от интервала. Значит, чтобы наш прогноз оправдался, фактическое значение должно находится в коридоре от +7 до +13. Если фактическая +8 — 100% оправдываемость. Если +6 — 0%. 3 градуса от значения или 2 градуса от интервала — вот возможный допуск.
Второй момент. Это сбор фактических данных. Я, разумеется, не стану использовать китайский термометр болтающийся за окном. Я используют проверенные данные с нашей курганской метеостанции под индексом 28661. Её сводки есть здесь — goo.gl/0l2N8e
Что же касается оправдываемости, то тут есть ряд моментов, которые следует обговорить. Например, есть два прогнозы. Один выдаёт на день +8, а другой +10. Фактическая составляет +7. В итоге получается, что оба прогноза оправдались, но вот первый оказался ближе к факту. И на таких градусах и вытягивается оправдываемость. Поэтому параметр абсолютной ошибки — является наверное самым ключевым, при относительном сопоставлении ресурсов.
Что же касается Яндекса. То использование трёх моделей — еще нельзя назвать ансамблевым прогнозированием. Что Вам мешает использовать канадскую модель или североамериканскую. Их GRIB файлы есть в свободном доступе. Освойте климатическую модель CFS, создавайте долгосрочные прогнозы. Это ведь Яндекс. Есть ресурсы, начиная от людских и заканчивая вычислительными. Будьте наконец крутыми!
7.3.1.4 Оправдываемость прогноза температуры воздуха на каждой станции Рt равна 100 %, если фактически наблюдаемая максимальная (минимальная) температура находилась в пределах прогнозируемой градации или отличалась от крайних ее значений не более чем на 2 °С. Если фактические значения наблюдаемой температуры отличались от крайних значений прогнозируемой градации более чем на 2 °С, то оправдываемость Рt равна 0 %.
Например. Чаще всего в сводках выдают прогнозируемый интервал, например +9...+11. Центральное расчётное значение это +10. Допуск 2 градуса от интервала. Значит, чтобы наш прогноз оправдался, фактическое значение должно находится в коридоре от +7 до +13. Если фактическая +8 — 100% оправдываемость. Если +6 — 0%. 3 градуса от значения или 2 градуса от интервала — вот возможный допуск.
Второй момент. Это сбор фактических данных. Я, разумеется, не стану использовать китайский термометр болтающийся за окном. Я используют проверенные данные с нашей курганской метеостанции под индексом 28661. Её сводки есть здесь — goo.gl/0l2N8e
Что же касается оправдываемости, то тут есть ряд моментов, которые следует обговорить. Например, есть два прогнозы. Один выдаёт на день +8, а другой +10. Фактическая составляет +7. В итоге получается, что оба прогноза оправдались, но вот первый оказался ближе к факту. И на таких градусах и вытягивается оправдываемость. Поэтому параметр абсолютной ошибки — является наверное самым ключевым, при относительном сопоставлении ресурсов.
Что же касается Яндекса. То использование трёх моделей — еще нельзя назвать ансамблевым прогнозированием. Что Вам мешает использовать канадскую модель или североамериканскую. Их GRIB файлы есть в свободном доступе. Освойте климатическую модель CFS, создавайте долгосрочные прогнозы. Это ведь Яндекс. Есть ресурсы, начиная от людских и заканчивая вычислительными. Будьте наконец крутыми!
Да, я знаю эту методику. Не согласен с вами, что стоит говорить об абсолютной ошибке по температуре как о критерии истины (мне все-таки кажется, что в пределах суток эта величина не так заметна пользователю), но спорить не буду.
Про фактические данные. Если я правильно понял, то сравнения велись в течение месяца по одной станции (вне всяких сомнений качественной). Курганская станция, насколько я знаю, передает измерения раз в 3 часа. Это значит, что если бы даже мы сравнивали мгновенную температуру, выборка составила бы 248 измерений. Это интересное упражнение, но, как вы понимаете, такой объем данных не может служить основанием для каких-то общих выводов.
Про ансамбли. Сейчас мы добавили в Метеум прогнозы тех моделей, которые отвечают не только критериям качества, но и другим требованиям, в частности требованиям по бесперебойности поставки данных. Мы, естественно, будем добавлять новые источники прогноза, просто это требует времени.
За пожелания спасибо, будем стараться :)
Про фактические данные. Если я правильно понял, то сравнения велись в течение месяца по одной станции (вне всяких сомнений качественной). Курганская станция, насколько я знаю, передает измерения раз в 3 часа. Это значит, что если бы даже мы сравнивали мгновенную температуру, выборка составила бы 248 измерений. Это интересное упражнение, но, как вы понимаете, такой объем данных не может служить основанием для каких-то общих выводов.
Про ансамбли. Сейчас мы добавили в Метеум прогнозы тех моделей, которые отвечают не только критериям качества, но и другим требованиям, в частности требованиям по бесперебойности поставки данных. Мы, естественно, будем добавлять новые источники прогноза, просто это требует времени.
За пожелания спасибо, будем стараться :)
При чём здесь выборка? Если речь идёт про минимальную температуру (Tmin) и максимальную (Tmax). Минимальная температура измеряется специальным минимальным термометром, в период с 20 часов одних суток до 8 часов утрах других (метеорологическая ночь), а максимальная, соответственно с 8 часов утра до 20 часов вечера (метеорологический день). По вашим часовым прогнозам легко выявляется минимальная и максимальная. Именно её я и соотношу с фактом.
Да, я понял, как вы проводите сравнения, спасибо.
Размер выборки (то есть, по сути, количество сравнений прогнозов с фактом) — это параметр, который позволяет судить о том насколько общие выводы можно делать из результатов сравнений. Если выборка фактов и прогнозов большая и репрезентативная (что в нашем случае означает, что наблюдения покрывают большую территорию и охватывают большой временной интервал), то результаты сравнений по ней могут быть предметом анализа. В противном случае результаты представляют собой частный кейс, делать общие выводы из которого достаточно опасно.
При чём здесь выборка?
Размер выборки (то есть, по сути, количество сравнений прогнозов с фактом) — это параметр, который позволяет судить о том насколько общие выводы можно делать из результатов сравнений. Если выборка фактов и прогнозов большая и репрезентативная (что в нашем случае означает, что наблюдения покрывают большую территорию и охватывают большой временной интервал), то результаты сравнений по ней могут быть предметом анализа. В противном случае результаты представляют собой частный кейс, делать общие выводы из которого достаточно опасно.
Автору большое спасибо за интересную статью. Побольше бы таких энтузиастов в Гидрометцентр России.
А Вы не могли бы, на доступном уровне, описать как выглядят эти модели? Хотя бы в самых общих чертах?
habrahabr.ru/post/274641/#comment_8728655 Или вы хотите целый пост об этом?
Интересно, что автор скажет о Weather Underground? По моим наблюдениям их прогнозы самые точные, гораздо точнее например того же yr.no.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Яндекс.Метеум – новая разработка или маркетинговый ход?