Насколько точно Яндекс прогнозирует осадки зимой? Анализируем точность прогностических сервисов

    В ноябре я публиковал статью «Яндекс.Метеум – технология без технологии. Маркетинг с точностью до района», где соотносил качество прогнозов Яндекса с другими сервиса. Акцент делался на температуре, без разбора других параметров. Вывод был таков – температурный прогноз Яндекса не показывает каких-то исключительных результатов по сравнению с уже зарекомендовавшими себя прогностическими сервисами. Рекомендую ознакомиться с полным текстом. На этот раз пришло время проверить другой ключевой параметр – осадки.

    image

    Условия проверки и контрольные прогнозы


    Главная цель исследования – понять качество прогноза осадков у Яндекса в сравнении с другими прогностическими сервисами. Обращаю внимание, что акцент делался на прогнозировании явления, а не на фазе осадков или их количестве.

    В качестве контрольных прогнозов использовались данные сайта intellicast.com, который в январе объединился с сервисом wundeground, но на прогнозах это никак не сказалось, изменился лишь интерфейс. Второй контрольный прогноз – это комплексный прогноз с сайта методического кабинета Гидрометцентра России. Об этом прогнозе я рассказывал в предыдущей публикации.

    Прогноз перехватывались в ручном режиме. Период оценки – метеорологический день, то есть примерно с 8-9 часов утра до 20-21 часа вечера. Ночные осадки я в расчёт не брал. Прогнозы оценивались с 3 ноября 2018 года по 31 марта 2019 года, то есть за тот промежуток времени, на который в Европейской части России и части Урала приходится климатическая зима, и влияние конвекции отсутствует.

    У Яндекса прогнозы также захватывались только для дневного времени суток. При этом я старался соотносить прогнозы с сайта с теми прогнозами, которые в push-уведомлениях отправляла Алиса. Позже выяснилось, что прогнозы между собой не согласуются, но об этом мы ещё поговорим.

    Города выбирались так, чтобы я мог захватить часть юга Урала и основную часть Европейской территории России. Я провёл линию от Кургана до Москвы, и выбрал города на этом участке с приблизительно равными интервалами. Это Курган, Уфа, Казань и Москва. Среднее расстояние между точками 591 км.

    В качестве методики оценки использовалось Наставление по краткосрочным прогнозам погоды общего назначения, которое используют в Росгидромете для оценки прогнозов до 72 часов. Как я уже сказал, для меня было важно оценить сам факт выпадения осадков, а не их количество или фазу. Поэтому в таблицы я вносил два параметра: сухо (без осадков) или осадки.

    Если сайт прогнозировал любые осадки в любой час дня, то в прогнозе выставлялась градация «Осадки», если в прогнозе осадков не было, то «Сухо».

    В качестве фактических сведений использовались официальные ряды станций Росгидромета. Если на метеостанции осадкомер фиксировал хотя бы 0,1 мм за 12 часов, то в таблицу вписывался статус «Осадки». Далее прогностическая и фактическая градации соотносились между собой. Привожу номера метеостанций, которые были использованы в исследовании: 28661 (Курган), 28722 (Уфа), 27595 (Казань), 27612 (Москва, ВДНХ).

    Например, Яндекс днём прогнозирует слабый снег, а метеостанция осадков не фиксирует, то прогнозу ставится оправдываемость 0%. Если осадки есть в любом количестве, то 100%. Таким образом, все прогнозы были помещены в равные условия оценки.

    Для прозрачности исследования, публикую ссылку на исходные таблицы со всеми данными. Также я старался не только оценивать прогнозы, но и соотносить их с синоптическими картами нулевой заблаговременности, что позволило выявить те синоптические ситуации, при которых Яндекс даёт самые низкие результаты оправдываемости.

    Результаты исследования


    Изначально я выдвинул гипотезу, что Яндекс покажет схожие результаты с другими сайтами, либо они будут чуть ниже уровня конкурентов. С этой гипотезой мне пришлось распрощаться уже в конце ноября, когда выяснилось, что точность Яндекса сопоставима с подбрасыванием монетки. Результаты были на уровне случайных прогнозов и варьировались от 50 до 60%.
    За 5 месяцев точность Яндекса по осадкам на 24 часа составила 58%. У intellicast/wunderground – 81%, а у комплексного прогноза Гидрометцентра – 80%!

    image

    У Яндекса удалось обнаружить интересную особенность – чем дальше от Москвы, тем ниже точность. В Кургане средняя точность составила 45.6%, а в Москве – 67.8%. Прогнозы конкурентов варьировались от 75% до 85%, что выглядит очень достойно для зимнего времени года.

    image

    Главная проблема Яндекса в зимнее время – ложные осадки. Яндекс прогнозирует осадки, а остальные сервисы ожидают сухую погоду, типичная ситуация. Самое печальное, что Яндекс прогнозирует осадки даже на тех территориях, над которыми располагается обширный антициклон. Например, 12 ноября Яндекс прогнозировал для Казани осадки в течение всего дня, но их не должно было быть, потому что над регионом проходил центр антициклона, там стоит ясная погода и осадков не может быть физически.

    image

    Схожая ситуация повторилась 20 декабря, но уже в Кургане. Вновь над городом установился антициклон, но Яндекс упорно выдавал осадки. Таких странных ситуаций было очень много, я просто привёл наиболее яркие примеры.

    image

    Другая проблема оказалась с Алисой и её push-уведомлениями, которые она рассылает через основное приложение «Яндекс». Например, 3 января на сайте было написано, что 4 января осадков не будет, а Алиса отправила мне: «Снег – это красиво. Завтра небольшой снег». За все 5 месяцев было всего несколько таких случаев, но факт разногласия между сервисами наводит на разные мысли.

    image

    Разумеется, чаще всего Алиса сообщала тот же самый прогноз, который был указан на сайте, но никаких осадков не было. Ошибка «Метеума» транслируется на работу всех остальных сервисов и с этим надо что-то делать.

    Климатические данные


    С прогнозом осадков на 24 часа разобрались, но я хотел бы обозначить ещё одну важную проблему, которая присутствует в работе сервиса «Яндекс. Погода».
    В предыдущем материале я уже писал, что Яндекс публикует среднемесячное количество осадков по всем городам. Проблема заключается в источнике данных. На сайте указан источник NOAA, могу предположить, что Яндекс просто используют данные американского компьютерного реанализа CFSR. Реанализ подходит для исследования температуры, но он крайне плох для изучения осадков. Компьютерная модель плохо воспроизводит фактические осадки, особенно слабой интенсивности. Осадкомер же на метеостанции фиксирует реальное количество выпавших осадков, а компьютер (реанализ) рассчитывает виртуальное. Из-за этого может возникать ошибка.

    Особенно сильно разница проявляется летом, когда запускаются конвективные процессы, а модели с ними очень плохо дружат. Фронтальные осадки просчитать намного проще, чем осадки после прохождения грозовой ячейки (грозовой тучи). Ошибка увеличивается в условиях горной местности или в условиях морского климата. Поэтому при изучении климата желательно опираться только на данные ближайшей метеостанции. К компьютерному реанализу следует прибегать только в том случае, если аналоговых данных у нас просто нет.

    image

    Например, Яндекс Уфе за год насчитал 803 мм осадков, хотя по факту годовая норма составляет 586 мм. Яндекс на 37% завысил количество осадков. Во Владивостоке Яндекс, наоборот, занизил осадки на 40%. По версии Яндекса в Уфе выпадает осадков больше, чем во Владивостоке, что является абсолютной глупостью. Я писал в Яндекс на счёт этой проблемы, но моё обращение осталось без внимания. Хотя, скачать готовые массивы по станциям и обработать их, для Яндекса, я думаю, не такая уж и большая проблема.

    Вывод


    Прогноз Яндекса по осадкам на 24 часа сильно уступает по качеству другим прогностическим сервисам. За 5 месяцев точность Яндекса по осадкам на 24 часа составила 58%. У intellicast/wunderground – 81%, а у комплексного прогноза Гидрометцентра – 80%! У Яндекса удалось обнаружить интересную особенность – чем дальше от Москвы, тем ниже точность. В Кургане средняя точность составила 45.6%, а в Москве – 67.8%. Параметры прогноза между собой не согласуются: осадки прогнозируются при ясной антициклональной погоде.
    Настоятельно не рекомендую использовать сведения Яндекса в качестве базового или единственного источника прогноза.

    image

    Главное изображение: insidecorp.ru
    Синоптические карты GFS — meteoweb.ru/alter/prec.php
    Поделиться публикацией

    Похожие публикации

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 31

      –4
      У меня создалось такое впечатление, что однажды умерла бабка, которая предсказывала погоду по народным приметам и поверьям и прогнозы как-то резко ухудшились, при чем у всех и в один момент.
        0

        У Яндекса есть ещё данные о ближайших осадках с радара. Если летом для Москвы данные часто соответствовали действительности, то зимой ложные осадки возникали постоянно. Возможно, низкая точность прогнозов как-то связана с этим. Или наоборот.
        Да и вообще зимой Яндекс был субъективно существенно менее точен, чем OWM и yr.no, "притягиваемые" виджетом на десктопе.

          +2
          Плохо яндекс предсказывает погоду. Даже в прогнозах +1..2 часа к текущему времени ошибается.
          Стараюсь использовать Intellicast (ныне www.wunderground.com), один из лучших метеоресурсов.
            0
            Это ладно, когда "+1..2 часа" — я регулярно наблюдаю, как за окном валит снег или идёт дождь, а Яндекс меня уверяет, что светит солнышко и осадки будут только через несколько часов. Причем на карте погоды облаков тоже нет — они где-то далеко в стороне. И это в Москве, где метеостанций навалом.
              0
              «А какая у вас версия браузера?» :)
              0

              Пытался понять, как у wunderground выбрать цельсий вместо фаренгейта, но ни в одном браузере так и не получилось. А пересчитывать в цельсии в уме пока не выходит.

                0
                Глюк Починят рано или поздно. Видать переезд даром не прошел.
                  0
                  Кастомизация же image
                    0
                    А у меня после переключения смены не происходит (Chrome Desktop/Mobile, Firefox Desktop/Android, Pale Moon, Falkon, в том числе без аддонов), и страница перезагружается с температурой в фаренгейтах
                0
                У OWM худшие прогнозы на рынке. 63% против 91% у Яндекса. Субъективно оценивать точность прогнозов нереально, слишком много когнитивных искажений, типа феномена Майнхоф.
                +3
                Интересно было бы еще rp5.ru в сравнении увидеть. На мой субъективный взгляд, у них самый точный прогноз.
                  +4
                  В нашей местности rp5 наоборот выдает ерунду(СЗФО).
                  Intellicast/wunderground значительно точнее.
                  Яндекс вообще какую-то погоду с Луны выдает, и по осадкам даже на ближайшие 2 часа не угадывает, и если из окна видна синяя туча, то он упорно говорит, что никаких осадков в ближайшие 2 часа не предвидится.
                    +1
                    Например, вот последняя статистика оправдываемости разных прогнозов для Питера
                    image

                    У rp5 и правда очень плохие цифры, работают они на базе модели UKMO, её использует британское метеоагентство metoffice
                      +1
                      Зато в самой UK нет равных Met Office'у. Все американские источники просто пальцем в небо.
                        0
                        BBC тоже использует UKMO, однако прогнозы у них намного лучше. В данный момент 96% для краткосрочных, это лучший показатель среди провайдеров на meteotrust.
                        Видимо rp5 покупает данные с большим шагом сетки, чтобы сэкономить.
                          0

                          Это смотря где. В Greater London они почти одинаковы, а в Docklands если выбрать North Greenwich, что в 500 метрах, так чистый Met Office гораздо лучше. Тут дожди очень локализованы и прогноз на London не значит практически ничего.

                            0
                            Я промахнулся с комментарием. Конечно речь шла о rp5 vs. любой другой UKMO (Met, BBC и т.д.)
                  –2
                  шансы 50 на 50, или угадает или нет
                    0

                    Вы будете удивлены, но Яндекс даже текущую погоду, на данный момент отображает неверно. Статистики нет, но за последние пару месяцев ловил его на этом. Над городом все небо затянуто, а Яндекс говорить что ясно. С ним же этим грешит и openweathemap. Rp5 и гисметео отображали всё верно, но опять же, я не проводил статистических замеров, кому интересно — проведите, наверняка найдете много интересного.

                      0
                      Зашёл ровно то же написать — врать на пару градусов в текщей — это надо уметь (осадки тоже не очень угадывал — иногда «дождь в течении 2х часов», когда он 2 часа уже идёт). Раньше на Samsung S3/S4 был виджет weather.com — было значительно точнее и виджет лучше яндексовского (но их же виджет из стора ужасен), поствил Яндексовский(и время и температуру с осадками, вроде, показывает) — думал, уж у него-то с местными связи должны быть лучше, а оно никак. gismeteo и то точнее по ощущениям (можно выбрать даже достатчоно мелкие населённые пункты и посмотреть на выходные).
                        0
                        Вопрос… а текущая — это где? В солнечный день температура в двух метрах от нагретого асфальта, и наверху высокого (даже не очень) дома, легко может отличаться на два градуса.
                        Если сравнивать с градусником за окном зимой — так он нагревается излучением от окна и на несколько градусов в плюс врет в мороз всегда. Даже если не около окна, может нагреваться излучением стены дома.
                        Если сравнивать с показаниями метеостанции на расстоянии нескольких километров, так тоже может быть разница из-за кучи причин.
                        Я бы не был так категоричен насчет разницы температуры в пару градусов.
                          0
                          Поэтому наиболее объективными явлются измерения проведенные на государственных станциях. На карте последняя температура в Москве и Моimage image
                      +1

                      Одно время был сайт, на котором в реальном режиме сравнивались результаты прогнозов с фактом по большому числу погодных сервисов. К сожалению, сервис умер, так что ссылку даже уже и не найти...

                      0
                      Тоже, часто замечал, то гисметео более-менее совпадает с реальностью, а вот яндекс заметно косячит… :(
                        0
                        Прошлое лето сравнивал погоду почасово, особенно осадки, выбирал из 3-х: gismeteo, metoffice и intellicast.
                        Два последних выиграли в этой битве, очень редко ошибались (давали прогноз в %).
                        Гисметео же очень часто ошибался, и в режиме он-лайн подправлял текущую погоду, без изменения прогноза — т.е. продолжал ошибаться.
                        metoffice: www.metoffice.gov.uk
                        intellicast: www.wunderground.com/intellicast
                          +2
                          … Да мы супер крутые
                          … Реклама Алисы
                          ...+10500 строк почему мы тру сервис.
                          А в реальности все печально.

                            0
                            Единственное, что немного смущает — эталонные данные брались из сервиса одного из участников сравнения (росгидромет).

                            Но откуда их ещё брать, кроме как смотреть в окно — хз :)

                            Спасибо!
                              0
                              «У Яндекса удалось обнаружить интересную особенность – чем дальше от Москвы, тем ниже точность» — этапяць.
                              Скоро не только у Яндекса, а вообще обнаружится особенность: чем дальше от Москвы — тем всё хуже.
                              PS. шутка, конечно
                                +1
                                И кому верить?
                                habr.com/ru/post/354160 — «у Яндекса и Wunderground — превосходные прогнозы»
                                  +1
                                  Там оценивается температура, здесь осадки. Разные параметры соотносятся всё-таки.

                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                Самое читаемое