company_banner

Как Яндекс создал глобальный прогноз осадков с использованием радаров и спутников

    У команды Яндекс.Погоды есть традиция рассказывать о новых технологиях на Хабре. Мы уже рассказывали, как методы машинного обучения позволили создать более точный прогноз погоды, а также о том, как нейросети и данные с радаров помогают прогнозировать осадки.

    Сегодня мы расскажем читателям Хабра о новой технологии, с помощью которое нам удалось добиться прогнозирования осадков с точностью до минут даже там, где данных с радаров просто нет. И помогли нам в этом снимки со спутников.


    Снимки спутника Meteosat-8 из космоса (источник: EUMETSAT)

    Про радары и наукаст


    Жителям центральной части России несказанно повезло, потому что именно здесь установлены метеорологические радары Росгидромета – современные инструменты, которые позволяют получать карту осадков в радиусе 250 километров от точки установки радара. При этом пространственное разрешение этой карты составляет 2х2 километра на пиксель, а интервал между двумя последовательными снимками – всего 10 минут.

    imageСлева показано, как выглядит метеорадар (источник: ЛЭМЗ)

    Что это означает для обычного человека, которому интересна погода? На территориях, покрытых радарным зонтиком, можно сообщать об осадках с точностью до жилого квартала. Такие данные сильно уточняют традиционный прогноз погоды, потому что несут информацию о том, что произошло буквально несколько десятков минут назад. Более подробно про преимущества радаров написано в нашей предыдущей статье. Теперь рассмотрим их недостатки.

    Основной из них – плохая масштабируемость, связанная с огромной стоимостью такого средства измерения и сложностью конструкции. Напомним, что сейчас радарами покрыта только часть европейской территории России, а также Барабинск и Владивосток. Кроме того, радарные наблюдения страдают от построек вокруг – например, высокие здания могут загораживать обзор в целых секторах, что сказывается на качестве получаемых полей осадков по радарным снимкам. Пример того, как могут выглядеть усредненные за несколько месяцев наблюдения по каждому из доступных нам радаров указан на иллюстрации ниже.


    Усредненные данные по измерениям радаров за несколько месяцев

    Как видно, сильно страдает качество у радаров, установленных в Шереметьево и Владивостоке, а в Минеральных водах выпадает целый сектор.

    Мы это видим на жалобах от наших пользователей. Также, в случае низких осадков, радар может не видеть на все 250 километров из-за кривизны поверхности Земли, что сказывается на возможности определения осадков ближе к границе видимости. Помимо этого, радары выходят из строя, иногда надолго, из-за чего страдают наши пользователи, которые привыкли к карте осадков и предупреждениям о дожде. Из-за этого, к примеру, возникают неожиданные «взрывы» в поле осадков, как это было недавно в Вологде. Что, конечно же, становится поводом для шквала всевозможных мемов.

    Спутники как источник информации


    Чтобы не быть привязанными к радарам, мы решили в буквальном смысле сделать космический продукт, о чем намекает заглавная картинка. Кроме радарных измерений существуют похожие подходы по оценке осадков на основе спутниковых снимков. Существует группировка специальных метеорологических спутников (на орбите находятся около 30 аппаратов): как полярно-орбитальных, которые покрывают Землю снимками подобно тому, как нить наматывается на клубок, так и геостационарные – спутники находятся на высоте около 36000 километров от поверхности Земли и вращаются синхронно с вращением Земли над экватором. Особенность орбиты спутников второго типа позволяет постоянно «висеть» над одной и той же точкой и получать такие же снимки, как и в начале статьи. Спутниковая группировка геостационаров позволяет покрыть наблюдениями практически всю Землю, используя для этих целей европейские спутники (Meteosat), американские (GOES) и японские (Himawari). Продукты на их основе имеют пространственное разрешение от 0.5 до 3 километров на пиксель, но есть проблема. Спутники висят над экватором, поэтому наши широты попадают на самый край снимка, из-за чего данные страдают от геометрических искажений.

    Прогноз на спутниковых снимках


    Идея использовать спутниковые снимки для прогноза погоды не нова – информация с них используется в традиционных глобальных моделях прогноза погоды. Кроме того, из спутниковых снимков извлекают полезную информацию: от мониторинга вулканического пепла и лесных пожаров до поиска фитопланктона. Конечно же, спутниковые снимки используют и для мониторинга осадков и их краткосрочного прогнозирования. Например, есть стандартные алгоритмы по обнаружению областей с осадками – SAFNWC, но они хорошо работают только для случая с конвективными осадками. По нашим строгим метрикам, которые мы используем для радарного наукаста, такие алгоритмы, увы, оказываются в аутсайдерах. Мы же хотели сделать продукт по качеству сравнимый с текущим решением на радарных данных, но при этом еще и масштабируемый глобально. Для этого мы взяли сильные стороны от каждого из подходов и применили магию машинного обучения.

    Meteosat как источник информации


    После первых экспериментов на стандартных алгоритмах мы решили, что спутниковому наукасту в Погоде быть. Но тут возникла первая проблема: где брать спутниковые снимки? В век цифровых технологий, казалось бы, не должно быть проблем с получением спутниковой информации. В интернете можно найти всё… кроме того, что тебе нужно. Со спутниками ситуация складывается следующим образом: чтобы оперативно получать снимки из космоса, необходимо установить приемную станцию. Стандартный набор включает в себя спутниковую тарелку, DVB-S тюнер и компьютер, на котором снимки сохраняются и обрабатываются. Да, технология полностью аналогична спутниковому телевидению, только тарелка чуть больше человеческого роста, а тюнер чуть-чуть подороже.

    Таким образом, в нашем новом ДЦ во Владимире у нас появилась собственная станция приема спутниковой информации. Данные на нее приходят с европейских спутников серии Meteosat второго поколения. Чтобы покрыть западную часть территории России, мы выбрали спутник Meteosat-8, который висит над Индийским океаном на долготе 41.5°. Снимки делаются каждые 15 минут – в течение них проходит полное сканирование видимой области спутника, после чего сканирование начинается заново. Из-за этого снимки отстают на 15 минут от реального времени. Съемка проходит в 12 каналах: 11 каналов в видимом и инфракрасном диапазонах с разрешением 3х3 километра, а также 1 канал в видимом спектре с разрешением 1х1 километр (пример съемки в разных каналах показан справа, источник: EUMETSAT). Полный снимок имеет разрешение 3712х3712 пикселей или примерно 14 мегапикселей, как у камеры современного смартфона.

    Снимок разбит на 8 частей (полосами по широтам), что иногда сказывается на качестве данных – потеря одной части может сделать бесполезным весь снимок.

    Детекция осадков


    Так как наши первые эксперименты показали, что качество продукта при использовании традиционных подходов страдает, мы решили использовать то, что принесло нам успех в случае с обычным наукастом. На помощь пришли нейросети. В качестве входных параметров мы использовали информацию из 11 каналов спутниковой съемки, а обучались на радарных снимках, сведенных в единое поле на сетке 2х2 километра. Мы использовали традиционные подходы, которыми решаются подобные задачи в компьютерном зрении. До последнего момента соревновались две архитектуры, основанные на ResNet-подобных (за авторством irina-rud) и U-Net-подобных (за авторством illusionww) моделях.

    ResNet используется в задачах классификации изображений и может быть очень глубоким, при этом увеличение количества слоев дает стабильный прирост в качестве. Однако такая архитектура имеет недостатки при использовании – мы вынуждены применять обученную модель в каждой точке нашей географической сетки. В качестве альтернативы была выбрана U-net – архитектура свёрточной нейронной сети, которая обычно используется в задачах сегментации изображений. Первоначально она разработана в биомедицинских целях для быстрой работы с большими изображениями. С такой архитектурой быстрее проверять наши гипотезы, кроме того, мы можем применять обученную модель не поточечно, что заметно сказывается на скорости обработки спутниковых снимков. Ниже представлено сравнение по полученным метрикам для двух архитектур. Так как нам удалось приблизить U-net модель по качеству к ResNet, но при этом U-net позволяет быстрее обрабатывать спутниковые снимки, то её мы и использовали в качестве production решения.


    На этом графике показана F1 мера – стандартная метрика в задачах классификации, которая показывает, насколько наши спутниковые осадки отличаются от радарных. При идеальном совпадении она должна равняться единице. Как видно из графика, качество детекции осадков зависит от времени суток, так как снимок в видимом диапазоне является важным источником информации.

    Задача осложняется еще и тем, что нужно не только выделить облако на снимке, но и определить, пойдет ли из него дождь. В ходе экспериментов мы выявили, что информации из 11 каналов недостаточно. Чтобы сделать качественный продукт, важно учитывать такие параметры, как угол солнца над горизонтом, высоту рельефа, данные на ближайшие часы из метеорологической модели, например о влагозапасе облаков, влажности в атмосфере на различных уровнях и т.п.
    В результате обученная модель позволяет выделять осадки с большой точностью. Так на рисунке показано наложение осадков по спутникам и радарному полю. Здесь фиолетовый цвет – спутники за пределами радаров, малиновый цвет – пересечение радаров и спутников, синий – то, что обнаруживают спутники, но не обнаруживают радары, а красный – то, что обнаружили только радары. На рисунке заметен небольшой систематических сдвиг на север, связанный с тем, что мы детектируем дождь не снизу облаков, как это делают радары, а сверху, из космоса и под углом. Эта проблема будет устранена в ближайшем релизе, что скажется на росте точности.

    Спутниковый наукаст


    Так как технология достаточно новая, мы решили не отказываться от радаров, а оставить их в тех местах, где наши пользователи уже привыкли пользоваться наукастом. Здесь возникает проблема: как показывать продукты, отличающиеся по методу измерения, в одном интерфейсе. Мы решились на смелый эксперимент – показывать радары и спутники в едином, привычном для пользователя интерфейсе радарного наукаста, расширив область с помощью спутников. Для этого была проделана огромная работа, так как нам надо, во-первых, согласовать спутники и радары по времени, а, во-вторых, правильно склеивать их на границе видимости радаров.

    Чтобы привести 15-минутные спутниковые снимки к 10-минутным интервалам, уже привычным нашим пользователям, мы используем Optical Flow для создания промежуточных кадров между последовательными спутниковыми снимками. Optical flow или оптический поток – это технология, которая используется в компьютерном зрении для определения сдвигов между изображениями. Используя два снимка, мы можем построить поле векторов смещения изображения в каждой точке – такое, которое позволяет получить из предыдущего снимка следующий. С помощью векторов переноса мы можем получить и промежуточные кадры, чтобы привести их к единой шкале по времени с 10-минутными интервалами. Этот же алгоритм (стараниями bonext и ruguevara ) пока что используется и для прогноза на 2 часа вперед с 10-минутным разрешением для спутниковых снимков, а радары обсчитываются старым проверенным алгоритмом на основе нейронных сетей, описанным в нашей статье про радарный наукаст. В следующем обновлении мы планируем полностью перейти на перенос всего поля осадков с использованием нейросетевой архитектуры.

    При склейке разнородных данных, конечно же, иногда возникают артефакты, например, как на рисунке слева. Здесь заметна стандартная для радаров проблема – на границе видимости они не видят осадки, а в треугольник между ними попадает информация от спутника, который успешно детектирует дождь. Думая о решении задачи склеивания двух областей данных разной природы, мы вспомнили о такой задаче, как inpainting. Nvidia в своей недавней статье Image Inpainting for Irregular Holes Using Partial Convolutions показывает, как нейросети умеют восстанавливать детали картинки по нерегулярным маскам. На Yet Another Conference рассказывалось, как Дмитрий Ульянов с помощью inpainting восстанавливал фреску. Этот же подход мы планируем использовать и в нашем случае, и уже есть успешные наработки, которые совсем скоро поедут в production, что позволит правильно учитывать разнородную информация с различных источников о факте дождя.

    А что дальше?


    Прямо сейчас на 100% наших пользователей работает наукаст, построенный, как на радарных, так и на спутниковых измерениях (благодаря космической поддержке imalion и работе команд бэкенда и фронта). Надеемся, наши пользователи, которые ждали наукаст у себя в городе, начали им пользоваться и получать своевременную информацию о надвигающихся осадках. На данный момент покрыта зона, ограниченная видимой областью самого спутника на севере и востоке (чуть восточнее реки Обь). На юге мы пока ограничили зону до нижней части Кипра, а на западе – до Швейцарии. Теперь можно смотреть за приближением фронтов еще на подходе к вашему городу и наблюдать за красивыми погодными причудами. А разница в покрытии видна невооруженным глазом.



    Таким образом, мы покрыли большую часть России, СНГ и некоторых туристических направлений. Конечно же, мы не забыли и о восточной части нашей страны – уже сейчас мы работаем с японским спутником Himawari, который висит над Австралией и позволит в скором времени порадовать наукастом наши восточные рубежи.

    А дальше – глобальная карта осадков на весь мир, избавленная от детских болезней, с повышенной точностью детекции осадков, единым алгоритмом переноса и правильной склейкой всех данных по осадкам.

    Оставайтесь с нами, пользуйтесь наукастом, делитесь впечатлениями и отзывами.

    Яндекс

    758,38

    Как мы делаем Яндекс

    Поделиться публикацией
    Комментарии 96
      0
      Зашел я как-то в магазин, пока закупался — пошел дождь. Ради интереса запустил Яндекс.Погода и радостно узрел, что дождя в моей локации не будет еще пол часа.
        +1
        Я примерно месяц мониторил карты и заметил, что актуальная погода часто расходится с реальной, зато через десять минут всё перерисовывается так, что в уже прошедшие моменты всё сходится с реальностью. Отличный прогноз прошлого.
          0
          Действительно, не всегда удается идеально совпадать с реальностью, потому что есть, как задержки в поставке радарных данных, так и неожиданные артефакты, о чем и написано в статье
        0
        С точностью до минуты, но с погрешностью в километры. Постоянно сталкиваюсь с тем, что карта осадков не совпадает с текущей ситуацией. И это при том что ближайший дмрл находится в 10 км.
          0
          Сложно сказать что-то на счёт текущего времени, но в прогнозах это более-менее понятно (если не учитывать локальные условия). Дело в том, что дороги, поля, реки и леса по разному взаимодействуют с дождём, из-за чего вполне может быть гроза с одной стороны реки и солнце с другой.
          +2
          У наших зарубежных товарищей есть такой сервис https://en.ilmatieteenlaitos.fi/precipitation-in-finland (не рекламы ради). Он умеет показывать движение дождевых облаков с точностью до 15минут. А еще — умеет строить «предсказание» движения дождевых облаков на некоторое время вперед.
          Но нам он был бы мало интересен, если бы не одно но: часть радара захватывает территорию Санкт-Петербурга.
          А как мы знаем, дожди в Санкт-Петербурге не редкость.
          И самое интересное, что данные с этого сайта — более объективны, чем с яндекса.
            0

            По Ленинградской области достаточно хорошо показывает вот тут http://www.nepogoda.ru/
            Уж точно точнее яндекса.

              0
              А объективность на чем основана — есть проделанный анализ?
                +1
                Нам важны репорты о том, что мы ошибаемся. Пожалуйста пишите, в приложении специальный интерфейс есть. И самое важное, как проверяется, что данные объективно лучше?
                  +1
                  И что вы с этими репортами делать будете? Реальное улучшение результата возможно только при повышении качества (детализации) входных данных, а с методом вы можете играть до бесконечности без всякого смысла.
                    0
                    А репорты мы будем использовать, как входные данные, так как наблюдательная сеть у нас и правда невелика
                      0
                      именно в этом и проблема
                    +1
                    Объективно данные лучше тем, что если приведенный мной радар показывает дождевую тучу, которая приближается — будет дождь. Если он показывает что туча уходит в сторону — дождя не будет.
                    В яндексе же уже пару раз попадал на то, что тучу не показывает, а дождь есть и наоборот.
                    Так же как уже писали выше — яндекс любит править данные задним числом. То есть тучи не было, но вот пошел дождь и тучу тут же нарисовали.
                      0
                      А разве Яндекс показывает ТУЧИ? На сколько я понимаю, он показывает области где идёт дождь. Следовательно туча там могла быть и раньше, но дождь из неё не шёл.
                      Возможно я ошибаюсь.
                  –2
                  Знаем мы эти круговые метеорадары image
                    +4
                    Вы точно пост читали? :) Там этот скриншот с объяснением тоже есть.
                      +8
                      А мне больше нравится объяснение со скиловым магом воды.
                        0
                        Если трудно предсказать, лучше кастовать свою погоду :)
                      0

                      Мне кажется более по теме будет такой


                      скриншот


                      хотя и про него рассказано в статье.

                      0
                      Судя по всему, у нынешнего варианта алгоритма есть проблема с тем, что к краю покрытия спутника нейросети мерещится дождь из-за кривизны Земли — словно отдельные облака, видимые в перспективе, для алгоритма равняются сплошной облачной завесе и сильным осадкам. Сейчас это, например, сильно заметно на восточном краю покрытия.
                        +1
                        На краю действительно искажения больше, но конкретно сейчас там фронт проходит с дождем.
                          0
                          Так, чтобы фронт накрывал на 100 км от Костаная одной ровной полосой?
                          Не верю, простите.
                            +2
                            Не просим принимать на веру. Возьмем данные с метеостанций с независимого сайта. rp5.ru подойдет? Берем снизу: Костанай — rp5.ru/Архив_погоды_в_Костанае — идет дождь. Берем сверху: Сургут — rp5.ru/Архив_погоды_в_Сургуте_(аэропорт) — идет дождь. Есть идеи, как проверить лучше?
                              +1
                              Есть, алгоритм такой:
                              Если лето — в Сургуте дождь
                              Если зима — в Сургуте снег

                              точность предсказания >70%
                              +2
                              «Распределение осадков в зоне фронтов имеет полосную структуру. В пределах одной фронтальной зоны имеется несколько полос, вытянутых вдоль фронта, шириной 30-70 км и длиной в несколько сотен км. В них осадки более интенсивны, в то время как между полосами располагаются зоны шириной 60-120 км, в которых интенсивность осадков незначительна или вообще отсутствует.» (Вельтищев, Степаненко, Мезометеорологические процессы, 2007)
                              Масштаб по длине — сотни км, все сходится.
                                0
                                Как скажете, конечно — но выглядит крайне противоестественно.
                          +3
                          Переводя с наукообразно-прессрелизного языка на человеческий, все это означает довольно простую вещь: в Яндексе продолжают дорисовывать недостающие данные «по аналогии», ровно также, как происходит с пробками или положением общественного транспорта. Для обеспечения заявленной детализации достоверно, плотность сети измерений должна быть на пару порядков выше (например, как у Норвежского метеорологического института или как у Weather Underground).
                          А с той плотностью, которая есть, можно успешно рисовать только «мурзилки», очень далекие от правды.
                            –4
                            Да уж. В Яндексе многое «дорисовывают».
                              +2
                              Бренд «Weather Underground» принадлежит «Weather.com», и да — там прогнозы точнее, по ним можно часы проверять.
                              Справедливости ради, покрытие России метеостанциями оставляет желать лучшего, потому прогнозы гораздо менее точны. Но таки да, буржуи предсказывают погоду в России лучше, чем местные спецы. Увы.
                                +1
                                Но таки да, буржуи предсказывают погоду в России лучше, чем местные спецы. Увы.

                                Не совсем так, вот есть например независимый ресурс, который сравнивает основных поставщиков, которые согласились передать данные по качеству: meteotrust.com
                                  +2
                                  Я не серфер и не яхтсмен, но перепробовал кучу погодных провайдеров, благо на Андроид это просто. В итоге — фаворитом оказался weather.com. Если утром было написано, что в 16 часов будет гроза, которая прекратится к 18, то так и было. Коллеги сначала меня пытались троллить, но поле нескольких подобных случаев, когда мой прогноз до 15 минут совпадал с реальной погодой — все перешли на этого провайдера. Потому что когда:
                                  — Что вы истерите? По прогнозу эта гроза кончится раньше рабочего дня.
                                  — Да что ты гонишь! Посмотри какой ужас творится!!!1111расрас
                                  И я (то есть прогноз от везер-ком) оказываюсь прав — никакие аргументы типа: «Да у Яндека на сотовых вышках метеодатчики! Да у них такие компьютеры!!» уже никого не убеждали.
                                0
                                Не сразу, но нашел статью от Яндекса про то же самое трехлетней давности:
                                habr.com/company/yandex/blog/271725
                                  +2
                                  Не сразу, но нашел статью от Яндекса про то же самое трехлетней давности.

                                  Про это мы написали в статье, раньше оно работало на радарах, сейчас еще и спутники
                                  +1
                                  А с той плотностью, которая есть, можно успешно рисовать только «мурзилки», очень далекие от правды.

                                  Поэтому мы постепенно расширяем наблюдательную сеть, используя в том числе и спутниковые снимки
                                    –7
                                    Давайте вы не будете позориться еще больше, разводя еще более развесистую клюкву, а?
                                    Спутниковые снимки (те, что доступны, а не «в теории») не могут скомпенсировать дрянную плотность наземной сети. Потому что чем лучше разрешение во времени, тем хуже разрешение в пространстве, а некоторые параметры погоды из снимков вообще очень фигово доставать — это для верной интерпретации самих снимков данные о погоде нужны.
                                      +3
                                      Увеличение плотности наземной сети — не панацея)
                                      «Для прогноза с мелким шагом порядка 10 км необходимо количество метеорологических станций увеличить примерно в тысячу раз, что нереально с экономической точки зрения. Прогресс возможен лишь при переходе к качественно иным методам измерений.
                                      В ближайшее время растущая точность* спутников, видимо, сравняется с точностью метеозондов, и это изменение количества информации, в свою очередь, существенно повлияет и уже влияет сейчас на методы усвоения оперативной метеорологической информации (т. е. регулярно поступающей в установленное время суток и в установленной форме).
                                      *Увеличивается количество частот, на которых спутник измеряет уходящее в космос излучение атмосферы, улучшаются вычислительные алгоритмы решения так называемой обратной задачи: определения профиля температуры T(z) по измеренному распределению излучаемой энергии по частотам.»
                                      elementy.ru/nauchno-populyarnaya_biblioteka/431200/Meteorologicheskie_nablyudeniya_raspredelennye_v_prostranstve_i_vo_vremeni
                                  0
                                  Над Украиной учитываются метеорадары, или только спутник?
                                    0
                                    Над Украиной учитываются метеорадары, или только спутник?

                                    До восточной части достают некоторое края радаров из России. А так в основном спутник
                                      +1
                                      А почему не учитываются другие радары? Украина почти полностью покрыта.image
                                        0
                                        К европейским радарам у нас на данный момент пока что нет доступа.
                                    0
                                    Ох Яндекс. Вроде свои, русские, однако: хвастаетесь сбываемостью прогнозов, а американская Погода в iOS делает недельный прогноз заметно точнее.

                                    По спутниковым картам — пока точность у них ужасная. Проще на сайт локальной метеослужбы заходить и смотреть там.

                                    ======
                                    Не про Яндекс. Как житель Новосибирска мне очень обидно, что метеорадара в таком большом городе нет. В каком то Барабинске — всегда, а в центре Нска приходится в окно выглядывать :))
                                      +6
                                      Читаю и не могу понять. Где же вопросы про глубину UNet? Где комменты с предложением попробовать GANы? Вижу только про, кхм, потерянные полимеры. Я как-то пропустил момент, когда на Хабре перестали интересоваться технологиями.

                                      Если говорить про качество прогнозов, есть независимый сервис meteotrust.com, который говорит о том, что наши температурные прогнозы по-прежнему самые точные в основных городах РФ. Карта осадков, построенная по спутникам не идеальна, однако в среднем качественно выше любого аналога за исключением радарных снимков.

                                      Ну и, чтобы направить разговор в конструктивное русло, мы всегда благодарны за систематические и подробные репорты о наших расхождениях с действительностью. Погода от этого только лучше :)
                                        0
                                        Я не вижу что meteotrust.com меряет облачность и осадки, а это бывает более важно чем просто температура.
                                          0
                                          Нет, точность осадков они не измеряют, вы правы, речь только про температуру. Думаю, что независимых замеров точности по осадкам нет в публичном доступе потому, что метрики такого сравнения могут быть не всем понятны. Какую метрику, на ваш взгляд, было бы интересно анализировать, сравнивая нескольких поставщиков погоды?
                                            0
                                            Было ли облачно или нет, был ли дождь или нет, в конкретной точке. Есть же метеорадары, которые оценивают яркость неба и количество осадков в реальном времени, вот с ними и сравнивать.
                                              +1
                                              Вы предлагаете метрику accuracy. Это не очень хороший способ сравнивать прогнозы потому, например, что эта метрика будет равна примерно 0.95 у прогноза, который всегда предсказывает «без осадков». У нашего прогноза эта метрика «заметно» выше — на несколько процентов. На такой метрике не будут видны ни титанические успехи ни серьезные фейлы прогноза. У нас есть несколько метрик для осадков, они сложнее, чем accuracy и, думаю, мы о них расскажем.
                                                0
                                                Можно предсказывать время начала следующего дождя в данной точке. Или время, когда дождь закончится.
                                                Можно предсказывать время следующего скачка температуры более, чем на 5 градусов от текущей температуры, или от температуры, которая была в этой точке ровно сутки назад.

                                                Вообщем надо как-то учиться предсказывать сюрпризы, а не их отсутствие.
                                          –4
                                          Какая разница, какая глубина сети, если сеть занимается выдумыванием на основании заведомо недостаточно детальных данных (то есть, проще говоря, враньем и пусканием пыли в глаза)?
                                            +1
                                            Ну зачем вы так про нашу сеть, она и обидеться может :) Ее моральные качества — на высоте.

                                            А вообще прогноз погоды — это почти всегда экстраполяция на основе заведомо неполных и порой довольно недостоверных данных. От параметров же прогнозирующего алгоритма зависит то, хороший получается прогноз, или нет. Такие дела.
                                              –4
                                              Ну зачем позориться передергиванием? Конечно, прогноз — экстраполяция. Только и экстраполяция может быть правомерной, а может — неправомерной. С той плотностью входных данных, которая у вас есть, она, главным образом, неправомерная. А то вы сейчас сказки рассказываете в духе известной шутки про детективные фильмы: «Zoom. Enhance.»
                                                +6
                                                Только и экстраполяция может быть правомерной, а может — неправомерной. С той плотностью входных данных, которая у вас есть, она, главным образом, неправомерная.

                                                Вы же обоснуете, правда? А то как-то не слишком содержательно получается :)
                                                  0
                                                  Простите, но во время Великой Отечественной плотность входных данных с оккупированных территорий вообще была нулевая, а прогноз делали достойный. На метеорологов 5 лет учатся не просто так, нам есть что предложить, кроме бесконечного уплотнения наблюдательной сети)
                                                  «При прогнозировании по «обрезанной карте» широко использовались предложенные Х.П. Погосяном и Н.Я. Таборовским основы метода адвективно-динамического анализа процессов в тропосфере и типизация синоптических процессов над Европой, разработанная О.Г.Кричаком для работы в условиях дефицита информации с оккупированной территории. » meteoinfo.ru/9may
                                            +3
                                            Столько умных слов, а по факту погода всё такая же непредсказуемая. Было летом и в Москве, когда прогноз говорил что весь день солнце, а внезапно пошёл дождь. И особенно в резкоизменяющимся климате, таком как Питер и Волгоград, где прогноз был на уровне 50 летней давности, то есть никакой.
                                              +1
                                              Вот именно из-за сервиса Яндекс.погода у меня идет полное отвращение ко всем сервисам Яндекса, хотя и понимаю что люди стараются. Едешь на машине а перед тобой огромное табло Яндекс погоды с текущей погодой которая показывает все что угодно только не текущую погоду.
                                              Вот так мозг и начинает сомневаться, может Яндекс и прав, а реалити нет?
                                              Единственное не могу понять зачем физ. лицам нужна такая точность погоды как её пытаются навязать?
                                                0
                                                зачем физ. лицам нужна такая точность погоды как её пытаются навязать?

                                                Повышение качества жизни же.
                                                Что надеть, если хочешь ненадолго сходить в куда-либо, стоит ли завтра утром вставать пораньше чтобы поехать за грибами, и т.д.
                                                Стандартной точности вида «ну завтра с утра, а может и не с утра, может быть будет дождь, а может не будет» вообще недостаточно.
                                                  0
                                                  И как прогноз погоды с расписанным до минуты или часа будет влиять на поездку за грибами? Не как. Даже что надеть не повлияет.
                                                    0
                                                    что значит «как будет влиять»???
                                                    «Дождь начнется в 7 утра» и «дождь начнется в 11 утра» — это принципиально разные вещи. Во втором случае я за 4 часа нормально так успею грибов пособирать, а если проснувшись рано утром я увижу что в моем любимом лесу через полчаса начнется дождь, то я лучше просто посплю с утра.
                                                    С одеждой аналогично. Нафиг мне таскать на себе неудобные непромокаемаые сапоги и зонт, если можно обойтись без них.
                                                      0
                                                      Если мы идем в театр то сапоги мы в любом случае не оденем. Нужно нам в лес за грибами, в любом случае сапоги лежат в багажнике машины не зависимо от текущей погоды не говоря о прогнозе.
                                                        0
                                                        Если мы идем в театр то сапоги мы в любом случае не оденем.
                                                        Сапоги бывают и цивильного вида, поэтому если по прогнозу в момент нашего пути до театра и обратно будет дождь, то оденем. А если нет, то выберем более приятную обувь.
                                                        Нужно нам в лес за грибами, в любом случае сапоги лежат в багажнике машины не зависимо от текущей погоды не говоря о прогнозе.
                                                        Совершенно верно. Вот только в ливень по лесу даже в сапогах гулять мало приятного. Поэтому если у нас есть точный прогноз, что в ближайшее время будет дождь, то лучше с утра поспать дома. А если наоборот мы видим, что дождь начнется только часов через 5, то вперед, заводим машину и едем.
                                                0
                                                Статистически, довольно точный прогноз будет даже если каждое утро говорить: «Сегодня будет такая же погода, как вчера» :) В течении года это точнее, чем прогнозы синоптиков 8)
                                                  +1
                                                  Ну не совсем так, это хороший бейзлайн, но вот например для Нью-Йорка forecastadvisor говорит, что persistence в аутсайдерах: www.forecastadvisor.com/NewYork/NewYork/10036%20
                                                    0
                                                    Я не сказал, что такой «прогноз» будет лучший :)

                                                    Может я плохо искал, о интересно — на чем считается прогноз погоды у Яндекса. Помню историю, как в советское время контрабандой купили самый последний Крей для Росгидромицентра, это сильно увеличило точность прогнозов. Насколько я в курсе, сейчас по суперкомпьютерам Россия очень в глубоком и плохо пахнущем месте…
                                                      +1
                                                      У нас есть по 100 серверов в 3 ДЦ. На них проходит расчеты метеорологической модели. Плюс мы используем несколько других поставщиков и машинное обучение — подрбонее тут — habr.com/company/yandex/blog/271725
                                                      Статья старая, с тех пор мы глобально работаем, но подходы похожи. Для подготовки данных и применения обученной модели, у нас есть map-reduce кластер на 3000 ядер.
                                                        0
                                                        Интересно было посмотреть конкретные технические данные, такие как: петафлопсы, количество ядер, архитектуру. Я не спец, но так можно хоть ка кто сравнить с топовыми мировыми суперами, а в той статье такой информаци нет.
                                                +1
                                                Зашел сюда увидеть эту картинку.

                                                Не увидел и потому запощу ее сам
                                                image
                                                  +1

                                                  Спасибо за техническую статью о том как у вас это все работает. Интересно так-же как составляют карту аллергенов, есть выездные лаборатории ?

                                                    +2
                                                    На это нужна целая отдельная статья. Попробую кратко. К сожалению, станций по пыльцевому мониторингу можно пересчитать по пальцам руки, а ежедневно обновляющаяся — только одна в Москве. Да и это с задержкой в сутки. Поэтому такие данные в основном модельные. По спутниковым снимкам и кадастру составляется карта растительности основных аллергенов. Затем используется модель цветения, основанная на сумме накопленных температур. То есть в каждой точке известно что растет, а также с учетом прогноза по температуре — когда зацветет. Далее эти данные обрабатываются в модели, аналогичной тому, которая рассчитывает прогноз погоды, чтобы после начала цветения переносит пыльцу вместе с ветром.
                                                      0

                                                      Спасибо огромное, это очень интересно звучит.

                                                    +1
                                                    А чего только метеосат? Есть ещё даже такой: Электро-Л.
                                                      +1
                                                      К сожалению у него разрешение чуть хуже, кроме того измерения проводятся раз в полчаса, что для задач наукастинга — очень редко.
                                                      0
                                                      Было дело, когда метео-радары на ЛЭМЗе только появились, наши спецы ездили в Я. на переговоры, по выдаче данных. С тех пор программная часть несколько улучшилась, но не в разы. Радиус обзора локатора — 150км, никак не 250км. Импульсная мощность не такая уж большая.
                                                        0
                                                        Соглашусь, качество на краях области от этого и страдает.
                                                        0
                                                        Мне вот интересно, когда прогнозы из разных источников яндекс научится отображать согласовано в своих приложениях. Например, в 12:00 в верхней части экрана приложения может показывать в ленте погодных условий, что дождь начнётся в 13:00, а чуть ниже попап метеорадара: в ближайшие два часа осадков не предвидится. Ну и какой из двух личностей яндекс-прогнозиста верить?
                                                        Хотелось бы более разнообразной обратной связи по осадкам: сейчас можно указать вид осадков, но не их силу. Неужели не имеет прогностического значения?
                                                          0
                                                          А можно, если такое опять повторится, сообщить нам об ошибке в приложении или через форму обратной связи?
                                                          +3
                                                          Вы еще забыли пропарсить и подтягивать метеостанции локальные из сети (тот же aprs.fi возьмите и др. сервисы). Для бигдаты чем больше, тем лучше ;)
                                                          И еще предложение: давайте сделаем простой набор яндекс.метео для установки?
                                                          Мини-погодная станция через APRS.CWOP в т.ч. с грозоотметчиком и др. фишками? А то приходится из импортных комплектующих или на коленке собирать, а так будет фирменный Российский продукт от ЯR
                                                            +1
                                                            Мы не можем просто так парсить данные, в каждом случае мы заключаем договор на легальную покупку необходимых данных. Тема со станциями интересна, можно побольше подробностей?
                                                              0
                                                              Эти данные открыты и общедоступны.
                                                              По метеостанциям ситуация следующая: в России не выпускается недорогих станций надбытового уровня, которые бы позволяли получать метеоданные + грозоотметчики с ними были. Много времени использовал импортную недорогую станцию, отлично себя зарекомендовала и стоит копейки имея полный функционал. Но, в основном народ собирает на коленках.
                                                              Сейчас я после тяжёлой болезни сменил вид деятельности и возвращаюсь в ИТ тематику через… ведение кружка в школе (ардуинки, робототехника, электроника и т.п.) — заодно восполняю знания. И как раз думал, что бы имело смысл делать в качестве нормального и интересного школьного проекта. И вот как раз очень нехватает реальной народной погодной станции.
                                                              Температура, влажность, атмосферное давление, направление и скорость ветра, грозоотметчик. Станция может быть в т.ч. максимально автнономной, т.к. датчики потребляют мало энергии, как и контроллеры для сбора данных. Оптимально построить и на базе открытых протоколов под такие метеостанции единую сеть (как говориться, чтобы передавало через любой доступный канал простые пакеты в очень понятном формате — а пакеты на столько короткие, что умещаются к примеру в такую строку:
                                                              May 15 2018 00:09
                                                              000/000g000t076r000p000P000h10b10263

                                                              По сути можно реализовать очень интересный проект ;) с коммерческой реализацией + с социальной составляющей. Пишите в лс :)
                                                                0
                                                                Посмотрите в сторону narodmon.ru
                                                                У них уже есть простой API для приема данных + есть раздел с помощью
                                                                  0
                                                                  они еле живы, пытались с ними когда-то :)
                                                                    0
                                                                    Про них мы прекрасно знаем. Проблема любительских станций в том, что они в большинстве случаев неправильно установлены, например измеряют температуры стены или балкона. Из этого можно вытянуть полезный сигнал, если использовать одинаковые станции, например netatmo. Но к сожалению у народного мониторинга зоопарк средств измерения, что затрудняет использование данных.
                                                                      0
                                                                      Странно, неужели для нейросети так критичен разброс температуры?
                                                                      Вот например скрин карты с датчиками моего района Санкт-Петербурга, не так и сильно врут датчики.
                                                                      Или еще лучше — запилите свой API, нарисуйте схемку на ESP, нарисуйте схемку правильного размещения датчика и принимайте данные от населения.
                                                                      Думаю энтузиасты вмиг подтянутся (народная карта яндекса тому подтвержение, там люди быстро нарисовали все кусты и тропинки в своих районах).image
                                                                        0
                                                                        flightradar рассылает желающим свои устройства. Было б желание и бюджет, а добровольцев найти не проблема. Особенно если им предложить вознаграждение в виде той же подписки на сервисы яндекса, если пришлют сначала план установки датчиков, потом фото с подтверждением корректной установки. Выбросить в окно датчик всегда можно.
                                                                    0
                                                                    Не пробовали данные у народного монитора покупать? Я думаю и вам была бы польза и они смогли бы свои затраты на обслуживание серверной части отбить.
                                                                  0
                                                                  Простите, а в Яндексе есть люди с опытом моделирования погоды с помощью урматфиза? Я полагаю, что использовать нейросеть для системы, описываемой системой уравнений в частных производных (хоть и очень сложной), не лучшее решение. Возможно я не прав и был проведен анализ, показывающий обратное. Мне было бы очень интересно понять причины перехода на моделирование с помощью универсального черного ящика, не знающего физику.
                                                                    0
                                                                    Опыт конечно имеется. В том числе некоторый есть и у меня :) Дело в том, что черный ящик конечно не знает физику, но его можно научить находить закономерности, чтобы воспроизводить законы, наблюдаемые в природе. Там как атмосфера сложная система, то по честному мы не всем можем учесть, а тем более решить аналитически. Приходится прибегать к допущениям, упрощениям и параметризациям. А вот тут машинное обучение и приходит на помощь — обобщает наши знания и помогает найти лучшее решение. Если говорить про определение дождя со спутников, то точность детекции алгоритмами, построенных на урматфизе оказывается в районе 0.3 по f1, тогда как мы смогли добиться 0.8 с помощью нейросети.
                                                                      +2
                                                                      Пользуясь случаем, выражаю благодарность команде Яндекс.Погоды за вашу работу. Ваши прогнозы содержат наиболее близкие к будущей реальности данные. Есть опыт тестирования погодных данных от Москвы до Амура, и Яндекс всегда оказывался прав, чего нельзя сказать о Гисметео и иных.
                                                                      Оговорка: в комментарии речь об успешном предсказании трендов, но не сиюминутной погоды. Если над локацией фронт или летняя спонтанная гроза, то угадывать бесполезно. Жалко это мало кто понимает, незаслуженно обвиняя синоптиков.

                                                                      Над Сибирью такое ощущение, сбиты настройки «переменная облачность» и «ясно». Алгоритм часто подводил (14-16 года) и вместо «ясно» выдавал «переменная облачность». Прелести резко континентального климата.

                                                                      Интересность. Настройки для осадков в разных регионах разные. Если бы на Москву хоть раз обрушился «снегопад» из Хакасии, Москва бы встала дней на пять. Напротив, московский «снегопад» в Хакасии — это легкий снежок. Что же, логично.

                                                                      Ещё любопытность. В Сибири бывают дожди из голубого чистого неба. Обычно они несильные. Смотришь вверх и видишь максимум лёгкую белую дымку, а из неё при этом капает хороший такой дождик.
                                                                        0
                                                                        Надо отдать должное — Яндекс-Погода наиболее адекватно отражает погоду во Владивостоке и на Севере Сахалина (места, где я живу и езжу в отпуск, на рыбку). Большинство информеров тупо берут текущую погоду у метеостанций ближайших аэропортов. А погода в аэропорте Владивостока «Кневичи» разительно отличается от погоды собственно в городе, поскольку аэропорты на ДВ строятся с учетом летних прибрежных «выносов». Итог: за окном туман и морось, погодный информер бодро сообщает о ясной, солнечной погоде. Осенью предупреждает об утренних заморозках, а город греет ещё не остывшее море, и до заморозков ещё месяц.
                                                                        Что интересно, в черте города находятся минимум 2 метеостанции Росгидромета, но он, судя по всему, не желает отдавать задаром погодные данные «на сторону». А как же безопасность и здоровье граждан? Куда смотрит МЧС? Не ответа, только капли дождя стекают за шиворот мне, не взявшему зонтик.
                                                                          0
                                                                          Интересная статья, спасибо. Вопрос: как часто перерасчитывается прогноз и влиют ли как-нибудь сообщения из приложения «За окном другая погода»?

                                                                          PS: не могу сказать, что часто интересуюсь погодой, но недавно надо было ехать за грибами, а на улице был дождь. Визуализация осадков в яндексе помогла принять решение выдвигаться. В итоге дождя нет, грибы собраны. Спасибо вам)
                                                                          PSPS: Также выше в комментариях озвучили интересную идею создать готовый кит для любительской погодной станции и продавать за недорого. В больших городах неактуально, но в деревнях и маленьких городках было бы востребовано. Как минимум себе на дачу бы поставил. Ну и можно будет потом в сельские школы «подарить» по какой-нибудь гос. программе. В итоге все в плюсе — вы получаете больше данных для прогнозирования, жители получают более точный прогноз.
                                                                            0
                                                                            Прогноз пересчитывается по мере поступления данных новых данных — будь то новый прогноз или наблюдения. Не реже, чем раз в три часа. Ближайшие горизонты гораздо чаще — например с учетом наукаста — каждые 10 минут. Сообщения мы учитываем и обрабатываем.
                                                                            0
                                                                            Очень интересно узнать:
                                                                            Какое предельное рзрешение получаемых вами спутниковых снимков?
                                                                            Какие каналы попадают в погодный процессинг?
                                                                            Как устроен конвеер потоковой обработки снимков?
                                                                            Landsat-8 или Sentinel-2(3) используете?
                                                                            Какие инстументы (кроме очевидного GDAL) используете в обрботке изображений?
                                                                              0
                                                                              Об этом написано в статье — это 1 км в видимом диапазоне. :)
                                                                              Каналы попадают все.
                                                                              Снимки приходят на компьютер, подключенный к тюнеру от тарелки, складываются в хранилище, затем распаковываются, склеиваются в единое поле, переводятся в удобочитаемые форматы.
                                                                              Landsat-8 или Sentinel-2(3) напрямую не используем, только в качестве данных, ассимилированых в модели прогноза погоды.
                                                                              Еще мы используем python библиотеки и нейросети.
                                                                              0
                                                                              И самое главное — облака!!! Поделитесь магией определения облаков/тумана/теней_облаков на снимке? Отделения облаков от, например, снега? ))
                                                                              Существующие алгоритмы вроде fmask'а частенько ошибаются
                                                                                0
                                                                                Это и правда непростая задача, пока что то, что мы готовы раскрыть — описано в статье. Чуть позже сможем предоставить больше подробностей.
                                                                                  0
                                                                                  Будет ли когда-нибудь в яндекс-погоде радар просто облаков, а не осадков? Чтобы знать, что, например через час солнце уже скроется.
                                                                                    0
                                                                                    Да, данные уже используются. Подумаем, как продуктово преподнести.

                                                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                              Самое читаемое