Спасибо за комментарии про юзабилити. Отвечу про 2 часа — да, пока именно внутри этого интервала точность прогнозов достаточа для продукта. Работаем в том числе над тем, чтобы это время увеличить.
Нам, безусловно, есть над чем работать. Однако, описанная вам ситуация скорее всего совсем не связана с глобальными изменениями климата. Дело скорее всего в том, что градусник, который висит у вас за окном, греется в теплом воздухе, нагретом зданием. Разница между показаниями градусника и настоящей температурой воздуха как правило и составляет те самые 3-4 градуса.
Вы знаете, про открытость данных я с вами полностью согласен. Однако, если вам все-таки нужен будет гиперлокальный прогноз осадков на ближайшее время, вы всегда можете воспользоваться нашим сервисом. Мы очень много работали именно над точностью.
Мы работаем над покрытием той территории, где нет радаров — точность прогноза там также возрастет. Однако, самый точный прогноз будет все-таки там, где такие данные есть.
За выпадение осадков на уровне земли отвечают процессы на разных высотах. Имея информацию о вертикальной структуре облаков, наши алгоритмы лучше прогнозируют наличие и интенсивность осадков в каждой точке карты. То есть, эти данные важны для прогноза и мы используем их при обучении и применении нейронной сети.
Наличие хайпа — штука важная, но данные и технологии их обработки еще важнее. Мы работали над получением данных и над методами прогнозирования, и вот теперь готовы представить их пользователям.
Размер выборки (то есть, по сути, количество сравнений прогнозов с фактом) — это параметр, который позволяет судить о том насколько общие выводы можно делать из результатов сравнений. Если выборка фактов и прогнозов большая и репрезентативная (что в нашем случае означает, что наблюдения покрывают большую территорию и охватывают большой временной интервал), то результаты сравнений по ней могут быть предметом анализа. В противном случае результаты представляют собой частный кейс, делать общие выводы из которого достаточно опасно.
Да, я знаю эту методику. Не согласен с вами, что стоит говорить об абсолютной ошибке по температуре как о критерии истины (мне все-таки кажется, что в пределах суток эта величина не так заметна пользователю), но спорить не буду.
Про фактические данные. Если я правильно понял, то сравнения велись в течение месяца по одной станции (вне всяких сомнений качественной). Курганская станция, насколько я знаю, передает измерения раз в 3 часа. Это значит, что если бы даже мы сравнивали мгновенную температуру, выборка составила бы 248 измерений. Это интересное упражнение, но, как вы понимаете, такой объем данных не может служить основанием для каких-то общих выводов.
Про ансамбли. Сейчас мы добавили в Метеум прогнозы тех моделей, которые отвечают не только критериям качества, но и другим требованиям, в частности требованиям по бесперебойности поставки данных. Мы, естественно, будем добавлять новые источники прогноза, просто это требует времени.
С интересом прочитал статью, большое спасибо автору за анализ прогнозов в городе Курган. Попробую ответить на несколько вопросов, заданных в тексте.
В некоторых случаях воздушная масса оказывается настолько однородной, что на один градус температура изменяется каждые 10, 20 или 50 километров!
Полностью согласен с автором — бывают случаи очень однородного поля температуры, когда над огромными площадями температура практически не изменяется. Не очень понятно, правда, почему в связи с этим не стоит делать прогноз погоды с высоким разрешением. Хорошо известны ситуации, когда мгновенные (не минимальные, и максимальные) температуры различаются на 2-4 градуса на расстоянии в несколько километров, например из-за городского острова тепла.
Ещё одно утверждение, требующее пояснений. Американская компьютерная модель GFS действительно хороша, но она не самая точная. Европейская модель ECMWF – вот самая точная модель.
Модель ECMWF действительно очень хороша. Однако, как убедительно говорит автор в своем комментарии про технологию составления прогноза, среди моделей не существует абсолютного чемпиона по точности — все модели в чем-то хороши, а где-то ошибаются. Кроме того, график, приведенный автором под названием «прогноз барического поля» на деле содержит оценку точности прогнозов барического поля на высоте 500 ГПа (около 5.5 км над поверхностью Земли). Распределение давления на высоте 5.5 км — параметр безусловно важный, но далеко не единственный, не говоря уже о том, что корреляция не принимает в расчет систематических ошибок.
Например, в новогоднюю ночь я ожидал похолодание до -30 по большинству моделей. А Яндекс показывал лишь -21.
Это и правда ошибка, которую я признаю. В дальнейшем, буду очень признателен автору за сообщения о таких моментах: мы и правда хотим сделать наш прогноз самым точным для всех городов России, а детальный фидбек от пользователей нам в этом очень помогает.
Что касается непосредственно результаты сравнений, то тут у меня возникает достаточно много вопросов, которые как бы остались за рамками статьи. По каким (и скольким) метеостанциям были проведены сравнения? Каков объем выборки? Какая заблаговременность прогноза использовалась? Без этой информации комментировать результаты сравнений достаточно сложно. Что касается метрик сравнения, то средняя абсолютная погрешность определения максимальной и минимальной температуры, как правильно отмечает автор, пользователем ощущается слабо. Можно было бы, например, посчитать процент больших ошибок (более 5 градусов), которые, кажется, больше заметны людям. И это касается только температуры, а ведь есть еще осадки — не менее важный параметр… В общем, готов обсудить методику сравнений. По нашим приборам за выбранный период мы и правда не слишком отличались от Фореки по точности предсказания температуры на 24 часа вперед, в то время как сильно выигрывали по точности предсказания осадков.
Да, чуть не забыл :)
Мой метод заключается в сборе данных со всех моделей и приведение их в общему знаменателю, в зависимости от «небесной» ситуации.
Это ваше описание, кстати, очень похоже на то, что происходит внутри Метеума, с той разницей, что анализ закономерностей в прогнозах и наблюдениях у нас происходит с помощью машинного обучения.
Напоследок хочу добавить, что мы не используем наши данные для рекламы.
Но вот приложение на Андроид мне почему-то даже регион неверно определяет, при включенном GPS. Опции отправки фидбека там не обнаружил.
Мы знаем, что при определении региона бывают проблемы, боремся с этим. На форму фидбека можно попасть двумя способами — через меню, кнопка над настройками и через окно по свайпу вправо, там где данные о текущей температуре, скорости ветра и давлении. И там и там кнопка называется «Сообщить о погоде».
Вы правы, запрос скорее специальный. Такие вещи мы планируем отрабатывать в будущем, такая возможность есть, так как мы считаем модель прогноза погоды у себя на кластерах и можем вытаскивать из нее все, что потребуется. А не могли бы вы, кстати, описать свою потребность — для чего вам такие данные? Это может нам пригодиться, спасибо.
«Общая картина», полученная со спутников — это не какая-то абстракция, а вполне конкретный снимок атмосферы в разных диапазонах с конкретным разрешением. Не с точностью до дома, конечно, но с точностью до нескольких километров.
Теперь про пресловутое «с точностью до дома». Координаты пользователя — это факторы в алгоритме машинного обучения. Именно для них мы и делаем прогноз. А то, что прогноз для двух соседних домов не отличается, так это скорее хорошо, чем плохо, потому что с большой вероятностью погода там будет одинаковая.
Метеостанции — это очень хорошо и чем их больше, тем, разумеется, лучше и детальнее прогноз. С другой стороны, это не единственный возможный источник о состоянии атмосферы. Вот, например, прогнозируют же люди погоду над океанами. А там с метеостанциями еще хуже, чем в России. Скажу больше, даже наличие метеостанции на крыше каждого дома не даст вам сверхточного прогноза: есть еще такие вещи, как высотные профиля температуры и влажности, водность облаков, вот это вот все, что на метеостанциях не фиксируется.
Это я к тому, что, помимо метеостанций есть еще радиологические наблюдения, спутники и радары, и даже это еще не все (я не про телефоны сейчас). Мы, конечно, в начале пути, но сейчас нам кажется, что данных в густонаселенных регионах (и местами не только в них) достаточно много.
Наши замеры показывают, что смысл в корректировках очень даже есть. В машинном обучении, кроме того, есть возможность принять во внимание то, что метеомодели независимо от нас допиливают и донастраивают. Ну и еще, мы сами рассчитываем погодную модель на своих кластерах и знаем о ее изменениях.
Данные NOAA мы очень любим и ценим, но для прогноза их недостаточно. К тому же, как верно выше отметил encyclopedist, это данные реанализа, то есть не совсем прогноз. Что касается вашего проекта — пишите в личку, пообщаемся.
Размер выборки (то есть, по сути, количество сравнений прогнозов с фактом) — это параметр, который позволяет судить о том насколько общие выводы можно делать из результатов сравнений. Если выборка фактов и прогнозов большая и репрезентативная (что в нашем случае означает, что наблюдения покрывают большую территорию и охватывают большой временной интервал), то результаты сравнений по ней могут быть предметом анализа. В противном случае результаты представляют собой частный кейс, делать общие выводы из которого достаточно опасно.
Про фактические данные. Если я правильно понял, то сравнения велись в течение месяца по одной станции (вне всяких сомнений качественной). Курганская станция, насколько я знаю, передает измерения раз в 3 часа. Это значит, что если бы даже мы сравнивали мгновенную температуру, выборка составила бы 248 измерений. Это интересное упражнение, но, как вы понимаете, такой объем данных не может служить основанием для каких-то общих выводов.
Про ансамбли. Сейчас мы добавили в Метеум прогнозы тех моделей, которые отвечают не только критериям качества, но и другим требованиям, в частности требованиям по бесперебойности поставки данных. Мы, естественно, будем добавлять новые источники прогноза, просто это требует времени.
За пожелания спасибо, будем стараться :)
Полностью согласен с автором — бывают случаи очень однородного поля температуры, когда над огромными площадями температура практически не изменяется. Не очень понятно, правда, почему в связи с этим не стоит делать прогноз погоды с высоким разрешением. Хорошо известны ситуации, когда мгновенные (не минимальные, и максимальные) температуры различаются на 2-4 градуса на расстоянии в несколько километров, например из-за городского острова тепла.
Модель ECMWF действительно очень хороша. Однако, как убедительно говорит автор в своем комментарии про технологию составления прогноза, среди моделей не существует абсолютного чемпиона по точности — все модели в чем-то хороши, а где-то ошибаются. Кроме того, график, приведенный автором под названием «прогноз барического поля» на деле содержит оценку точности прогнозов барического поля на высоте 500 ГПа (около 5.5 км над поверхностью Земли). Распределение давления на высоте 5.5 км — параметр безусловно важный, но далеко не единственный, не говоря уже о том, что корреляция не принимает в расчет систематических ошибок.
Это и правда ошибка, которую я признаю. В дальнейшем, буду очень признателен автору за сообщения о таких моментах: мы и правда хотим сделать наш прогноз самым точным для всех городов России, а детальный фидбек от пользователей нам в этом очень помогает.
Что касается непосредственно результаты сравнений, то тут у меня возникает достаточно много вопросов, которые как бы остались за рамками статьи. По каким (и скольким) метеостанциям были проведены сравнения? Каков объем выборки? Какая заблаговременность прогноза использовалась? Без этой информации комментировать результаты сравнений достаточно сложно. Что касается метрик сравнения, то средняя абсолютная погрешность определения максимальной и минимальной температуры, как правильно отмечает автор, пользователем ощущается слабо. Можно было бы, например, посчитать процент больших ошибок (более 5 градусов), которые, кажется, больше заметны людям. И это касается только температуры, а ведь есть еще осадки — не менее важный параметр… В общем, готов обсудить методику сравнений. По нашим приборам за выбранный период мы и правда не слишком отличались от Фореки по точности предсказания температуры на 24 часа вперед, в то время как сильно выигрывали по точности предсказания осадков.
Да, чуть не забыл :)
Это ваше описание, кстати, очень похоже на то, что происходит внутри Метеума, с той разницей, что анализ закономерностей в прогнозах и наблюдениях у нас происходит с помощью машинного обучения.
Напоследок хочу добавить, что мы не используем наши данные для рекламы.
Мы знаем, что при определении региона бывают проблемы, боремся с этим. На форму фидбека можно попасть двумя способами — через меню, кнопка над настройками и через окно по свайпу вправо, там где данные о текущей температуре, скорости ветра и давлении. И там и там кнопка называется «Сообщить о погоде».
Теперь про пресловутое «с точностью до дома». Координаты пользователя — это факторы в алгоритме машинного обучения. Именно для них мы и делаем прогноз. А то, что прогноз для двух соседних домов не отличается, так это скорее хорошо, чем плохо, потому что с большой вероятностью погода там будет одинаковая.
Это я к тому, что, помимо метеостанций есть еще радиологические наблюдения, спутники и радары, и даже это еще не все (я не про телефоны сейчас). Мы, конечно, в начале пути, но сейчас нам кажется, что данных в густонаселенных регионах (и местами не только в них) достаточно много.