Pull to refresh

Comments 92

Я правильно понял, что у автора этой потрясающей технологии до сих пор нет инвайта на Хабр? ;) Хотел ему плюсануть в карму и тут такой облом. Не пора ли что-нибудь предпринять по этому вопросу?

Если бы у меня не было инвайта на Хабр, я не смог бы опубликовать этот пост :) А то, что инвайта нет у прекрасного nes8bit, мы обязательно поправим.
Благодарю :) Я всего лишь раскладываю данные для быстрого доступа, за интересные технологии огромное спасибо imalion

А кто может иметь доступ к этим данным? Просто мне интересна эта тема, некоторое время назад, я собрал небольшой комплекс для принятия данных с метеоспутников (небольшая антена, RTL-SDR, raspberry pi 2, программа для построения и обработки данных со спутника), но предсказать движение воздушных масс, достоверно не получается, возможно мало данных, ну или алгоритм не очень хороший (((((, хотелось бы попробовать дать ему больше данных и посмотреть на его поведение.

Но ведь для регистрации на Хабре не нужен инвайт или вы не про то?
Полноценным пользователь станет только после написания хотя бы одной статьи. До тех пор карму выше 4 не получить, а с ними и возможности голосования за карму и комментарии.

Статью нельзя написать, не получив инвайт. Разве что в песочницу.

По-моему, мы говорим об одном и том же. Ведь статья — это один из способов получения инвайта. Но без статей пользователь тоже не будет полноценным.
А что вам мешало раньше использовать такое? Хайпа не было?
Наличие хайпа — штука важная, но данные и технологии их обработки еще важнее. Мы работали над получением данных и над методами прогнозирования, и вот теперь готовы представить их пользователям.
Вот да, то что получилось данные выцарапать — это просто отлично. Пытался сделать такое на графических данных ДМРЛ с meteoinfo простой интерполяцией. И оно даже работало, но потом росгидромет доканал беларусов и они дополнительно усложнили получение данных, а дальше играть в щит и меч уже не было никакого желания.
Это замечательно. Вот ещё бы в документации на API был бы чёткий и понятный прайс-лист на доступ к данным, а служба поддержки бы озвучивала условия подписки, а не отделывалась шаблонными ответами…
Пожалуйста, напишите мне в личку — расскажу и про прайс-лист и про условия подписки.
Скажите, каким образом вы обрабатываете данные по высоте? Которые до 10 км.
За выпадение осадков на уровне земли отвечают процессы на разных высотах. Имея информацию о вертикальной структуре облаков, наши алгоритмы лучше прогнозируют наличие и интенсивность осадков в каждой точке карты. То есть, эти данные важны для прогноза и мы используем их при обучении и применении нейронной сети.
А почему Гидрометеоцентр не использует такие методы?
Теперь данные метеорадаров, которые по идее должны быть бесплатны и публичны, будет продавать яндекс.
Есть у нас проект: мини-метеостанция с детектом осадков (в т.ч. снега) в реальном времени и смешной ценой.
Делали-делали, но, похоже, не успели.
Если Яндекс и правда даёт заявленную точность – это, конечно, здорово.
Лучше бы научились выдачу правильно формировывать
думаю это случится сразу после того, как вы определите термин «правильная выдача» :)

А что же с городами, в которых нет таких радаров?

Мы работаем над покрытием той территории, где нет радаров — точность прогноза там также возрастет. Однако, самый точный прогноз будет все-таки там, где такие данные есть.

Проблема в том, что предсказывать нужно не только осадки, но и действия пользователя. Мне, например, иногда не удаётся сходить в кино из-за дождя. Бывало весь день планируешь пойти на определённый фильм, а затем, как раз перед выходом, начинается дождь. И заканчивается тогда, когда уже поздно дёргаться. Знал бы заранее, что будет дождь, вышел бы на полчаса раньше и погулял бы эти полчаса по торговому центру. Но даже если будет возможность заранее узнавать о дожде, то это всё равно не поможет. Кино не настолько важно, чтобы заморачиваться и смотреть прогноз заранее. Проще не пойти в случае дождя. А вот если бы кто-то мог предсказать, что я намерен пойти в кино, и директивным образом сообщил мне, что я должен выйти на полчаса раньше, потому что будет дождь, то это совсем другое дело.

Google Now уже подсказывает, когда выдвинуться в сторону аэропорта, если увидел авиабилеты в почте.
Ничто не мешает Яндексу, когда у него будет свой «ассистент», увидеть билеты в кино, посчитать дорогу с учетом пробок и погоды, и подсказать, когда выходить. Только вот самого ассистента у Яндекса пока нет.

Бобук уже экспериментирует на эту тему в домашних условиях.

Метеоданные должны бы быть открытыми. В том числе и с метео радаров. Тогда пользователи могли бы сравнить точности разных прогнозов. А пока мы видим монополию на данные Гидромета и Яндекса.
Вы знаете, про открытость данных я с вами полностью согласен. Однако, если вам все-таки нужен будет гиперлокальный прогноз осадков на ближайшее время, вы всегда можете воспользоваться нашим сервисом. Мы очень много работали именно над точностью.
Гиперлокальный прогноз требует проверки его связи с реальностью, в данном случае необходимо гиперчасто измерять осадки по густой сетке. Планируете такие работы?
В таких измерениях мы бы с огромным интересом поучаствовали на любых условиях!
Да, у нас есть мысли про то, как отвалидировать выпадение осадков на уровне земли на очень частой сетке. Сейчас мы просто стараемся как можно более точно предсказать следующую последовательность радарных снимков.

А вы — это кто?
ЮНЦ РАН, Ростов на Дону.
Кстати самые мощные дождевые ячейки на территории России это как раз у нас тут рядом.
По вашей работе есть уже публикации?
Есть ли сайт у Метеум?
Можно ли к вам попасть пообщаться если будем в Москве?
Сейчас это может показаться невероятным, но скоро наступит лето

Вот эту фразу я не понял: к чему она? Скоро — это когда? В июне или в январе? :)
С долгосрочными прогнозами такое не прокатит
вообще долгосрочные прогнозы это гадание на кофейной гуще.

Например в СССР из за обмеления Каспия собирались поворачивать северные реки, но потом чуток климат изменился и в Каспии уровень воды стал повышаться.
Тоже самое прогнозирование глобального потепления при крупном извержении вулкана может быстро сменится ледниковым периодом с последующим глобальным потеплением.
Интересная и полезная новость, спасибо!
Скажите, при таком высоком разрешении по времени, не кажется ли вам, что сервис должен видоизмениться в «погода на маршруте». Человеку гораздо проще ориентироваться в прогнозе, если ему программа напишет:
  • по пути на работу начнется сильный снегопад, лучше ехать на метро, а не на трамвае
  • или по пути на работу сильный ливень на подходе к офису, оденьте резиновые сапоги
Я и сейчас иногда жалею, что нет сервиса погоды по пути следования. Казалось бы, несложная математика, а когда нужно прогноз погоды на 400км маршруте наложить на время — в уме не особо и сделаешь. А с таким разрешением как у вас — и прогулка велике на 30 км уже потребует решения такой задачи.
+100500!
Пробки в Я.Картах есть, добавить еще слой погоды с уточнением по проложенному маршруту.
Насчет видоизмениться — это вряд ли, на нашем сервисе много других пользовательских сценариев. Но про такую фичу, разумеется, думаем.
Скорее всего снегопад повлечёт столкновение пяти машин по пути на работу и будут серьёзные пробки.

Объясните почему все прогнозы погоды текущей температуры занижают температуру на 3-4 градуса стабильно? То есть если на термометре -12, то показывает -16 и при чем это не только мое мнение. Это что погрешность модели из-за нейчета глобального изменения климата?

Нам, безусловно, есть над чем работать. Однако, описанная вам ситуация скорее всего совсем не связана с глобальными изменениями климата. Дело скорее всего в том, что градусник, который висит у вас за окном, греется в теплом воздухе, нагретом зданием. Разница между показаниями градусника и настоящей температурой воздуха как правило и составляет те самые 3-4 градуса.

Я не имел ввиду ваши прогнозы, я пользуюсь другими прогнозами, но по разным сайтам и разным приложениям стабильно занижены температуры по сравнению с термометром, причем так было не всегда, а с каких-то пор, хотя термометр у меня давно один и тот же и опять же не только я так считаю. Вы сами можете сравнить показания прогнозов с собственными термометрами. Кстати осадки тоже все сайты и прогнозы стали врать с каких то пор, може в этом году так стало точно не помню. А раньше всегда достаточно точно получал прогноз температуры и осадков на день и по часам с сайта http://www.pogodaonline.ru

есть разница в температуре в городе и за городом, разница зависит от размера города, базовой температуры и т.п. как раз зимой 3..6 градусов, подозреваю раньше это учитывали или стали учитывать по другому или для других.
UFO just landed and posted this here
Круто, что в моем дефолт-сити Петрозаводск воткнули метеорологический радиолокатор. Печально, что установка его была после авиакатастрофы =/

Ну да ладно, не об этом.
По приложению и погоде:
  • Почему был выбран промежуток именно 2 часа? Обусловлено какой-то точностью?
  • Крутое предложение выше — погода по маршруту. Особенно актуально в больших городах или длинных поездках на том же вело. Можно тогда и маршруты составлять так, чтобы не попасть под осадки
  • Почему-то в виджете в центре уведомлений мне пишет, что в 14:00 осадки, а в приложении — осадков не будет в ближайшие 2 часа.(UPD: спустя 10-15 минут пользования приложением данные о снеге стали отображаться);
  • На карте осадков было бы удобно сделать какой-то механизм возврата на текущее время, например полистал вправо-влево, хочу быстро вернуться на текущее время. Например двойной тап по панеле со временем — перенос на «Сейчас»;
  • Нравится приложенеи Wunderground. У них очень удобно сделан таймлайн погоды, отображается дата, время, осадки, ветер, температура. На я.п кроме осадков и температуры информации нет. И то температура разбита какими-то огромными промежутками. Непонятно, то ли данных нет, то ли отображается температура из прогноза утро/день/вечер/ночь.


Я.П более легкое приложение, приятно выглядит. Допилить бы функционал только и WU можно удалять.
Спасибо за комментарии про юзабилити. Отвечу про 2 часа — да, пока именно внутри этого интервала точность прогнозов достаточа для продукта. Работаем в том числе над тем, чтобы это время увеличить.
Хотелось бы поподробнее про архитектуру сети.
как и какие слои используются
Открыл сайт, посмотрел на сообщение «В ближайшие два часа осадков не ожидается», посмотрел на то как валит снежище за окном, закрыл сайт.
А вы геолокацию сайту указали после открытия?
О, интересно. А где вы находитесь?
То же самое сейчас происходит на северо-востоке Москвы. Валит снег, но нет, ваша нейросеть уверяет что в ближайшие 2 часа осадков не будет, хотя на карте с запада на Москву надвигается огромная туча.
Вы знаете, удивительно что таких комментариев так мало.

У меня ровно такие же ассоциации. Смотрю погоду на телефоне только чтобы узнать температуру вот прям сейчас, а вот прогнозы все практически бесполезны. Территориально Северо-Запад Мск и ближайшая область.
Аналогично: Саратов, 10 утра — за окном снег просто валит, домов не видно, а на сайте (у нас, правда, город в «серой» зоне) — абсолютная ясность чуть не сутки вокруг текущего времени. Геолокация нормально вроде сработала.
Ради справедливости отмечу, что снег через пару часов прекратился и иногда всё же было видно солнце.
В тексте много раз упоминается забота о пользователях. Но где же открытое API для этих пользователей? Мне оно нужно для своего устройства на arduino, которое отображает полезную информацию, в том числе погоду.
Если не ошибаюсь, это третий пост о Метеуме?
Он чем-то похож на AlphaGo — там тоже читаешь-читаешь описания и все они звучат примерно одинаково: «вот есть такая большая и сложная шайтан-машина, работает она как-то примерно так, но подробностей не понимает никто, быть может даже включая авторов».
Ага, год назад Яндекс научился прогнозировать погоду с точностью до дома, а теперь вот с точностью до часа. Жду через год статью как Яндекс научится прогнозировать погоду с точностью до градуса. А все что мне нужно вероятность и объем осадков на сегодня или N дней вперед, половина прогнозов вообще их не показывает (зачем такой прогноз погоды?), а остальные предсказывают чуть лучше чем интуиция.
Ну это же принцип метеонеопределённости Гейзенберга! Ты либо знаешь место, либо время, либо температуру. Яндекс вот умудрился знать место и время, а температуру где-нибудь ещё посмотрите!
Сравнение с AlphaGo ко многому обязывает, придется соответствовать :) Что до понятности описаний, то тут ту хум хау. Кому-то и анонса достаточно, чтобы найти и прочитать статьи в нужном направлении, а кому-то и открытх исходников не хватит.
Анонс это анонс — он краткий. А метеумные статьи по объему вполне тянут на нормальные обзоры, но состоят почти целиком из buzzwords.
Я не до конца разобрался к чему у вас вопросы — к объему статей или к лексикону, но в любом случае обсуждать это не готов.
Планируется ли вами использовать данные по атмосферному давлению с телефонов пользователей приложений вида Яндекс-Погода, Яндекс-Карты?
Мы уже начали работать с этими данными. Там достаточно много шума, но есть и сигнал.
В моей практике большие ошибки наблюдаются при поездках в машине и метро (вероятно из за принудительной вентиляции) — плюс/минус 5мм.рт.ст.

Достаточно заметный шум есть при перемещении между этажами (1мм.рт.ст. на 10.5 метров высоты).

В целом же датчик давления на Samsung Galaxy Note 2 ведет себя очень прилично.
Ну наконец-то.
Были времена, когда снимки метеорадаров можно было почти в реальном времени в интернете посмотреть. Летом в таком большом городе как Москва это было очень удобно: перед выходом с работы (грозы чаще по вечерам) проверяешь по снимкам, не надвигается ли дождь, и принимаешь решение переждать или ехать. А потом актуальные снимки закрыли.
Так что я очень рад, что в каком-то виде снимки вернутся и более того, будут учтены в прогнозах.
Яндекс, давайте Вы не будете обманывать людей. Год назад я уже писал про ваш «Яндекс.Метеум», где доказал, что статистически Ваш прогноз ничем не отличается от прогнозов Фореки, которую вы раньше использовали. Это чистый пиар ход. Сейчас вы снова наступаете на те же грабли. Вот последний ваш эпичный провал с 19 по 28 ноября. В красных квадратах все значения, которые не оправдались, в скобочках фактические значения. Общий уровень точности 22%. Извините, но когда на 3-е сутки допускают ошибку в 13 градусов, это уровень до компьютерной эпохи, когда прогнозы составляли классическим синоптическим методом. А если честно, то это уровень дна.
image

По самой статье. Где фактура? Где оправдываемость ваших прогнозов? Неужели сложно опубликовать эти данные? Или публиковать нечего? Зачем вы пытаетесь изобрести велосипед??? Данные локаторов уже давно используются во всех мезомасштабных моделях семейства WRF, особенно в США.
Другой вопрос. Прогноз осадков с точностью до минуты. ЧТО? Яндекс, быть может вы и можете в нейронные сети, но не можете в метеорологию. Прочтите хотя бы курс синоптической метеорологии, а потом заявляйте, что можете делать прогноз осадков с точностью до минуты. Сначала вы пудрили людям мозги своими прогнозами с точностью до дома, потом изменили «с точностью до района». Сейчас вы уже лезете в «прогноз с точностью до минуты». Когда ожидать прогноза с точностью до секунды?
Статья не имеет никакого отношения к науке и метеорологии, а в очередной раз пытается пропиарить свой «суперкрутой» сервис.
А давайте-ка я не буду с вами дискутировать, кажется это вполне бессмысленно.

В вашем посте про Метеум, как и в этом комментарии, достаточно много громких заявлений, а с той самой фактурой как-то не очень. Например, на нашем сайте вы смотрите погоду в центре города, но не говорите о том, где находится метеостанция, с которой взялись фактические значения. Да и даже независимо от этого, попытка вычислить «общий уровень точности» по одному прогнозу представляется мне достаточно рискованным статистическим упражнением.

График точности прогнозов в статье у меня, кстати, есть, но оставить только его было бы наверное неправильно, людям ведь и про радары интересно и про то, какой у нас продукт получился… Странно, в общем, что вы выбрали такой стиль общения, вероятно это как-то связано с целью самого комментария.
У нас город 25 км в диаметре, это не Москва где высоко воздействие антропогенного фактора. Я уже неоднократно писал, что на 1 градус температура может изменяться на сотни километров, а Вы мне про центр города рассказываете. Наша курганская метеостанция находится на расстоянии 10 километров от центра, это никак существенно не влияет на распределение температуры. Вот я даже сейчас смотрю и вижу у Вас погрешность в 4 градуса, а в соответствии с методикой оценки оправдываемости Гидрометцентра, это считается уже пролётом. Допуск 3 градуса. У вас 4. Прогноз не оправдался при заблаговременности на 2 часа. О каких осадках может идти речь, когда Вы даже приземку не можете спрогнозировать.
image
У нас сейчас идёт выхолаживание воздуха. Ваш Метеум не умеет рассчитывать это выхолаживание.
Вы заявляете, что попытка вычислить «общий уровень точности» по одному прогнозу это не совсем корректно, да, это так. Нужна большая выборка. Но все остальные модели смогли просчитать этот прогноз, а Вы — нет! Вот что самое главное. Сырые данные моделей (GFS, ECMWF, NAEFS и прочие) оказались точнее, чем распиаренный Яндекс.Метеум.

Яндекс, просто покажи свой уровень точности. На одни сутки, на вторые, третьи, четвёртые и так вплоть до десятых. А уже потом заявляйте, что Вы лучше всех остальных. Мне, например, известно, что точность Gismeteo для Кургана на одни сутки по температуре составляет 92%, далее точность падает на 3% каждые сутки. Выборка за 60 дней и более. А где Ваша статистика, Яндекс? Сделайте, хотя бы по Москве. Оцените уровень других ресурсов, а уже затем делайте выводы. Цифры, факты, эмпирика.
Есть доля истины в вашем комментарии) Мне волей-неволей приходиться знать точный прогноз, обычно на сутки-двое вперед, дорога у меня практически никакая возле дома и вопрос часто в том, смогу я проехать по ней или нет. Уже несколько лет в поисках самых точных прогнозов по осадкам, но и температура частенько требуется. Постоянно отслеживаю сервисы Яндекса, Gismeteo ,Weather и разные мелкие сайты. И как-то Яндекс не радует точностью — то попадает то нет, уж не говоря об отсутствии такой полезной штуки как почасовой прогноз)
Мой выбор Gismeteo и Weather, второй мне нравится даже больше — почасовка там есть с вероятностью осадков и она реально работает, хотя изредка бывают сильные просчеты.
Рекомендую Вам Foreca и intelicast. Работают на модели европейского центра среднесрочных прогнозов (ECMWF), которая считается лучшей в мире. Точность была проверена статистикой, на одни сутки в районе 95% по температуре. Кроме того, в конце ноября модель обновилась.
кстати да, как писал выше — wunderground(он же intelicast) данные выводит более точные и при этом на более большой срок. Сейчас попробую их Storm. Сравню по удобству приложения. WU неудобен тем, что со временем кэш в 400+мб уходит и нет кнопки очистить.

Foreca ранее не слышал, посмотрел, погода да, точная, как у WU, но приложение настолько деревянное.
Вчера вечером (с 19 до 21 часов) в Петербурге Я.Погода на сайте и в приложении на айфоне утверждала, что осадков не предвидится, в то время, как я пол часа ехал сквозь мелко моросящий снего-дождь.
Это так и задумано, или «ваша программа не работает»?
Нет, ничего такого мы не задумывали. Радар и правда может не видеть мелкие осадки любой фракции, и иногда с этим нельзя ничего поделать.
Те радары, которые работают на длине волны 5.5 см (Метеор-500С и ДМРЛ-С) не увидят. А старые МРЛ-5 (Калуга, Тверь, Екатеринбург), работающее длине волны на 3.2 см скоррее всего эти метеообразования увидят.
Вот еще метеорадар в СПБ http://www.kontur-niirs.ru/meteo/. Работает на 3.2 см.
Петербург, центр. Всю ночь идет мелкий мокрый снег.
Всю ночь ваша погода показывает «В ближайшие два часа осадков не ожидается»
На карте осадков пусто.
Foreca, кстати, показывает все правильно: «Overcast and light snow»
Во-первых, метеостанции расположены далеко друг от друга и измеряют параметры в строго определённые промежутки времени.

У народа куча «домашних» метеостанций, но эти данные «нахрен никому не нужны». Есть и недомашние.

У меня (http://shatura.laser.ru/Thermometer/index.html ) семь лет непрерывно меряет температуру, последние пару лет — и давление, можно мерять влажность, но лениво.
Во Фрязино примерно столько же работает онлайн термометр с барометром
Я конечно извиняюсь, но Вы вообще проводите соответствие своих прогнозов с реальной ситуацией? Полигон прогноза осадков на ближайшее время кардинально меняется каждые 5 минут. Но это ещё не самое худшее. Меняется прогноз на пройденное время. Т.е. к примеру полигон, который был в 10:00 так же изменится, если мы смотрим на него в 10:30, в 11:00 (т.е. в прошедшем времени)

Замечательно, что детализация метеума растет. Это смогут использовать и транспортные компании при учете логистики и расходов на транспорт — отправляя в рейсы в хорошую погоду.

Делюсь интересным наблюдением: Для некоторых ниш, по аналитике сайта, постоянно замечаю рост конверсии в заказ и посещаемости именно в непогоду.

Вопрос: Планируется ли повышение ставок в рекламе на Директе относительно изменения погоды? Вопрос совершенно серьезный, т.к. зависимость прямая.

Скорее всего так происходит потому, что в непогоду пользователи склонны откладывать передвижение и возвращаются к ПК и смартфонам, чтобы заказать доставку чего-либо и не ехать.
Ух-ты, даже в Оренбурге радиолокатор есть! А где он, интересно, находится, интересно было бы на него посмотерть
Самара, пос. Мехзавод (это район города), квартал 7 отсутствует напрочь, хотя есть 5, 6, 15 квартала и даже с точностью до дома. А седьмого нет совсем(( и это не самый маленький квартал. Например, 6-й гораздо меньше.

Вы жалуетесь на отсутствие данных, а почему не начать собирать данные краудсорсингом с это делает тот же Weather Underground с сетью персональных погодных станций? Все это дело возможно популязировать и построить большую сеть по России и/или СНГ.

«Мы получили (купили) от РосГидромета метеорадары, научились наносить эти данные на Яндекс.Карты и у нас получилась фигня, которую метеорологи называют наукастинг».
Собственно, вот весь смысл статьи.

anivaros, Yemsalat не благодарите http://weather.rshu.ru/radar/.
Класс! Радар. Не знаете, где достать такой же для Москвы и области? Раньше был на сайте Gismeteo — сейчас нет.
Для Москвы и области есть радар Крылатское http://meteoinfo.by/radar/?q=RUKT. Радар (тип МРЛ-5, старенький) делает наблюдения раз в полчаса. Но для слежения за грозами нормально.
В Оренбурге резко континентальный климат. Когда можно будет узнавать температуру и осадки районов?
Во первых, «Для вашего региона радар не доступен.
Администрация сайта приносит свои извинения за причиненные неудобства.»
Во вторых, хотелось бы знать не только осадки
Пару раз проверил — за окном ни снежинки — на радаре снег. Похоже, нужно вводить корректировки от наблюдателей на местах…

Вот такой у меня вопрос, который не связан c постом не напрямую, а скорее по касательной, больше как к экспертам применения нейронных сетей к снимкам изображения поверхности.


Вот прямо сейчас идет соревнование на kaggle.com по сегментированию спутниковых снимков.


Не подскажите, какой литературой мне надо обчитаться, чтобы понять, какую архитектуру сети и какой post processing в этой задаче применять?

Sign up to leave a comment.