Comments 120
Анонсируете… она уже работает? так и не понятно… :)
Анонсирует запуск. Уже два часа, как работает для всех :-)
Я так понял — для 36 городов пока что. РнД вот не повезло.
Вам удалось договориться с Росгидрометом, получить данные с их метеорологических радаров?
С одной стороны — круто!
С другой — вы форсите пользователей сообщать вам их точное положение, чтобы продавать эти данные потом рекламодателям.
С другой — вы форсите пользователей сообщать вам их точное положение, чтобы продавать эти данные потом рекламодателям.
Пока в приложении даже нет возможности залогиниться — бояться нечего. Но в целом, наша главная цель — дать точный прогноз, мы это не для продажи данных о пользователях делаем, можем прямо сказать.
а при чём тут возможность залогиниться?
По моему скромному мнению, без возможности залогиниться, Яндекс не может связать геолокацию с пользователем. А без пользователя эти данные не имеют никакого смысла. Примерно как «На улице Ленина, 12 был телефон с андроидом версии 5.3, предположительно телефон YouPhone 5S». И кому из работодателей эта информация интересна?)
P.S. Я не имею никакого отношения ни к рекламодателям, ни к продающим им данные, ни к Яндекс.Погоде.
P.S. Я не имею никакого отношения ни к рекламодателям, ни к продающим им данные, ни к Яндекс.Погоде.
а, ну если не имеете — ваш комментарий понятен, на самом деле всё может обстоять гораздо сложнее.
не факт что так дело обстоит у Яндекса, но в принципе без логина вполне можно составлять достаточно подробные профайлы пользователей.
на уровне:
пользователь А, с advertising ID таким-то, находится в мелкой деревне в глубинах Сибири, передвигается пешком, бывает дома и в ближайшем лесу, владелец дешёвого телефона на Android взятого в рассрочку у оператора
пользователь Б, с IDFA таким-то, живёт в Москве, посещает дорогие рестораны и ювелирные магазины, передвигается на автомобиле, частый гость в официальном автосервисе Порше, в руках у него iPhone 6s на 128 GB
без локации пользователя разница между этими 2я только в модели телефона, а с iPhone 6s может и студентка ходить, которой на него денег пока не очень хватает.
не факт что так дело обстоит у Яндекса, но в принципе без логина вполне можно составлять достаточно подробные профайлы пользователей.
на уровне:
пользователь А, с advertising ID таким-то, находится в мелкой деревне в глубинах Сибири, передвигается пешком, бывает дома и в ближайшем лесу, владелец дешёвого телефона на Android взятого в рассрочку у оператора
пользователь Б, с IDFA таким-то, живёт в Москве, посещает дорогие рестораны и ювелирные магазины, передвигается на автомобиле, частый гость в официальном автосервисе Порше, в руках у него iPhone 6s на 128 GB
без локации пользователя разница между этими 2я только в модели телефона, а с iPhone 6s может и студентка ходить, которой на него денег пока не очень хватает.
Но как они свяжут advertising ID из Погоды c пользователем в системе РСЯ? Как они узнают, что пользователь, зашелдший через приложение Google Chrome имеет именно такой рекламный ID?
а что этот пользователь в принципе забыл в Google Chrome? O_o
как и было сказано — я не знаю как устроено у Яндекса.
но любое другое приложение и любая мобильная рекламная сеть — по умолчанию знают advertising ID / IDFA.
как и было сказано — я не знаю как устроено у Яндекса.
но любое другое приложение и любая мобильная рекламная сеть — по умолчанию знают advertising ID / IDFA.
Если хром(яндекс.музыка etc) тоже передаёт местоположение, то после совпадения порядка точек пяти можно связывать.
Это плохо? Они так зарабатывают, предоставляя пользователям сервис, а рекламодателям — аудиторию.
По мне, так довольно честная сделка.
Если кому-то что-то не нравится, он может просто не пользоваться их услугами.
По мне, так довольно честная сделка.
Если кому-то что-то не нравится, он может просто не пользоваться их услугами.
А с narodmon не берёте данные? Они там покачественнее, чем из телефонного чипа, и географическая привязка уже есть и никто не обвинит в слежке.
По мне, так Яндекс.Погоде вообще нельзя верить, максимум прогноз на завтра. А тут еще и до дома хотят… :(
Картинка с расположением расчётных областей вызывает недопонимание: 6*6 км — это глобальная модель (на всем шарике) или региональная (только прямоугольник как на картинке)? И сколько у вас уровней по высоте?
И ещё: сотрудничали ли вы с какими-то институтами или известными учеными в этой работе? (дисклеймер: у меня диплом был по очень близкой теме, кафедра ИВМ РАН).
Сетка 6x6 км относится к самому большому прямоугольнику. Во вложенных областях мы рассчитываем параметры атмосферы с разрешением 2x2 км. Уровней по высоте больше 40. Что касается сотрудничества, то мы, разумеется, общаемся с коллегами из NCAR и других атмосферно-ориентированных организаций.
А с российскими? Свои модели есть как минимум в ИВМ и Росгидромете, я уверен что и ещё где-то есть. Они были сильно хуже или не стали по каким-то причинам сотрудничать?
И получается, вы не считате глобальную модель совсем? На какой срок получаете прогноз?
И получается, вы не считате глобальную модель совсем? На какой срок получаете прогноз?
С российскими пока что — нет. В основном потому, что учесть абсолютно весь опыт, накопленный сообществом, в первой версии технологии невозможно. В дальнейшем мы, разумеется, рассчитываем увеличить круг наших поставщиков.
Глобальную модель мы пока что не учитываем при составлении тех прогнозов, которые вы видите в приложении и на сайте.
Глобальную модель мы пока что не учитываем при составлении тех прогнозов, которые вы видите в приложении и на сайте.
Так все-таки стоит ждать?
Пока что мы не настолько точны — для построения такого точного прогноза нужно больше данных. Однако, будущее в том числе и в ваших руках — получая ваши сообщения о реальной погоде, мы будем все ближе к прогнозу с точностью до минут :)
Лет пять назад слышал что для такого точного предсказания нужны просто вычислительные мощности а данных более чем достаточно… это не так?
Это не совсем так. Кроме вычислительных мощностей (которые нужны в изрядном количестве), нужны еще более подробные данные, чем те, которые у нас есть прямо сейчас. Для этой цели подойдут, например, спутниковые снимки, сделанные с высокой частотой и разрешением, или метеорологические радиолокаторы.
А не планируете использовать что-то вроде Blitzortung.org (краудсорсные молнии по всему миру в реальном времени)?
Вопрос в плотности покрытия метеостанциями. Вычислительные мощности, разумеется, нужны, но при отсутствии исходных данных с достаточной детализацией остаётся только апроксимировать.
Да!
Т. е. никто (weather.com и все-все-все) не может на послезавтра погоду спрогнозировать, а Яндекс вдруг сможет? Ну-ну.
Способ узнать о том, что именно возле твоего дома будет -3 на 35% точнее найден. Вопрос только зачем?
Точная погода важна аэропортам и судам, теоретически — дорожным службам (но им, скорее всего, пофигу — они по разнарядке сыпят, а не по погоде). И потому у аэропортов есть, насколько я знаю, собственные метеослужбы, а гражданам, которых много, это, опять же, на мой взгляд, это не настолько интересует.
И вот эти 35% точности — они как определяются? Например, вероятность дождя — 40%, а Яндекс говорит «нет, не 40, а 55%» Так? Ну т.е. дождь все равно то ли пойдет, то ли не пойдет.
В целом, это, наверное, интересно как прикладная и теоретическая задача, но мне напомнило изобретение велосипеда.
Точная погода важна аэропортам и судам, теоретически — дорожным службам (но им, скорее всего, пофигу — они по разнарядке сыпят, а не по погоде). И потому у аэропортов есть, насколько я знаю, собственные метеослужбы, а гражданам, которых много, это, опять же, на мой взгляд, это не настолько интересует.
И вот эти 35% точности — они как определяются? Например, вероятность дождя — 40%, а Яндекс говорит «нет, не 40, а 55%» Так? Ну т.е. дождь все равно то ли пойдет, то ли не пойдет.
В целом, это, наверное, интересно как прикладная и теоретическая задача, но мне напомнило изобретение велосипеда.
Конкретно эти 35% — это количество ошибок более чем на 3 градуса в 24-часовом прогнозе у нас и у конкурента. Очевидно, на самом деле метрик больше, и вопрос о том, пойдёт ли в таком-то месте завтра дождь, и будет ли солнечно, — имеют вполне понятное практическое значение.
Это развитие технологии. Прогнозирование погоды — сложная задача, в которой есть масса трудноучитываемых факторов.
Разнообразие погодных моделей — тоже способствует повышению точности.
Велосипедом тут даже не пахнет.
Разнообразие погодных моделей — тоже способствует повышению точности.
Велосипедом тут даже не пахнет.
Не понятно почему вас заминусовали, ведь разумная мысль в этом есть. Повышение точности прогноза в районе следующего дня конечно неплохо, но каких-то особых удобств не добавляет. То что практически было бы интересно — это достаточно точные прогнозы на более долгий срок, на пару недель, например. Сейчас я не смотрю прогноз погоды при планирование какого-то мероприятия на такой срок, потому что это как правило бесполезно.
Была правда одна интересная тема на хабре про дожди, что-то вроде точно знать будет ли в конкретном месте дождь или нет, когда эти дожди очень локальные (в одном районе есть, а в другом нет).
Была правда одна интересная тема на хабре про дожди, что-то вроде точно знать будет ли в конкретном месте дождь или нет, когда эти дожди очень локальные (в одном районе есть, а в другом нет).
Спасибо за пост, очень актульно, как раз сейчас на kaggle проходит конкурс по машинному обучению, где нужно спрогнозировать осадки по замерам с датчиков.
Я в нём участвую, возможно после прочтения у меня появятся новые идеи как улучшить мой результат :).
Я в нём участвую, возможно после прочтения у меня появятся новые идеи как улучшить мой результат :).
Похоже, вы забыли обновить приложение в своём собственном Яндекс.Store
Windows Phone опять прокатываете. Печаль!
Мы тут с другом чуток перетёрли статью:
Kostya: Не так давно в США предугадали прогноз погоды, что будет ураган на основе моделей описывающих потоки воздуха и т.д.
Anton: слушай, ну никто не говорит про 90-100% предсказывание
Kostya: Ну если тебя устроит «ломанная линия» для предсказания то сработает.
Kostya: Смотря какие ситуации прогнозировать.
Kostya: И я-то считаю, что
Kostya: вообще нельзя моделировать какие-то непрерывные процессы никакими механимзмами машинного обучения.
Kostya: Ну это пока на данный момент такая точка зрения.
Kostya: Может поменяется, когда пойму больше
Anton: а я считаю
Anton: что если для некого процесса(в том числе непрерывного)
Anton: определить конечный набор факторов
Anton: на него влияющих
Anton: и научиться их систематизировать и анализировать
Anton: то можно предсказывать поведение исследуемого процесса с высокой точностью
Anton: а уж как это называться будет. Экспертная система ли, машинное обучение ли, анализ статистики ли — мне всё равно
Kostya: или численные методы
Anton: если честно:) ага
…
Kostya: Просто это по сути
Kostya: такая игра
Kostya: взяли мабльберт (мысленный)
Anton: там закрашенные точки есть 10 штук. Мы закрасили кисточкой промежутки.
Kostya: И говорим, что мы теперь поняли как
Kostya: Великий художник рисует
Kostya: Но это лишь как бы…
Kostya: Предсказать что будет,
Kostya: ураган
Kostya: И эвакуировать целый штат (регион)
Kostya: Как сделали в США
Kostya: И не 10 человек, а несколько миллионов,
Kostya: я уж не уверен, что для этого подходит машинное обучение…
Kostya: Не так давно в США предугадали прогноз погоды, что будет ураган на основе моделей описывающих потоки воздуха и т.д.
Anton: слушай, ну никто не говорит про 90-100% предсказывание
Kostya: Ну если тебя устроит «ломанная линия» для предсказания то сработает.
Kostya: Смотря какие ситуации прогнозировать.
Kostya: И я-то считаю, что
Kostya: вообще нельзя моделировать какие-то непрерывные процессы никакими механимзмами машинного обучения.
Kostya: Ну это пока на данный момент такая точка зрения.
Kostya: Может поменяется, когда пойму больше
Anton: а я считаю
Anton: что если для некого процесса(в том числе непрерывного)
Anton: определить конечный набор факторов
Anton: на него влияющих
Anton: и научиться их систематизировать и анализировать
Anton: то можно предсказывать поведение исследуемого процесса с высокой точностью
Anton: а уж как это называться будет. Экспертная система ли, машинное обучение ли, анализ статистики ли — мне всё равно
Kostya: или численные методы
Anton: если честно:) ага
…
Kostya: Просто это по сути
Kostya: такая игра
Kostya: взяли мабльберт (мысленный)
Anton: там закрашенные точки есть 10 штук. Мы закрасили кисточкой промежутки.
Kostya: И говорим, что мы теперь поняли как
Kostya: Великий художник рисует
Kostya: Но это лишь как бы…
Kostya: Предсказать что будет,
Kostya: ураган
Kostya: И эвакуировать целый штат (регион)
Kostya: Как сделали в США
Kostya: И не 10 человек, а несколько миллионов,
Kostya: я уж не уверен, что для этого подходит машинное обучение…
Я новичок на хабре. А почему минусуют комментарии? Если он не по делу?
Тут люди занятые и любят прочитать суть и по теме, а цитирование чата в принципе мало где нравится.
Это мой чат, который я с другом вёл, обрезанный. Это самодостаточный «отрезок» в котором затрагивается фундаментальный вопрос про решение задачи численными методами. И представить в виде диалога решил я сам. Я не изобретатель этого метода! Так делают люди (например я видел, что в своих видео так делал Ричард Фейнман). По мне если это весело — то допустимо, я нахожу этот диалог весёлым. Если это нахожу только я, то комментарий мой плохой.
Минус не ставил, но и не читал.
Выражаю мнение:
1. Многабукаф, большинство не по теме
2. Нет ни резюме, ни зачем вообще этот текст представлен в комментарии. Пояснение вида «с другом чуток перетёрли статью» ни разу не пояснение
3. Никому нет дела до вашей личной жизни с вашим личным другом
Резюмируя, да, скорее всего ваш комментарий показался интересным только вам. Ведь не зря анекдоты сокращают, и они всегда безличные, кроме случая, когда есть «шаблонный» герой.
P.S. «И представить в виде диалога решил я сам» — а у друга вы спросили? ;)
Выражаю мнение:
1. Многабукаф, большинство не по теме
2. Нет ни резюме, ни зачем вообще этот текст представлен в комментарии. Пояснение вида «с другом чуток перетёрли статью» ни разу не пояснение
3. Никому нет дела до вашей личной жизни с вашим личным другом
Резюмируя, да, скорее всего ваш комментарий показался интересным только вам. Ведь не зря анекдоты сокращают, и они всегда безличные, кроме случая, когда есть «шаблонный» герой.
P.S. «И представить в виде диалога решил я сам» — а у друга вы спросили? ;)
Минус не ставил, хотя и хотелось. Чат прочитал, основную мысль не понял. Если бы вы вместо «стен текста» написали бы кратко основную мысль — вполне возможно, что реакция сообщества была бы положительной.
Спасибо. Тут не одна мысль, а мысли.
1. «Не так давно в США предугадали прогноз погоды, что будет ураган на основе моделей описывающих потоки воздуха и т.д.» — речь о том, что прогнозирование работает. (http://blogs.nvidia.com/blog/2015/09/15/gpus-weather/) и никто не говорит про машинное обучение, а речь про науку…
2. «вообще нельзя моделировать какие-то непрерывные процессы никакими механимзмами машинного обучения.» — невозможно смоделировать непрерывную функцию произвольного характера на компьютере который работает с конечными бинарными функциями…
3… И всё заканчивается сравнением интерпляцией краской полотна с тем, что происходит в методах машинного обучения.
4. А. не согласен с этим… и считает просто нужно подобрать правильное пространство…
1. «Не так давно в США предугадали прогноз погоды, что будет ураган на основе моделей описывающих потоки воздуха и т.д.» — речь о том, что прогнозирование работает. (http://blogs.nvidia.com/blog/2015/09/15/gpus-weather/) и никто не говорит про машинное обучение, а речь про науку…
2. «вообще нельзя моделировать какие-то непрерывные процессы никакими механимзмами машинного обучения.» — невозможно смоделировать непрерывную функцию произвольного характера на компьютере который работает с конечными бинарными функциями…
3… И всё заканчивается сравнением интерпляцией краской полотна с тем, что происходит в методах машинного обучения.
4. А. не согласен с этим… и считает просто нужно подобрать правильное пространство…
Машинное обучение скатывается в конце концов к задаче конечмномерной оптимизации… А если учитывать, что компьютер может хранить только подмножество действительных чисел, то вообще речь о конечномерной целоцисленной оптимизации.
Особо обсуждения не вышло, хотя обсудить можно каждую строчку диалога.
Я вообще не знал, что есть какие-то ограничения на комментарии.
Особо обсуждения не вышло, хотя обсудить можно каждую строчку диалога.
Я вообще не знал, что есть какие-то ограничения на комментарии.
пошёл на хуй
Кому интерестен ваш чат?
Есть мнение — сфомирируй его из своего чата и выскажи.
Нахрена мне твой чат с кем-то?
Хочешь упомянуть коллегу по чату? символ @ тебе в помощь.
Есть мнение — сфомирируй его из своего чата и выскажи.
Нахрена мне твой чат с кем-то?
Хочешь упомянуть коллегу по чату? символ @ тебе в помощь.
Постараюсь ответить, на волнующие вопросы:
a1: Тем кто пытается понять корни происходящего с ситуацией с интерполяцией.
a2: Это не весело. Я так не сделал.
a3: На хрена — на «кой хрен». Хрен я как понимаю это нецензурное слово, т.е. мат.
Это способ донесения информации до вас.
a4: Его псевдоним упоминается. Что делает символ @?
На хабре можно материться? (Я просто новичок поэтому не знаю)
a1: Тем кто пытается понять корни происходящего с ситуацией с интерполяцией.
a2: Это не весело. Я так не сделал.
a3: На хрена — на «кой хрен». Хрен я как понимаю это нецензурное слово, т.е. мат.
Это способ донесения информации до вас.
a4: Его псевдоним упоминается. Что делает символ @?
На хабре можно материться? (Я просто новичок поэтому не знаю)
На хабре можно материться?Нет. (Хабрахабр — для спокойных людей.)
Хрен — это растение.
Которое отбрасывает хренотень.
Семантика теряется, если пользовать этот вариант перевода. В словаре Ожёгова увидел только растение. Но здесь указано, что это вульгарное «зачем» https://ru.wiktionary.org/wiki/%D0%BD%D0%B0_%D1%85%D1%80%D0%B5%D0%BD%D0%B0 Т.е. воспользовались вульгарным словом. Я новичок, я надеялся обсудить численные методы.
Этот чат может понять как кандидат наук, так и мальчик с улицы. Тот кто использует слово «хрен» в повседневной лексике, так и человек считающий Навье Стокса на сетке — и в этом сила этого комментария-чатика.
как по мне, так лучшие прогнозы на rp5, сравним, посмотрим
Я правильно понимаю, что в мобильном приложении в перечисленных регионах прогноз отображается уже с использованием новой системы?
Я не понимаю, что Яндекс собрался считать, если исходные данные показывают неизвестно что.
Ближайшая ко мне метеорологическая станция поставлена была в чистом поле, а теперь там вокруг многоэтажные дома. Теперь станция мерит направление и скорость сквозняка между домами, и температуру вытяжки из магазина.
Ближайшая ко мне метеорологическая станция поставлена была в чистом поле, а теперь там вокруг многоэтажные дома. Теперь станция мерит направление и скорость сквозняка между домами, и температуру вытяжки из магазина.
Яндекс такой молодец, что комбинирует аналитические модели к которым умные люди пришли на сегодня. Механизмы машинного обучения позволяют скомбинировать их все и положить в одну коробку и это здорово.
Заодно и приложение переработали, а то раньше совсем уныние было.
Верните прозрачность виджета на андроиде, пожалуйста.
Верните прозрачность виджета на андроиде, пожалуйста.
Вот это класс!!! Кстати NOAA выкладывает snapshot`ы работы, кажется как раз WRF моделей уже расчитанных — называется проект NCEP/NCAR Reanalysis — сейчас версии 2 www.esrl.noaa.gov/psd/data/gridded/data.ncep.reanalysis2.html зачем вам вычислять это еще раз? Можно чуть- чуть упростить схему и воспользоваться частью готовых данных.
Там только исторические данные (до июля 2015), потому и называется REanalysis. Для обучения моделей использовать можно, а для прогноза — нет.
Да, я и имел ввиду что бы использовать эти данные для матрикснета вашего в обучении. Вы же WRF используете для заполнения белых пятен, где нет данных от метеостанций.
Кстати я в течении некоторого времени копаюсь с этими данными и мне для эксперемента нужны средние статистические значения по климату (скорость ветра, температура, давление и тд). Сейчас я смог собрать в разрешении 0,75 градуса, а хотелось бы в бОльшем разрешении. Может быть у вас там промежуточно делаются агрегации средних значение за несколько лет, которыми вы можете поделиться? Это бы очень сильно помогломоему проекту.
Кстати я в течении некоторого времени копаюсь с этими данными и мне для эксперемента нужны средние статистические значения по климату (скорость ветра, температура, давление и тд). Сейчас я смог собрать в разрешении 0,75 градуса, а хотелось бы в бОльшем разрешении. Может быть у вас там промежуточно делаются агрегации средних значение за несколько лет, которыми вы можете поделиться? Это бы очень сильно помогломоему проекту.
Данные NOAA мы очень любим и ценим, но для прогноза их недостаточно. К тому же, как верно выше отметил encyclopedist, это данные реанализа, то есть не совсем прогноз. Что касается вашего проекта — пишите в личку, пообщаемся.
UFO just landed and posted this here
Некоторые из моделей прогноза погоды завышают количество выпавших на землю осадков, другие — занижают ночную температуру в черте города.А есть ли большой смысл в таких корректировках? Эти т.н. «модели» ж тоже допиливают независимо от вас. И возможно теми же методами — смотрят на ошибки по историческим данным и вносят корректировки. Т.о. вы можете «скорректировать» по второму разу и тем самым внести ошибку. Может лучше кооперироваться с разработчиками этих «моделей»?
…
В результате таких сопоставлений получается формула корректировки прогноза, которая… составляет оптимальную комбинацию прогнозов из данных моделей, предоставленных нашими поставщиками.
Если ошибка систематическая (а это видно по сравнению предсказаний с фактическими измерениями) — то почему бы не скорректировать?
Потому, что параллельно с этим «модель» допиливают другие люди. Они точно так же мониторят исторические данные, находят систематические ошибки и делают поправки. Т.о., например, ошибка, которая была на протяжении последнего месяца может быть в один день или с разницей несколько дней скорректирована дважды — поставщиком данных и Яндексом.
насколько я понимаю в погодных прогнозах — такие «ошибки» закладываются в модели специально по достаточно очевидным причинам.
и разработчики моделей совсем не заинтересованы в том чтобы их убирать.
и разработчики моделей совсем не заинтересованы в том чтобы их убирать.
Наши замеры показывают, что смысл в корректировках очень даже есть. В машинном обучении, кроме того, есть возможность принять во внимание то, что метеомодели независимо от нас допиливают и донастраивают. Ну и еще, мы сами рассчитываем погодную модель на своих кластерах и знаем о ее изменениях.
Смысл в корректировках есть, если они осторожны и осмысленны. Потому что глобальные модели действительно грубоваты, дают общую картину и не учитывают специфику конкретного места. То есть местные поправки как бы могут быть на пользу.
Но тут огромный вопрос — как корректировать и на основании чего? Это сложно. Большая опасность незаметно уйти от местной специфики к чистой отсебятине.
Например, вот прогнозы rp5 — это британская глобальная модель UKMO/UKMET + их собственные поправки. Как они их делают — я не знаю. Но приходилось общаться с одним человеком из белорусского гидромета (который тоже работает с UKMO) — так вот он отзывался об этих поправках скептически и называл их «доморощенными».
Но тут огромный вопрос — как корректировать и на основании чего? Это сложно. Большая опасность незаметно уйти от местной специфики к чистой отсебятине.
Например, вот прогнозы rp5 — это британская глобальная модель UKMO/UKMET + их собственные поправки. Как они их делают — я не знаю. Но приходилось общаться с одним человеком из белорусского гидромета (который тоже работает с UKMO) — так вот он отзывался об этих поправках скептически и называл их «доморощенными».
Модели, кластеры, машинное обучение — это всё очень хорошо, конечно.
Но я не понимаю, о каком прогнозе «с точностью до дома» может идти речь при отсутствии столь же частых данных о фактической погоде? Метеостанции в России даже в населенных районах расположены на расстояниях порядка нескольких десятков километров друг от друга. Как правило, за городом. Можно строить какие угодно сетки и считать какие угодно дифуры, но если нет густой сетки фактических данных… не понимаю. Всё это будет похоже просто на экстраполяции с элементами отсебятины.
В России проблема качества прогноза упирается в первую учередь именно в сеть метеостанций, а не в алгоритмы и машинное обучение.
Данные с телефонов — это несерьезно.
Но я не понимаю, о каком прогнозе «с точностью до дома» может идти речь при отсутствии столь же частых данных о фактической погоде? Метеостанции в России даже в населенных районах расположены на расстояниях порядка нескольких десятков километров друг от друга. Как правило, за городом. Можно строить какие угодно сетки и считать какие угодно дифуры, но если нет густой сетки фактических данных… не понимаю. Всё это будет похоже просто на экстраполяции с элементами отсебятины.
В России проблема качества прогноза упирается в первую учередь именно в сеть метеостанций, а не в алгоритмы и машинное обучение.
Данные с телефонов — это несерьезно.
Примерно вот так earth.nullschool.net :)
Там картина полюс-минус 100 километров.
Строиться физическая модель погоды с учетом кучи данных: спутники, зонды, метеостанции, движение воздушных масс, исторические данные и тд для всей планеты. И с помощью нее можно заполнять белые пятна, где нет показаний с земли. То что я кинул визуализации в не очень большом разрешении, но принцип схож.
С точностью до дома (и даже до квартала) — нельзя заполнить.
Лично я вижу тут только 2 варианта:
1. Использование большого количества частных микростанций — но с ними куча проблем. Такие проекты есть, однако достоверность и полнота тамошних данных под огромным вопросом.
2. Заявление про «точность до дома» — не более, чем безответственный ляп яндексовских рекламщиков. А технари теперь вынуждены изворачиваться общими фразами, чтобы и свое лицо сохранить, и компанию не подставить.
Лично я вижу тут только 2 варианта:
1. Использование большого количества частных микростанций — но с ними куча проблем. Такие проекты есть, однако достоверность и полнота тамошних данных под огромным вопросом.
2. Заявление про «точность до дома» — не более, чем безответственный ляп яндексовских рекламщиков. А технари теперь вынуждены изворачиваться общими фразами, чтобы и свое лицо сохранить, и компанию не подставить.
а может можете перечислить известные вам проекты с микростанциями?
Навскидку в голову приходит только narodmon.ru… Но он точно не единственный, еще что-то было.
Еще вспомнил realmeteo.ru
В отличие от первого, где большая часть «станций» это по сути примитивные датчики за несколько баксов, это относительно серьезный проект, где используют только приличные станции (естественно, ценой меньшего покрытия).
Но опять-таки, это тоже не всё — ещё что-то было.
В отличие от первого, где большая часть «станций» это по сути примитивные датчики за несколько баксов, это относительно серьезный проект, где используют только приличные станции (естественно, ценой меньшего покрытия).
Но опять-таки, это тоже не всё — ещё что-то было.
openweathermap ещё.
Полностью поддерживаю вопрос.
Что же за данные используются для задания начальных условий для моделирования прямо сейчас?
В статье так много сказано про умные алгоритмы обработки, и даже про важность исходных данных, но вот о том, какие данные все же используются — старательно обходится стороной. А это — самое важное.
Что же за данные используются для задания начальных условий для моделирования прямо сейчас?
В статье так много сказано про умные алгоритмы обработки, и даже про важность исходных данных, но вот о том, какие данные все же используются — старательно обходится стороной. А это — самое важное.
Метеостанции — это очень хорошо и чем их больше, тем, разумеется, лучше и детальнее прогноз. С другой стороны, это не единственный возможный источник о состоянии атмосферы. Вот, например, прогнозируют же люди погоду над океанами. А там с метеостанциями еще хуже, чем в России. Скажу больше, даже наличие метеостанции на крыше каждого дома не даст вам сверхточного прогноза: есть еще такие вещи, как высотные профиля температуры и влажности, водность облаков, вот это вот все, что на метеостанциях не фиксируется.
Это я к тому, что, помимо метеостанций есть еще радиологические наблюдения, спутники и радары, и даже это еще не все (я не про телефоны сейчас). Мы, конечно, в начале пути, но сейчас нам кажется, что данных в густонаселенных регионах (и местами не только в них) достаточно много.
Это я к тому, что, помимо метеостанций есть еще радиологические наблюдения, спутники и радары, и даже это еще не все (я не про телефоны сейчас). Мы, конечно, в начале пути, но сейчас нам кажется, что данных в густонаселенных регионах (и местами не только в них) достаточно много.
Так и как же связаны спутники и прогноз до дома? Спутники дают лишь общую картину.
«Общая картина», полученная со спутников — это не какая-то абстракция, а вполне конкретный снимок атмосферы в разных диапазонах с конкретным разрешением. Не с точностью до дома, конечно, но с точностью до нескольких километров.
Теперь про пресловутое «с точностью до дома». Координаты пользователя — это факторы в алгоритме машинного обучения. Именно для них мы и делаем прогноз. А то, что прогноз для двух соседних домов не отличается, так это скорее хорошо, чем плохо, потому что с большой вероятностью погода там будет одинаковая.
Теперь про пресловутое «с точностью до дома». Координаты пользователя — это факторы в алгоритме машинного обучения. Именно для них мы и делаем прогноз. А то, что прогноз для двух соседних домов не отличается, так это скорее хорошо, чем плохо, потому что с большой вероятностью погода там будет одинаковая.
Вот меня и интересует, что именно использует Яндекс. Чьи наблюдения, какие спутники.
Потому что в статье эта тема обходится сверхтщательно.
Потому что в статье эта тема обходится сверхтщательно.
Мне было бы полезно иметь более подробные данные об облачности (низкая/средняя/высокая), как пишут на rp5 или Windguru, но это наверное не слишком частый запрос. Их вряд ли получится получать?
Вы правы, запрос скорее специальный. Такие вещи мы планируем отрабатывать в будущем, такая возможность есть, так как мы считаем модель прогноза погоды у себя на кластерах и можем вытаскивать из нее все, что потребуется. А не могли бы вы, кстати, описать свою потребность — для чего вам такие данные? Это может нам пригодиться, спасибо.
Это для всякой деятельности, связанной с авиацией, и может ещё каким-то видами спорта. Мне в первую очередь ради парашютных прыжков интересно. Порой вышеназванные rp5 и windguru дают прямо противоположные прогнозы, как по облачности, так и по скорости ветра. Соответственно, иметь более надёжный прогноз было бы очень и очень хорошо.
Но вот приложение на Андроид мне почему-то даже регион неверно определяет, при включенном GPS. Опции отправки фидбека там не обнаружил.
Но вот приложение на Андроид мне почему-то даже регион неверно определяет, при включенном GPS. Опции отправки фидбека там не обнаружил.
Спасибо за информацию.
Мы знаем, что при определении региона бывают проблемы, боремся с этим. На форму фидбека можно попасть двумя способами — через меню, кнопка над настройками и через окно по свайпу вправо, там где данные о текущей температуре, скорости ветра и давлении. И там и там кнопка называется «Сообщить о погоде».
Но вот приложение на Андроид мне почему-то даже регион неверно определяет, при включенном GPS. Опции отправки фидбека там не обнаружил.
Мы знаем, что при определении региона бывают проблемы, боремся с этим. На форму фидбека можно попасть двумя способами — через меню, кнопка над настройками и через окно по свайпу вправо, там где данные о текущей температуре, скорости ветра и давлении. И там и там кнопка называется «Сообщить о погоде».
На yr.no есть (в подробном режиме).
> Например, температурный прогноз на 24 часа у нас ошибается на 35% меньше ближайшего конкурента.
Как всегда, самое интересное и важное уместилось всего в одном предложении в конце :-).
Можно было бы Яндексу расписать достижения более подробнее:
1) а кто ближайшие конкуренты, если не секрет?
2) а если взять baseline — через 24 часа будет такая же температура как сейчас, насколько процентов будет хуже?
3) а какие еще бывают метрики качества прогноза погоды? Кажется, что более важно предсказывать выбросы в 5-10 градусов, а медленные изменения на 2-4 градуса никому не интересны.
4) а где можно скачать архив прогнозов (ваших и конкурентов), чтобы самим поиграться, и не с помощью matrix net, а с помощью каких-нибудь open source deep learning инструментов.
Как всегда, самое интересное и важное уместилось всего в одном предложении в конце :-).
Можно было бы Яндексу расписать достижения более подробнее:
1) а кто ближайшие конкуренты, если не секрет?
2) а если взять baseline — через 24 часа будет такая же температура как сейчас, насколько процентов будет хуже?
3) а какие еще бывают метрики качества прогноза погоды? Кажется, что более важно предсказывать выбросы в 5-10 градусов, а медленные изменения на 2-4 градуса никому не интересны.
4) а где можно скачать архив прогнозов (ваших и конкурентов), чтобы самим поиграться, и не с помощью matrix net, а с помощью каких-нибудь open source deep learning инструментов.
Кстати, забыли упомянуть про Fortran один важный факт: в отличии от других ЯП он прекрасно подходит для математических расчётов ибо не требует углубления в реализации машинных вычислений и очень близок по синтаксису к естественному математическому языку.
Походу Яндекс решил проблему обновления прогнозов раз в 3 часа стандартную для Росгидромета.
Теперь понятно зачем им потребовался наш опыт еще год назад…
Если следующим этапом будут внедрены метеостанции Яндекса (акромя Росгидромета), то и впрямь все идет по плану.
Теперь понятно зачем им потребовался наш опыт еще год назад…
Если следующим этапом будут внедрены метеостанции Яндекса (акромя Росгидромета), то и впрямь все идет по плану.
У вас же прогноза нет, только мониторинг? Классный проект, жалко плюс в карму поставить не могу :-)
А метеостанции готовые какие есть? Я бы поставил себе.
А метеостанции готовые какие есть? Я бы поставил себе.
Да, все верно, прогноза нет ибо прогнозирование подлежит лицензированию, а мониторинг собственных владений запретить никто не имеет право. Речь шла про оперативность и доступность данных, кому они принадлежат, используются ли внешние данные(у нас только свои), а также про отличие мониторинга от прогнозирования.
Если кому-то хочется заняться прогнозированием или строить «тепловые карты» — пож-та, для этих целей есть API. Каталог решений имеется благодаря как энтузиастам, так и профессиональным фирмам-разработчикам электроники, но подобные вопросы лучше в личку/email дабы не сошло за рекламу.
Если кому-то хочется заняться прогнозированием или строить «тепловые карты» — пож-та, для этих целей есть API. Каталог решений имеется благодаря как энтузиастам, так и профессиональным фирмам-разработчикам электроники, но подобные вопросы лучше в личку/email дабы не сошло за рекламу.
Оно то круто, но есть также куда более простые вещи, которые могут сделать ваше приложение более приятным. Например, разве сложно запомнить предыдущие настройки города и мигрировать их при обновлении мобильного приложения?
а технологии в духе RealFeel не планируется?
Столько сообщений! Если автор меня читает, можно получать погодные гриды с метиума? Через рест какой нибудь например, и бесплатно.
Sign up to leave a comment.
Яндекс анонсирует собственную технологию прогнозирования погоды Метеум. С точностью до дома