Мы очень скоро исправим эту ситуацию, подождите еще чуть-чуть пожалуйста :) Кстати, на многих фотографиях сборки как раз он, лидар собственной разработки.
Вы хотите сказать, что лидар встречного никак не влияет?
лидар встречной (или попутной, или любой другой) машины никак не влияет на показания по причине крайне низкой вероятности попадания лазером в нужное время и в нужное место. Для этого требуется совпадение очень большого количества факторов.
Одна из лидарных компаний проводила эксперимент по установке сотни лидаров максимально близко друг к другу в закрытой комнате, чтобы оценить процент интерференции в таком вот маргинальном случае. Так вот, там получилось что-то порядка 2% ложных точек. Это никак не может помешать беспилотной езде, не говоря о том, что этот процент существенно снижается, если лидары стоят не вплотную.
Ну вот вы опять про нейросети. В том прогнозе, с которым проводятся сравнения в этой статье, как я уже говорил, нет нейросетей. Если вы и вправду хотите разобраться, а не привлечь читателей заголовком про то, что Яндекс что-то сделал не так, предлагаю вам прочитать нашу самую первую статью. Там, если вчитаться, сказано о технологии прогнозирования достаточно много.
Как можно судить по вашему тексту, комплексный прогноз Росгидромета был в тестировании вот уже полтора года и, как говорят нам столбики, рвал всех конкурентов на 0.2 градуса. Сколько еще времени он пробудет в тестировании мне неизвестно, однако (выскажу сугубо личное мнение), по всей вероятности, вечно.
Мы очень аккуратно относимся ко всему, что декларируем в своих рассказах. Поэтому мы, например, не можем показать сравнение своих прогнозов с прогнозами на других сайтах (взять хотя бы Гисметео). Дело в том, что, в соответствии с пользовательским соглашением, эти данные предоставляются только для личного использования и ни для чего более. Например, сайт meteotrust.com попросил у нас разрешения сравнивать наши прогнозы с конкурентами и получил ключ API, избавившись от необходимости парсить наш сайт.
Так вот про те самые 35%. Цифра касалась прогнозов температуры и считалась относительно провайдеров глобальных погодных данных. Очень странно было бы считать, что мы делаем такие заявления для того, чтобы привлечь пользователей. Если наш прогноз неточный, никакие цифры на хабрахабре пользователей не удержат. И, с другой стороны, если прогноз у Яндекса все-таки ничего себе, пользователи продолжат возвращаться. Ну вот они и возвращаются :)
Хотел, честное слово, пройти мимо, но не устоял :) Вы сделали очень классный экскурс в ансамблевое моделирование, эта часть статьи интересная, спасибо.
Про остальное у меня есть несколько вопросов по существу.
Первое. Вы так интересно пишете про нейросети и связанный с ними хайп, из-за которого, якобы, Метеум начал раскручиваться. Это, к сожалению, говорит о том, что вы не разобрались в технологии, которую критикуете. Вроде бы в науке так не принято, не так ли? Метеум, с которым вы сравниваетесь, это градиентный бустинг на деревьях решений, не нейросети (нет, это не разные названия одного и того же).
Второе. Вот вы говорите — какой классный прогноз сделал Росгидромет, и безо всякого маркетинга. Я нисколько не сомневаюсь, что там есть очень классные специалисты, а столбики как бы говорят сами за себя. Однако, скажите, почему этим прогнозом не могут воспользоваться люди, на деньги которых он, собственно, сделан? Почему он запрятан в самые отдаленные уголки интернета? Ведь даже на парадно-выходных графиках Росгидромета точность дневного прогноза meteoinfo.ru ниже, чем точность Метеума. Писать научные статьи и ежедневно показывать собственноручно сделанный прогноз миллионам людей это разные виды спорта.
Вы называете мои слова про 35% абсолютной ложью. Меж тем вам выше человек, явно к Метеуму не расположенный, написал, почему ваш вывод неверен. Прокомментируете?
Ну и наконец, как быть с точностью прогноза осадков, крайне важного для человека погодного параметра? Наука что-то скажет про точность нашего наукастинга по радарам и по спутникам? Может быть есть какие-то научные аналоги, поточнее?
А, и еще, просто для сведения. Саша avgan, который пытается вам тут вежливо и корректно отвечать, невзирая на тон публикации, является соавтором более 40 научных публикаций, одна из которых, насколько я помню, в Nature. Вы точно правильное место выбрали, чтобы поучать как нужно науку делать? :)
Вы предлагаете метрику accuracy. Это не очень хороший способ сравнивать прогнозы потому, например, что эта метрика будет равна примерно 0.95 у прогноза, который всегда предсказывает «без осадков». У нашего прогноза эта метрика «заметно» выше — на несколько процентов. На такой метрике не будут видны ни титанические успехи ни серьезные фейлы прогноза. У нас есть несколько метрик для осадков, они сложнее, чем accuracy и, думаю, мы о них расскажем.
Только и экстраполяция может быть правомерной, а может — неправомерной. С той плотностью входных данных, которая у вас есть, она, главным образом, неправомерная.
Вы же обоснуете, правда? А то как-то не слишком содержательно получается :)
Ну зачем вы так про нашу сеть, она и обидеться может :) Ее моральные качества — на высоте.
А вообще прогноз погоды — это почти всегда экстраполяция на основе заведомо неполных и порой довольно недостоверных данных. От параметров же прогнозирующего алгоритма зависит то, хороший получается прогноз, или нет. Такие дела.
Нет, точность осадков они не измеряют, вы правы, речь только про температуру. Думаю, что независимых замеров точности по осадкам нет в публичном доступе потому, что метрики такого сравнения могут быть не всем понятны. Какую метрику, на ваш взгляд, было бы интересно анализировать, сравнивая нескольких поставщиков погоды?
Читаю и не могу понять. Где же вопросы про глубину UNet? Где комменты с предложением попробовать GANы? Вижу только про, кхм, потерянные полимеры. Я как-то пропустил момент, когда на Хабре перестали интересоваться технологиями.
Если говорить про качество прогнозов, есть независимый сервис meteotrust.com, который говорит о том, что наши температурные прогнозы по-прежнему самые точные в основных городах РФ. Карта осадков, построенная по спутникам не идеальна, однако в среднем качественно выше любого аналога за исключением радарных снимков.
Ну и, чтобы направить разговор в конструктивное русло, мы всегда благодарны за систематические и подробные репорты о наших расхождениях с действительностью. Погода от этого только лучше :)
Обратите внимание: в задаче требовалось спрогнозировать осадки, в то время как метеостанции Netatmo осадки регистрировать не умеют — они фиксируют только температуру, давление, влажность и т. д.
И даже если бы данные об осадках были, IDW очень плохое решение для осадков.
Конкретно для молний мы берем данные из другого источника. Вообще тема краудсорсинга в погоде богатая. Если говорить коротко, то некоторые из этих данных крайне полезны, но далеко не все.
Мы обычно не делаем проекты из соображений «чтобы было». Погода важна как пользовательский сервис, у нас большая и стабильная аудитория, которая регулярно возвращается. Мы поняли, что, чтобы принести им пользу, погодные данные должны быть максимально точными. Так начался проект Метеум — применение ML к погоде, в широком смысле этого слова. После многочисленных тестов мы поняли, что данные получились и правда качественные, поэтому их можно предлагать погодозависимым бизнесам. Мы начали с рекламы, однако спектр применений точных погодных прогнозов в сегменте b2b чрезвычайно широк.
Мы очень скоро исправим эту ситуацию, подождите еще чуть-чуть пожалуйста :) Кстати, на многих фотографиях сборки как раз он, лидар собственной разработки.
лидар встречной (или попутной, или любой другой) машины никак не влияет на показания по причине крайне низкой вероятности попадания лазером в нужное время и в нужное место. Для этого требуется совпадение очень большого количества факторов.
Одна из лидарных компаний проводила эксперимент по установке сотни лидаров максимально близко друг к другу в закрытой комнате, чтобы оценить процент интерференции в таком вот маргинальном случае. Так вот, там получилось что-то порядка 2% ложных точек. Это никак не может помешать беспилотной езде, не говоря о том, что этот процент существенно снижается, если лидары стоят не вплотную.
Как можно судить по вашему тексту, комплексный прогноз Росгидромета был в тестировании вот уже полтора года и, как говорят нам столбики, рвал всех конкурентов на 0.2 градуса. Сколько еще времени он пробудет в тестировании мне неизвестно, однако (выскажу сугубо личное мнение), по всей вероятности, вечно.
Мы очень аккуратно относимся ко всему, что декларируем в своих рассказах. Поэтому мы, например, не можем показать сравнение своих прогнозов с прогнозами на других сайтах (взять хотя бы Гисметео). Дело в том, что, в соответствии с пользовательским соглашением, эти данные предоставляются только для личного использования и ни для чего более. Например, сайт meteotrust.com попросил у нас разрешения сравнивать наши прогнозы с конкурентами и получил ключ API, избавившись от необходимости парсить наш сайт.
Так вот про те самые 35%. Цифра касалась прогнозов температуры и считалась относительно провайдеров глобальных погодных данных. Очень странно было бы считать, что мы делаем такие заявления для того, чтобы привлечь пользователей. Если наш прогноз неточный, никакие цифры на хабрахабре пользователей не удержат. И, с другой стороны, если прогноз у Яндекса все-таки ничего себе, пользователи продолжат возвращаться. Ну вот они и возвращаются :)
Про осадки-то, кстати, ответите?
Про остальное у меня есть несколько вопросов по существу.
Первое. Вы так интересно пишете про нейросети и связанный с ними хайп, из-за которого, якобы, Метеум начал раскручиваться. Это, к сожалению, говорит о том, что вы не разобрались в технологии, которую критикуете. Вроде бы в науке так не принято, не так ли? Метеум, с которым вы сравниваетесь, это градиентный бустинг на деревьях решений, не нейросети (нет, это не разные названия одного и того же).
Второе. Вот вы говорите — какой классный прогноз сделал Росгидромет, и безо всякого маркетинга. Я нисколько не сомневаюсь, что там есть очень классные специалисты, а столбики как бы говорят сами за себя. Однако, скажите, почему этим прогнозом не могут воспользоваться люди, на деньги которых он, собственно, сделан? Почему он запрятан в самые отдаленные уголки интернета? Ведь даже на парадно-выходных графиках Росгидромета точность дневного прогноза meteoinfo.ru ниже, чем точность Метеума. Писать научные статьи и ежедневно показывать собственноручно сделанный прогноз миллионам людей это разные виды спорта.
Вы называете мои слова про 35% абсолютной ложью. Меж тем вам выше человек, явно к Метеуму не расположенный, написал, почему ваш вывод неверен. Прокомментируете?
Ну и наконец, как быть с точностью прогноза осадков, крайне важного для человека погодного параметра? Наука что-то скажет про точность нашего наукастинга по радарам и по спутникам? Может быть есть какие-то научные аналоги, поточнее?
А, и еще, просто для сведения. Саша avgan, который пытается вам тут вежливо и корректно отвечать, невзирая на тон публикации, является соавтором более 40 научных публикаций, одна из которых, насколько я помню, в Nature. Вы точно правильное место выбрали, чтобы поучать как нужно науку делать? :)
Вы же обоснуете, правда? А то как-то не слишком содержательно получается :)
А вообще прогноз погоды — это почти всегда экстраполяция на основе заведомо неполных и порой довольно недостоверных данных. От параметров же прогнозирующего алгоритма зависит то, хороший получается прогноз, или нет. Такие дела.
Если говорить про качество прогнозов, есть независимый сервис meteotrust.com, который говорит о том, что наши температурные прогнозы по-прежнему самые точные в основных городах РФ. Карта осадков, построенная по спутникам не идеальна, однако в среднем качественно выше любого аналога за исключением радарных снимков.
Ну и, чтобы направить разговор в конструктивное русло, мы всегда благодарны за систематические и подробные репорты о наших расхождениях с действительностью. Погода от этого только лучше :)
И даже если бы данные об осадках были, IDW очень плохое решение для осадков.
Скопируйте ещё, пожалуйста, ссылку, которая после уточнения местоположения получилась — там будут координаты, на которые произошло перемещение.
А можете скриншот приложить пожалуйста?
Он никуда не пропал, он находится в самом сердце погоды :) в некоторых случаях мы даже показываем его людям.
Это зависит от поставщиков. Данные GFS, например, доступны бессплатно в той самой точностью, которую используем мы.
Конкретно для молний мы берем данные из другого источника. Вообще тема краудсорсинга в погоде богатая. Если говорить коротко, то некоторые из этих данных крайне полезны, но далеко не все.
Планируем получить эти данные на сервисе так или иначе, да.
Мы обычно не делаем проекты из соображений «чтобы было». Погода важна как пользовательский сервис, у нас большая и стабильная аудитория, которая регулярно возвращается. Мы поняли, что, чтобы принести им пользу, погодные данные должны быть максимально точными. Так начался проект Метеум — применение ML к погоде, в широком смысле этого слова. После многочисленных тестов мы поняли, что данные получились и правда качественные, поэтому их можно предлагать погодозависимым бизнесам. Мы начали с рекламы, однако спектр применений точных погодных прогнозов в сегменте b2b чрезвычайно широк.
Знаем про проблемы с загрзкой железа, будем оптимизировать вместе с добавлением новых слоев.