Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 43
А видеокарты не поддерживает? А то выглядит самым интересным и быстрым вариантом особенно для таких вычислений
А откуда берутся начальные данные?
Я грибник любитель. К сожалению дожди проходят по близ лежащей территории неравномерно и ехать в проверенное место часто не имеет смыла.
Рад был бы такому сервису, который путем расчета осадков выводит потенциальные места роста грибов.
Может есть что-то подобное?
Рад был бы такому сервису, который путем расчета осадков выводит потенциальные места роста грибов.
Может есть что-то подобное?
Пол России закрасило от 25 до 30, это я и без расчетов предсказал бы :)
Каждый из нас ругал синоптиков, когда оказывался под дождем, не имея в руках зонта. В топике я расскажу Вам как сделать прогноз погоды
В топике описывается не то, что мне нужно. Я 'гуляю без зонтика' только по Москве — и ваша карта погоды в Европе мне не нужна. Вы думаете я пойду гулять без зонта в Праге и Урале одновременно? Вовсе нет.
Но вот погода в Москве… Вот пишет гисметео, что в Москве местами пройдут дожди — и если б знать, будут ли это места, где я живу (ст. м. «Киевская») или работаю (ст. м. «Белорусская») — то это было бы шедеврально. Это было бы именно то, что мне нужно.
Я понимаю, что такую точность прогнозов вряд ли может обеспечить не только библиотека, запущенная на домашнем Атлоне, но и пул серверов гисметео — потому всё же статью плюсанул за тематику. Пишите ещё!
Нужны данные метеосборщиков, иначе вы получите усреднённую температуру по больнице. Поэтому получить то, что хотите вы — это реально, но вопрос должен стоять в организации структуры объектов мониторинга окружающей среды.
Да, я понимаю, что нужны данные метеосборщиков. Насколько я помню — предыдущий мэр Москвы создал метеорологическую службу Москвы и датчики по Москве и области должны быть.
Понимаете, именно мэру столицы важно, чтобы на столетие Дня Победы была солнечная погода — мне же нужен прогноз погоды в моём Дорогомилово.
Если бы текущий мэр открыл бы данные метеослужбы Москвы жителям — за это ему бы сказали спасибо. А то — ну чем запомнился жителям Собянин? Сносом ларьков, ха-ха.
Понимаете, именно мэру столицы важно, чтобы на столетие Дня Победы была солнечная погода — мне же нужен прогноз погоды в моём Дорогомилово.
Если бы текущий мэр открыл бы данные метеослужбы Москвы жителям — за это ему бы сказали спасибо. А то — ну чем запомнился жителям Собянин? Сносом ларьков, ха-ха.
Метео служба Москвы — это подразделение Федеральной службы по Гидрометеорологии и мониторингу окружающей среды, Лужков там ничего такого не делал, кроме как купил БУ кластер.
Мэр не сможет вам открыть метеоданные, т.к. они вне его юрисдикции, да и думаю никто не откроет их, т.к. не обязаны, а публичные данные вы можете найти хоть на гисметео, хоть на яндексе.
З.Ы. Мне, если честно больше интересно не районная погода, а в общем по МСК.
Мэр не сможет вам открыть метеоданные, т.к. они вне его юрисдикции, да и думаю никто не откроет их, т.к. не обязаны, а публичные данные вы можете найти хоть на гисметео, хоть на яндексе.
З.Ы. Мне, если честно больше интересно не районная погода, а в общем по МСК.
Вот кстати:
А вот кстати и все пять метеостанций Москвы: mosmeteo.hmn.ru/index1.php?code=22
Независимое от Росгидромета метеобюро Лужков создал сам, в 98-м, на паях с Подмосковьем после жуткого июньского урагана, когда погибли 7 человек. Прошло шесть лет, и директору Метеобюро все еще нечем порадовать своего работодателя. «Для Москвы прогноз нужно составлять с точностью до районов, сегодня такие прогнозы не составляются», – говорит гендиректор Гидрометеобюро Москвы и Московской области Алексей Ляхов.
В аэропорту нет права на ошибку...
А вот кстати и все пять метеостанций Москвы: mosmeteo.hmn.ru/index1.php?code=22
Ничего он там не создавал, просто появилось отделение, отвечающее за Москву на балансе у Москвы. А про ураганы Лужкову молчать надо, если у него на весь город 5 станций, при этом 3 из них за пределами города.
Вы я так понимаю в теме? Сколько нужно станций на Москву, чтобы с хорошей точностью прогнозировать погоду по районам города? (И соответственно — сколько это будет в деньгах?)
Ну, чтобы можно было не говорить «в некоторых частях Москвы возможны дожди», а сказать хотя бы так: «на юго-западе Москвы будут дожди, остальные районы города дождь пройдёт стороной».
Ну, чтобы можно было не говорить «в некоторых частях Москвы возможны дожди», а сказать хотя бы так: «на юго-западе Москвы будут дожди, остальные районы города дождь пройдёт стороной».
Я в теме частично, т.к. знаком хорошо с коллегами из Ридромета, но сколько нужно станций сказать не могу, это наверняка зависит от типа станции, её параметров и необходимых датчиков. Вопрос не в этом, а в том, что все используют ресурсы гидромета на халяву (увы, но Гидромет обязан предоставлять определённые данные бесплатно) и только маленькая кучка за это платит (в основном аэропорты, поэтому там всегда стоят метеостанции и в них работает группа метеорологов), так же гидромет в большинстве своём не может предоставлять коммерческих услуг (тоже куча ограничений по закону) и взять им денег на модернизацию неоткуда, чтобы там не говорил президент, но раз в 5 лет выделить денег на модернизацию — это надругательство. А практика показала, что такая служба, как Гидромет позволяет экономить государству конкретных денег (был случай в СССР, его ещё называют началом истории существования Главного Вычислительного Центра Росгидромета).
Интересно было б для небольшой территории (20х20 км) с учетом региональных особенностей. А такие крупные масштабы на сайтах и так доступны.
Давая хорошие результаты на разрешении в 10 км, на 1км модель даст кашу. Да и с точными данными о «региональных особенностях» проблемы, ну положим рельеф — SRTM (~90м), растительность — MODIS (правда уже 250м, в лучшем случае), а вот с почвами загвоздка…
В комментарии чуть ниже я описал, почему это малореально.
Еще добавлю, что уравнения, на которых основана модель нешибко подходят для прогноза на сетке ~100м на 100м.
Существуют ли прогнозы с километровым шагом?
Где можно посмотреть уже просчитанные данные по этой модели?
Где можно посмотреть уже просчитанные данные по этой модели?
Я немножко в теме, могу сказать, что прогнозов с шагом 1 км не существует (во всяком случае доступных и регулярных, экспериментальные не в счёт).
Самые высокодетальные сетки, описания которых мне встречались — 4-7 км. Это локальные модели, покрывающие только одну сравнительно небольшую по площади европейскую страну (я читал конкретно о Великобритании и Чехии, хотя наверняка есть другие). Тут три проблемы.
Во-первых, колоссальный объем вычислений. Подход «а давайте возьмём небольшую область, например одну Москву, но посчитаем её супер-детально» — увы, не катит. Дело в том, что эту небольшую область нельзя рассматривать изолированно, воздушные массы ведь движутся, облачность приходит «из-за границы» и т.д. И чем больше срок прогнозирования, тем обширнее нужно брать район.
Объем вычислений можно немного снизить вложенными сетками с разным шагом. Например, МО накрыть с шагом 5 км, ЦФО 10 км и ЕТР 20 км. Но даже так ресурсов нужно очень много.
Во-вторых, для сверхдетальной сетки нужно иметь и сверхдетальное описание подстилающей поверхности: рельеф, почвы, водоемы, леса и т.п. В России с этим сложно.
В-третьих, источники фактических погодных данных. В России очень мало (относительно её площади) метеостанций. Многие прекратили свое существование в 90-е. Те что выжили — с устаревшим оборудованием и копеечными з/п персонала. Говорят, даже «главная» метеостанция страны (на ВДНХ) не соотвествует современным технологическим нормам. Действительно хорошие метеостанции сейчас стоят только аэропортах.
Та же Англия покрыта метеостанциями на порядок плотнее. А без фактических данных сколь угодно подробное матмаделирование имеет оттенок отсебятины.
Спецы говорят, что на практике супер-детализованные сетки можно использовать для уточнения сверхкраткосрочных (не более 1-1.5 суток) прогнозов, далее объем вычислений растет очень непропорционально приросту качества.
Самые высокодетальные сетки, описания которых мне встречались — 4-7 км. Это локальные модели, покрывающие только одну сравнительно небольшую по площади европейскую страну (я читал конкретно о Великобритании и Чехии, хотя наверняка есть другие). Тут три проблемы.
Во-первых, колоссальный объем вычислений. Подход «а давайте возьмём небольшую область, например одну Москву, но посчитаем её супер-детально» — увы, не катит. Дело в том, что эту небольшую область нельзя рассматривать изолированно, воздушные массы ведь движутся, облачность приходит «из-за границы» и т.д. И чем больше срок прогнозирования, тем обширнее нужно брать район.
Объем вычислений можно немного снизить вложенными сетками с разным шагом. Например, МО накрыть с шагом 5 км, ЦФО 10 км и ЕТР 20 км. Но даже так ресурсов нужно очень много.
Во-вторых, для сверхдетальной сетки нужно иметь и сверхдетальное описание подстилающей поверхности: рельеф, почвы, водоемы, леса и т.п. В России с этим сложно.
В-третьих, источники фактических погодных данных. В России очень мало (относительно её площади) метеостанций. Многие прекратили свое существование в 90-е. Те что выжили — с устаревшим оборудованием и копеечными з/п персонала. Говорят, даже «главная» метеостанция страны (на ВДНХ) не соотвествует современным технологическим нормам. Действительно хорошие метеостанции сейчас стоят только аэропортах.
Та же Англия покрыта метеостанциями на порядок плотнее. А без фактических данных сколь угодно подробное матмаделирование имеет оттенок отсебятины.
Спецы говорят, что на практике супер-детализованные сетки можно использовать для уточнения сверхкраткосрочных (не более 1-1.5 суток) прогнозов, далее объем вычислений растет очень непропорционально приросту качества.
Кстати, можно посмотреть параметры этой модели, которую гоняет у себя Украина: ecobase.org.ua/wa311/index.php
Всё довольно скромно: 98*70 точек, шаг 30 км. Кстати, на карте можно видеть, с каким запасом сетка перекрывает территорию Украины.
И для этого используются 48 процов Intel Itanium 2 1.6 ГГц и 96 Гб оперативки. Потому как на практике прогноз должен считаться за 1-2 часа, а не за 10 — иначе он просто устареет уже к моменту своего получения.
Всё довольно скромно: 98*70 точек, шаг 30 км. Кстати, на карте можно видеть, с каким запасом сетка перекрывает территорию Украины.
И для этого используются 48 процов Intel Itanium 2 1.6 ГГц и 96 Гб оперативки. Потому как на практике прогноз должен считаться за 1-2 часа, а не за 10 — иначе он просто устареет уже к моменту своего получения.
Невероятно круто!
Как много трафика кушает алгоритм, при распараллеливании на несколько компьютеров? какие требования к каналу? топология связи между узлами звезда или сеть?
Просто если объемы трафика будут адекватными, и топология сеть или хотя бы 'много звезд', то ведь можно устроить сервис по распределенному расчету, а уж если добавлять свои собственные метеостанции, то прогнозы будут еще и гарантированно адекватнее чем простые вида 'погода будет ясная, но переменная облачность и местами дожди'.
Как много трафика кушает алгоритм, при распараллеливании на несколько компьютеров? какие требования к каналу? топология связи между узлами звезда или сеть?
Просто если объемы трафика будут адекватными, и топология сеть или хотя бы 'много звезд', то ведь можно устроить сервис по распределенному расчету, а уж если добавлять свои собственные метеостанции, то прогнозы будут еще и гарантированно адекватнее чем простые вида 'погода будет ясная, но переменная облачность и местами дожди'.
надо будет попробовать на кластере из 30 компов.
вот только «платформа должна быть x86_64.» не подходит — это значит не получится (у нас не 64битка стоит)?
вот только «платформа должна быть x86_64.» не подходит — это значит не получится (у нас не 64битка стоит)?
На сайте WRF выложены тестовые данные, дабы можно было убедиться, что собранная модель считает погоду не на Марсе, а в целевом регионе. Вы эти тесты выполняли? Можете что-то сказать о результатах сравнения?
Странно у вас на первой картинке ветер дует — строго по декартовым координатам с поворотами в 90 градусов…
Еще добавлю, что нужно для комиляции использовать «быстрые» комиляторы, н-р, от Intel или PGI.
Насколько я понимаю, у вас оно работает с MPI? Или OpenMP?
Едешь куда-то км за 25-50-100 и знаешь, что где-то рядом — дожди.
Даже без прогноза пригодилась бы анимированная гифка снимка облачности из космоса за несколько последних часов.
А там бы я уж сам бы додумал, куда ветер дует и как облака идут.
Связка "глаза — мозг" иногда помощнее некоторых Itanium'ов бывает. Иногда…
Даже без прогноза пригодилась бы анимированная гифка снимка облачности из космоса за несколько последних часов.
А там бы я уж сам бы додумал, куда ветер дует и как облака идут.
Связка "глаза — мозг" иногда помощнее некоторых Itanium'ов бывает. Иногда…
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Прогноз погоды своими руками