Pull to refresh

Comments 43

А видеокарты не поддерживает? А то выглядит самым интересным и быстрым вариантом особенно для таких вычислений
Во всяком случае не слышал. Для нее нужно очень много оперативной памяти. В реальных вычислениях модели веделяют сотни ГБ оперативки. Плюс, необходимость использовать MPI.
Есть поддержка CUDA, но она ограниченная. На сайте PGI можно найти документ на эту тему.
UFO just landed and posted this here
См. секцию «Где скачать».
Я грибник любитель. К сожалению дожди проходят по близ лежащей территории неравномерно и ехать в проверенное место часто не имеет смыла.
Рад был бы такому сервису, который путем расчета осадков выводит потенциальные места роста грибов.
Может есть что-то подобное?
UFO just landed and posted this here
Я не готов тратить на это время.
Меня бы устроил готовый сервис.
А не будет в лесах слишком людно после анонса такого сервиса, что там прошел грибной дождь? :)
Грибные места еще знать нужно.
А вот достаточно ли там в данный момент влаги для роста грибов можно было бы узнать.
Пол России закрасило от 25 до 30, это я и без расчетов предсказал бы :)
Каждый из нас ругал синоптиков, когда оказывался под дождем, не имея в руках зонта. В топике я расскажу Вам как сделать прогноз погоды

В топике описывается не то, что мне нужно. Я 'гуляю без зонтика' только по Москве — и ваша карта погоды в Европе мне не нужна. Вы думаете я пойду гулять без зонта в Праге и Урале одновременно? Вовсе нет.
Но вот погода в Москве… Вот пишет гисметео, что в Москве местами пройдут дожди — и если б знать, будут ли это места, где я живу (ст. м. «Киевская») или работаю (ст. м. «Белорусская») — то это было бы шедеврально. Это было бы именно то, что мне нужно.
Я понимаю, что такую точность прогнозов вряд ли может обеспечить не только библиотека, запущенная на домашнем Атлоне, но и пул серверов гисметео — потому всё же статью плюсанул за тематику. Пишите ещё!
Нужны данные метеосборщиков, иначе вы получите усреднённую температуру по больнице. Поэтому получить то, что хотите вы — это реально, но вопрос должен стоять в организации структуры объектов мониторинга окружающей среды.
Да, я понимаю, что нужны данные метеосборщиков. Насколько я помню — предыдущий мэр Москвы создал метеорологическую службу Москвы и датчики по Москве и области должны быть.
Понимаете, именно мэру столицы важно, чтобы на столетие Дня Победы была солнечная погода — мне же нужен прогноз погоды в моём Дорогомилово.
Если бы текущий мэр открыл бы данные метеослужбы Москвы жителям — за это ему бы сказали спасибо. А то — ну чем запомнился жителям Собянин? Сносом ларьков, ха-ха.
Метео служба Москвы — это подразделение Федеральной службы по Гидрометеорологии и мониторингу окружающей среды, Лужков там ничего такого не делал, кроме как купил БУ кластер.
Мэр не сможет вам открыть метеоданные, т.к. они вне его юрисдикции, да и думаю никто не откроет их, т.к. не обязаны, а публичные данные вы можете найти хоть на гисметео, хоть на яндексе.

З.Ы. Мне, если честно больше интересно не районная погода, а в общем по МСК.
Вот кстати:
Независимое от Росгидромета метеобюро Лужков создал сам, в 98-м, на паях с Подмосковьем после жуткого июньского урагана, когда погибли 7 человек. Прошло шесть лет, и директору Метеобюро все еще нечем порадовать своего работодателя. «Для Москвы прогноз нужно составлять с точностью до районов, сегодня такие прогнозы не составляются», – говорит гендиректор Гидрометеобюро Москвы и Московской области Алексей Ляхов.
В аэропорту нет права на ошибку...

А вот кстати и все пять метеостанций Москвы: mosmeteo.hmn.ru/index1.php?code=22
Ничего он там не создавал, просто появилось отделение, отвечающее за Москву на балансе у Москвы. А про ураганы Лужкову молчать надо, если у него на весь город 5 станций, при этом 3 из них за пределами города.
Вы я так понимаю в теме? Сколько нужно станций на Москву, чтобы с хорошей точностью прогнозировать погоду по районам города? (И соответственно — сколько это будет в деньгах?)
Ну, чтобы можно было не говорить «в некоторых частях Москвы возможны дожди», а сказать хотя бы так: «на юго-западе Москвы будут дожди, остальные районы города дождь пройдёт стороной».
Я в теме частично, т.к. знаком хорошо с коллегами из Ридромета, но сколько нужно станций сказать не могу, это наверняка зависит от типа станции, её параметров и необходимых датчиков. Вопрос не в этом, а в том, что все используют ресурсы гидромета на халяву (увы, но Гидромет обязан предоставлять определённые данные бесплатно) и только маленькая кучка за это платит (в основном аэропорты, поэтому там всегда стоят метеостанции и в них работает группа метеорологов), так же гидромет в большинстве своём не может предоставлять коммерческих услуг (тоже куча ограничений по закону) и взять им денег на модернизацию неоткуда, чтобы там не говорил президент, но раз в 5 лет выделить денег на модернизацию — это надругательство. А практика показала, что такая служба, как Гидромет позволяет экономить государству конкретных денег (был случай в СССР, его ещё называют началом истории существования Главного Вычислительного Центра Росгидромета).
Интересно было б для небольшой территории (20х20 км) с учетом региональных особенностей. А такие крупные масштабы на сайтах и так доступны.
Давая хорошие результаты на разрешении в 10 км, на 1км модель даст кашу. Да и с точными данными о «региональных особенностях» проблемы, ну положим рельеф — SRTM (~90м), растительность — MODIS (правда уже 250м, в лучшем случае), а вот с почвами загвоздка…
В комментарии чуть ниже я описал, почему это малореально.
Еще добавлю, что уравнения, на которых основана модель нешибко подходят для прогноза на сетке ~100м на 100м.
Существуют ли прогнозы с километровым шагом?
Где можно посмотреть уже просчитанные данные по этой модели?
Я немножко в теме, могу сказать, что прогнозов с шагом 1 км не существует (во всяком случае доступных и регулярных, экспериментальные не в счёт).

Самые высокодетальные сетки, описания которых мне встречались — 4-7 км. Это локальные модели, покрывающие только одну сравнительно небольшую по площади европейскую страну (я читал конкретно о Великобритании и Чехии, хотя наверняка есть другие). Тут три проблемы.

Во-первых, колоссальный объем вычислений. Подход «а давайте возьмём небольшую область, например одну Москву, но посчитаем её супер-детально» — увы, не катит. Дело в том, что эту небольшую область нельзя рассматривать изолированно, воздушные массы ведь движутся, облачность приходит «из-за границы» и т.д. И чем больше срок прогнозирования, тем обширнее нужно брать район.
Объем вычислений можно немного снизить вложенными сетками с разным шагом. Например, МО накрыть с шагом 5 км, ЦФО 10 км и ЕТР 20 км. Но даже так ресурсов нужно очень много.

Во-вторых, для сверхдетальной сетки нужно иметь и сверхдетальное описание подстилающей поверхности: рельеф, почвы, водоемы, леса и т.п. В России с этим сложно.

В-третьих, источники фактических погодных данных. В России очень мало (относительно её площади) метеостанций. Многие прекратили свое существование в 90-е. Те что выжили — с устаревшим оборудованием и копеечными з/п персонала. Говорят, даже «главная» метеостанция страны (на ВДНХ) не соотвествует современным технологическим нормам. Действительно хорошие метеостанции сейчас стоят только аэропортах.
Та же Англия покрыта метеостанциями на порядок плотнее. А без фактических данных сколь угодно подробное матмаделирование имеет оттенок отсебятины.

Спецы говорят, что на практике супер-детализованные сетки можно использовать для уточнения сверхкраткосрочных (не более 1-1.5 суток) прогнозов, далее объем вычислений растет очень непропорционально приросту качества.
Кстати, можно посмотреть параметры этой модели, которую гоняет у себя Украина: ecobase.org.ua/wa311/index.php
Всё довольно скромно: 98*70 точек, шаг 30 км. Кстати, на карте можно видеть, с каким запасом сетка перекрывает территорию Украины.
И для этого используются 48 процов Intel Itanium 2 1.6 ГГц и 96 Гб оперативки. Потому как на практике прогноз должен считаться за 1-2 часа, а не за 10 — иначе он просто устареет уже к моменту своего получения.
Невероятно круто!

Как много трафика кушает алгоритм, при распараллеливании на несколько компьютеров? какие требования к каналу? топология связи между узлами звезда или сеть?

Просто если объемы трафика будут адекватными, и топология сеть или хотя бы 'много звезд', то ведь можно устроить сервис по распределенному расчету, а уж если добавлять свои собственные метеостанции, то прогнозы будут еще и гарантированно адекватнее чем простые вида 'погода будет ясная, но переменная облачность и местами дожди'.
Объемы трафика адекватными не будут. На каждом шаге по времени нужна полная синхронизация модели между узлами.

Собственные метеостанции вы не создадите — нужна погода не на поверхности земли, а в толще атмосферы. Для этого либо запускают зонды, либо используют спутники + сложный постпроцессинг.
надо будет попробовать на кластере из 30 компов.
вот только «платформа должна быть x86_64.» не подходит — это значит не получится (у нас не 64битка стоит)?
Получится, но объёмы обрабатываемых данных будут не более 4ГБ на узел.
Хотя я уже не помню, есть ли в варфе поддержка платформ не 64 бита.
По идее должна подойти и ia32. Но я не пробовал.
На сайте WRF выложены тестовые данные, дабы можно было убедиться, что собранная модель считает погоду не на Марсе, а в целевом регионе. Вы эти тесты выполняли? Можете что-то сказать о результатах сравнения?
Визуально картинки были похожи (сравнил температуру и ветер), правда я с другим шагом считал.
Странно у вас на первой картинке ветер дует — строго по декартовым координатам с поворотами в 90 градусов…
А по-моему, ничего удивительно: во-первых там равнина, а во-вторых, может быть, так случайно совпало.
И с прогнозом Яндекса почти совпало, они дают юго-восточный и восточный ветер.
Еще добавлю, что нужно для комиляции использовать «быстрые» комиляторы, н-р, от Intel или PGI.
Насколько я понимаю, у вас оно работает с MPI? Или OpenMP?
Понятно, значит с MPI особых проблем нет, в отличии от OpenMP.

Касаемо «быстрых» компиляторов, какой выигрыш по времени? Если не ошибаюсь, на RegCM (тогда ещё 3) переход gfortran => intel fortran дал уменьшение времени расчета процентов на 10, как не меньше.
Странно, на сложных задачах gfortran => intel fortran может дать 2-3 ускорение. Здесь gfortran я не пробовал, а сразу взял ifort.
Едешь куда-то км за 25-50-100 и знаешь, что где-то рядом — дожди.

Даже без прогноза пригодилась бы анимированная гифка снимка облачности из космоса за несколько последних часов.
А там бы я уж сам бы додумал, куда ветер дует и как облака идут.

Связка "глаза — мозг" иногда помощнее некоторых Itanium'ов бывает. Иногда…
Sign up to leave a comment.

Articles