Дисциплина Computational fluid dynamics(CFD) или, на русском языке, Вычислительная гидродинамика изучает поведение различных потоков, в том числе вихревых. Это и моделирование цунами, и лавовых потоков, и выбрасываемых из жерла вулкана камней вместе с лавой и газами и многое другое. Посмотрим, как можно использовать совместно MantaFlow и ParaView, реализовав на встроенном в MantaFlow языке Python необходимые функции конвертации данных. Как обычно, исходный код смотрите в моем GitHub репозитории: MantaFlow-ParaView.

Визуализация шлейфа извержения вулкана. Мы уже видели эту картинку в серии статей про визуализацию в ParaView Как визуализировать и анимировать (геофизические) модели, обсуждали создание геологических моделей в статье Методы компьютерного зрения для решения обратной задачи геофизики, а теперь поговорим и о моделировании дыма.

Продолжаем цикл статей про построение систем роутинга со сложными требованиями на основе Open Source базы данных PostgreSQL и расширения PgRouting на карте OpenStreetMap. Сегодня мы поговорим о том, как добавить поддержку односторонних дорог (направлений движения). Зачастую, именно отсутствие этой поддержки является основной причиной смены PgRouting на другой "движок" маршрутизации. Как обычно, все данные и результаты доступны в моем GitHub репозитории OSM Routing Tricks, который я пополняю по мере публикаций.

Небольшой маршрут из 330 адресов на карте OpenStreetMap.

Хотелось бы поделиться опытом создания систем маршрутизации PostgreSQL/PgRouting на карте OpenStreetMap. Речь пойдет о разработке [коммерческих] решений со сложными требованиями, для более простых проектов, вероятно, достаточно обратиться к документации. Насколько мне известно, такие вещи, как полная поддержка односторонних дорог и направлений движения, быстрый роутинг на тысячах адресов (порядка секунд на обычном лаптопе, к примеру, Macbook Pro 13" 2013 года), создание дорожного графа с заданными свойствами, мета-оптимизация маршрутов вообще нигде и никак не рассматриваются. Как обычно, все данные и результаты доступны в моем GitHub репозитории OSM Routing Tricks, который я буду пополнять по мере публикаций.

Небольшой маршрут из 330 адресов на карте OpenStreetMap (время построения около 5 секунд на вышеупомянутом лаптопе). Можно ли за это же время построить маршрут, скажем, из 5000 точек? Да, можно, и об этом мы тоже поговорим (в следующих частях статьи).

Сразу оговорюсь, что деление на века немного условно. Например, спутниковая интерферометрия используется с конца 1980-х годов, при этом высококачественные данные стали общедоступными только в 2000-х годах. Трехмерные модели тоже отнюдь не новинка, и делали их ну очень давно — ведь и плоская Земля на трех китах вполне себе объемная модель. Так в чем же разница геологии века прежнего и настоящего?

Слева — фрагмент геологической карты США, справа — 3D геологическая модель с интерферограммой на поверхности рельефа по данным радарной спутниковой съемки (на шкале Density Gradient,% является характеристикой неоднородности геологической плотности, а Band Magnitude обозначает разность фаз отраженного сигнала радара для пары разновременных снимков)

Компьютерное зрение занимается поиском и выделением объектов, а обратная задача геофизики заключается в нахождении распределения источников геофизических полей, соответствующего измеренным на поверхности значениям. Что здесь общего и как это могло быть придумано и реализовано задолго до появления первого компьютера? Ведь изложение обсуждаемого метода в публикации 1953 года ссылается на еще более ранние работы 1940-х годов. И что получится, если реализовать программно алгоритмы, придуманные для ручного выполнения (sic!)?

Дистанционное зондирование Земли (ДЗЗ) — наблюдение поверхности Земли наземными, авиационными и космическими средствами, оснащёнными различными видами съемочной аппаратуры [википедия]. Поговорим о возможностях, предоставляемых бесплатными и общедоступными данными. Всего не перечислить, поэтому расскажу только о том, с чем я сам работаю, все примеры кода и картинки мои собственные. Исходный код по ссылкам представлен на языке Python 3 в виде Jupyter Notebooks на GitHub.

Картинка ниже показывает смещение поверхности Земли относительно спутника (красным цветом обозначено смещение вверх и синим — вниз) в результате землетрясения (6.5 баллов) — как видим, горы "подросли" (на 20-30 см) и долины углубились (на 15-20 см). Можно ли это замерить локально? Да, с помощью сети наземных приемников GPS, для которых местоположение можно вычислить с очень высокой точностью, но это дорого и сложно, а точность спутниковых наблюдений уже превосходит наземные. Кстати, показанная интерферограмма вычислена за пару часов на обычном лаптопе с помощью Open Source утилит GMTSAR (фактически, это расширение для знаменитых в области наук о Земле утилит GMT).

Как растут горы — спутниковая интерферограмма землетрясения магнитудой 6.5 баллов в Монте Кристо, Невада, США

Около 50 тысяч лет назад в Аризонскую пустыню на скорости 12.8 — 20 км/с врезался 50-ти метровый железно-никелевый метеорит. Произошедший взрыв был втрое мощнее взрыва от падения Тунгусского метеорита и образовал кратер диаметром 1.2 км глубиной 229 м. В геологии такая структура носит название импактной. Расположенный в пустыне кратер прекрасно виден на космических снимках (черная "клякса" прямо над кратером — это автостоянка для любознательных туристов, к ней подходит автодорога):

Аризонский кратер на карте Google Satellite Map

Совсем недавно новый гиперспектральный спутник ASI PRISMA открыл доступ к архиву данных с момента запуска в марте 2019 года и, вдобавок, предоставляет возможность заказать съемку на любую интересующую территорию, смотрите PRISMA Mission Selection Все это доступно бесплатно с лимитом в 218 доступных к заказу и скачиванию сцен площадью 30х30 км с панхроматическим разрешением 5м и гиперспектральным разрешением 30м для 239 каналов! Спутник новый, его техническое тестирование только что закончилось и потому практически ничего о нем еще не известно. Давайте сами выясним, чем может быть интересен этот спутник, сравнив его снимки с другими открыто доступными гиперспектральными и мультиспектральными снимками.

Для сравнения спектрограмм выберем территорию в Индонезии — там мне удалось найти пересечение доступных сцен ASI PRISMA и другого гиперспектрального спутника EO-1 HYPERION, в то время как остальные используемые датасеты доступны на всю или почти всю территорию планеты. Итак, мы посмотрим спектрограммы следующих спутниковых миссий и предоставляемых ими наборов данных: ASI PRISMA L2C (30м), EO-1 HYPERION 1T (30м), Sentinel-3 OLCI EFR (300м), Sentinel-2 MSI (10/20/60м), ASTER L1T (15/30/90м), USGS Landsat 8 SR (30м). Для сравнения выбраны три безоблачных участка: густой лес (Wood), соленая вода не слишком близко к берегу (Water) и территория суши без заметной растительности (Land).

В связи с растущим публичным интересом к анализу и визуализации различных пространственных моделей (например, для изучения распространения вирусов) мне вспомнился один из проектов, которыми я занимался на фриланс-платформе Upwork. Эта работа выполнена по заказу корпорации Google и заключалась в создании общедоступного датасета OpenStreetMap (OSM) на Google Cloud Platform для работы с ним с помощью Google BigQuery и создании некоторых примеров анализа данных OpenStreetMap (смотрите Python Jupyter Notebooks в репозитории). Моей частью проекта была работа с данными; кто сразу хочет посмотреть код — добро пожаловать в мой гит-репозиторий bigquery-openstreetmap. Далее я расскажу, в чем заключаются преимущества созданного датасета (хинт: реализован и доступен классификатор слоев на SQL) и как его можно использовать.

Обращение к читателям: убедительная просьба избежать обсуждения Upwork в частности и фриланса в целом в комментариях, ну надоело же, право слово… разные там проекты есть.

Результаты анализа дорожной сети города Бостона по данным OpenStreetMap. Красным цветом обозначены хайвеи с высоким Betweenness centrality (bc), зеленым — улицы с высоким bc, желтым — хайвей с низким bc, серым — улицы с низким bc.

Значительная часть геофизических публикаций в "солидных" журналах используют широко известную поправку к гравитационным данным — редукцию Буге. И все глобальные модели гравики ее используют. Наверное, это что-то очень важное и основано на детально проработанной теории? Давайте посмотрим, как можно графически проиллюстрировать смысл этой поправки. На рисунке показана идеальная плоскопараллельная пластина радиусом 200км, применяемая для вычисления поправки Буге согласно определению:

Рисунок из книги К.Ф. Огородникова «На чем Земля держится», 1953 г.

Также смотрите другие статьи серии "Как визуализировать и анимировать (геофизические) модели":

• Вводная статья со списком используемого программного обеспечения
• Показываем исходные данные
• 3D анимация и визуализация 4D данных
• Информативность визуализации
• Воксельные модели и сетчатые поверхности

В результате численного моделирования мы обычно получаем воксельные модели, которые для дальнейшей обработки и анализа необходимо преобразовывать в сетчатые поверхности. На картинке ниже в полупрозрачной воксельной модели изображена геологическая структура, выделенная и преобразованная в сетчатую поверхность и дополненная поверхностью рельефа.

Также смотрите другие статьи серии "Как визуализировать и анимировать (геофизические) модели":

• Вводная статья со списком используемого программного обеспечения
• Показываем исходные данные
• 3D анимация и визуализация 4D данных
• Информативность визуализации
• Воксельные модели и сетчатые поверхности

Наглядная визуализация позволяет быстро понять суть работы и полученных результатов, но, случается, — понять неправильно. Как однозначно продемонстрировать результаты и, притом, избежать груды подтверждающих формул и ссылок на другие работы — так, чтобы все было визуально очевидно (в хорошем смысле слова)?

На картинке выше представлены результаты улучшение гравитационных данных GGMplus Free-Air Gravity Anomaly 200м с помощью рельефа SRTM 30м техникой переноса компонент пространственного спектра.

Также смотрите другие статьи серии "Как визуализировать и анимировать (геофизические) модели":

• Вводная статья со списком используемого программного обеспечения
• Показываем исходные данные
• 3D анимация и визуализация 4D данных
• Информативность визуализации
• Воксельные модели и сетчатые поверхности

Для визуализации анимированных 3D результатов без симуляции реальных процессов используются различные эффекты прозрачности и движения. При выполнении 3D симуляции — моделировании динамических процессов — нам необходимо уметь показывать 4D результаты. Когда анимированный результат визуально достаточно близок к результату симуляции, его нередко так и называют; в любом случае, во избежание ошибочной трактовки результатов необходимо ясно указывать используемые для визуализации данные и методы.

Также смотрите другие статьи серии "Как визуализировать и анимировать (геофизические) модели":

• Вводная статья со списком используемого программного обеспечения
• Показываем исходные данные
• 3D анимация и визуализация 4D данных
• Информативность визуализации
• Воксельные модели и сетчатые поверхности

В зависимости от проекта и масштаба данных мы можем выбрать различные варианты визуализации — и все же, для любого масштаба данных важным является именно позволить наглядно оценить этот масштаб. К примеру, на региональном уровне отображение на глобусе Земли позволит легко понять как масштаб, так и расположение изучаемой территории. Вот мы и займемся отображением данных на глобусе.

Слева направо: EMAG2 Earth Magnetic Anomaly, Sandwell and Smith Free Air Gravity Grid, GEBCO Gridded Bathymetry Data.

Данная публикация это начало цикла статей. Если вам интересно, скажите об этом, а если не интересно, цикл на этом и закончится, тогда просто смотрите ниже список необходимого программного обеспечения и примеры.

Также смотрите другие статьи цикла:

• Вводная статья со списком используемого программного обеспечения
• Показываем исходные данные
• 3D анимация и визуализация 4D данных
• Информативность визуализации
• Воксельные модели и сетчатые поверхности

Это не пошаговое руководство по визуализации трех- и четырехмерных данных, а подход к тому, как и чем это можно сделать и, притом, сделать качественно. Вероятно, многие из нас бывали в ситуациях, когда уже есть подготовленные с большим трудом данные, которые необходимо визуализировать, но неизвестно, как же это сделать так, чтобы не испортить все впечатление от выполненной работы. Существует много коммерческого программного обеспечения для этих целей, но мы будем рассматривать исключительно Open Source программы.