Давно не брал я в руки Dremel Пора продолжить тему предыдущих статей про творческий подход к конструкторам Фишертехник, смотрите предыдущую публикацию Конструктор Fischertechnik и Dremel: допиливаем моторы, сервоприводы и пневматическую присоску

Есть такой замечательный конструктор Фишертехник ROBO TX ЭлектроПневматика (на странице по ссылке доступен документ со списком официальных деталей) и к нему методические материалы на разных языках, включая русскоязычную версию на сайте официального дилера ПакПак. Все с ними хорошо, кроме стоимости микроконтроллера, компрессора и электромагнитных клапанов, которые легко можно заменить на совместимые, что мы и сделаем. Эта статья ориентирована на желающих подобрать совместимые с Фишертехником компоненты, поскольку довольно много времени занимает выбор совместимых деталей, ожидание их доставки и тестирование.

Да, «лапша» из проводов так и просит что-то с этим сделать, но я держу себя в руках и не вмешиваюсь в процесс постройки :)

В предыдущей статье Растровые, векторные и графовые методы геологического линеаментного анализа мы занимались теорией и инструментами линеаментного анализа и теперь перейдём к практике. Начнем с мультимасштабного анализа землетрясения — посмотрим, что происходит в недрах и на поверхности при сейсмических событиях. В то время как лишь некоторые самые опытные геологи способны представить себе в деталях происходящие процессы, мы их можем визуализировать как 4D модели и все рассмотреть.

Трехмерная многомасштабная роза диаграмма, где по вертикали слоями расположены розы диаграммы линеаментов разных масштабов, от 1000 м внизу и до 100 м вверху. Для упрощения сравнения, зелеными контурами показано состояние до землетрясения. Поскольку линеамент это отрезок (не вектор), то роза диаграмма линеаментов симметрична относительно центра. Далее в статье будет видеозапись для этой 4D модели.

В предыдущих статьях Пространственные спектры и фрактальность рельефа, силы тяжести и снимков и Кто и как поломал Землю, или откуда возникли планетарные горные хребты и разломы рассказано, как образовалась фрактальная картина поверхности и силы тяжести нашей планеты в диапазоне масштабов от планетарного и до субметрового. Теперь мы обсудим различные методы выделения направлений для геологического линеаментного анализа. Если 3D модели мы строим, пользуясь кольцевым преобразованием Радона, то штрихи на растровых изображениях можно выделять линейным преобразованием Радона, также известным как линейное преобразование Хафа в методах компьютерного зрения. Именно эти базовые алгоритмы компьютерного зрения и послужили основой вычислительной геологии. Про кольцевое преобразование Радона смотрите подробнее в статье Методы компьютерного зрения для решения обратной задачи геофизики, а про линейное поговорим сегодня. Кроме того, мы обратим внимание и на современные векторные и графовые алгоритмы анализа.

Контурные розы диаграммы новейших тектонических линеаментов по результатам высокочастотной фильтрации глобальных моделей Gebco 2019 Bathymetry и Sandwell & Smith Gravity

В предыдущей статье Пространственные спектры и фрактальность рельефа, силы тяжести и снимков мы уже рассмотрели фрактальность рельефа и поля силы тяжести и показали, как она возникает в относительно тонкой и хрупкой земной коре толщиной от 5 км под океанами и до 100-150 км под материками. Также мы вычислили, что под корой находится слой упругий, так что верхний масштаб фрактальности ограничен примерно 200 км. При этом, мы наблюдаем разломы и горные хребты планетарного масштаба, пересекающие моря и океаны. Очевидно, что планетарные структуры масштаба десятков тысяч километров никак не могут быть объяснены явлениями в земной коре масштаба десятков-сотен километров, хотя все эти структуры самоподобны, то есть фрактальны. Таким образом, именно планетарные структуры являются первичными и воспроизводятся на меньших масштабах при тектонических процессах за счет хрупкости земной коры. Сегодня мы поговорим о том, откуда возникли эти первичные структуры, или кто и как «поломал» Землю.

Слева направо приведены следующие изображения Земли: магнитное поле (EMAG2), гравитационное (Sandwell & Smith), рельеф ( GEBCO 2020 Bathymetry). Смотрите HOWTO: Visualization on The Globe

В дополнение к открытым спутниковым данным, некоторые из которых перечислены в статье Общедоступные данные дистанционного зондирования Земли: как получить и использовать, существует и множество производных продуктов — например, рельеф. Притом можно найти открытый рельеф разного пространственного разрешения, равно как и множество коммерческих, и появляется задача выбрать лучший продукт из доступных.

Сегодня мы рассмотрим открыто доступный рельеф пространственным разрешением 30 м и 1 м и сравним с коммерческим разрешением 1 м. Для сравнения и оценки рельефа разного масштаба используем методы анализа пространственного спектра, неоднократно описанные в моих предыдущих статьях, например, Пространственные спектры и фрактальность рельефа, силы тяжести и снимков В силу фрактальной природы рельефа, его спектр в двойных логарифмических координатах должен совпадать с линией, и мера этого совпадения и есть качество рельефа, а разрешение, начиная с которого компоненты спектра подчиняются закону фрактальности, его реальное разрешение. Как будет показано на высокодетальном открытом рельефе, выбранный метод оценки корректен.

Рельеф USGD NED DEM 1m и ALOS DEM 30m со спутниковой картой Google Satellite

Взаимосвязь рельефа и силы тяжести напоминает известную проблему «курицы и яйца». С одной стороны, рельеф несомненно влияет на измеряемую на его поверхности силу тяжести — уровень рельефа определяет расстояние до центра масс планеты, а возвышения рельефа содержат дополнительные притягивающие массы. С другой стороны, сила тяжести так же несомненно влияет на рельеф, что особенно заметно в океанах, форма поверхности которых повторяет аномалии силы тяжести. Мало этого, на поверхность рельефа воздействуют ветровая и водная эрозия и множество других факторов, так что характер взаимосвязи рельефа и силы тяжести становится сложно предсказать. Космические снимки также воспроизводят формы рельефа — вместе с формами и цветами растительности и всего прочего на этом рельефе, так что характер взаимосвязи снимков и рельефа оказывается еще менее очевидным.

К счастью, поле силы тяжести и рельеф поверхности нашей планеты обладают свойством фрактальности, то есть самоподобия на разных масштабах, что и является ключом для определения характера связи между ними.

После публикации серии статей про построение геологических моделей пришло время обсудить, скажем прямо, самое интересное — а насколько эти модели достоверны? Несомненно, все представленные ранее модели интересны и полезны — землетрясения, вулканы, золотые месторождения и другие. Теперь покажем, что они являются действительными геологическими моделями. На самом деле, мы уже все доказательства упоминали, но сегодня обсудим подробно. Теоретическая часть и история метода приведены в статье Методы компьютерного зрения для решения обратной задачи геофизики, на гитхабе опубликован Python ноутбук 3D Density Inversion by Circular Hough Transform (Focal Average) and Fractality Index с оценкой достоверности моделирования, и я даже написал техническую статью непосредственно об используемых там вычислительных методах Вычислительная геология и визуализация: пример Python 3 Jupyter Notebook, не касаясь геологического смысла выполняемых вычислений. Кроме того, в статье Геология XXI века как наука данных о Земле модель землетрясения заверена с помощью результатов спутниковой интерферометрии.

Давайте посмотрим, насколько понятно устроена природа, и как просто это можно доказать, при этом познакомимся с мифами, в которые зачастую верят геофизики (хотя их учили совершенно противоположному, как будет показано ниже). Откройте учебники и статьи по геофизике и вы увидите там преобразования Буге, разложения по сферическим функциям и другие термины, заимствованные из разных наук. При этом, преобразование Буге придумано 300 лет назад для анализа результатов нескольких десятков измерений, а форма нашей планеты далека от сферической настолько, что глобальные модели оперируют эллипсоидами. Все это наследие чрезвычайно затрудняет понимание простых и очевидных, в общем-то, вещей и явлений.

Видите взаимосвязь ортофотоснимка и рельефа? Если да, то вы или геолог или можете им стать: корреляция компонентов (разложения в пространственный спектр) составляет 41% для длины волны 20 м, 58% для 50 м и 99% для 300 м (Jupyter Python ноутбук с вычислениями доступен по ссылкам ниже). Большинство геофизиков клянутся, что «это у вас спектры порченые» (записано с натуры), игнорируя и геофизику и прилагаемые вычисления и ссылки на публикации.

Эта статья является продолжением двух предыдущих: Ударим биспектром по бездорожью, или как найти золото в Сибири, в которой мы рассмотрели геологическую модель месторождения золота на территории Новосибирской области и Ищем рудное золото на острове Сумбава, Индонезия, в которых мы построили геологически обусловленную модель машинного обучения для поиска золота или других рудных минералов по всему Тихоокеанскому рудному поясу, используя для геологического моделирования открытые данные на платформе Google Earth Engine (GEE).

Убедившись в сходстве геологических моделей Сибири и Индонезии, применим классификатор для рудного золота Западной Сумбавы, Индонезия для Сибири. Так мы получим геологически корректный детальный прогноз золоторудности для Сибири, не используя вообще никаких геологических данных для этого региона.

В предыдущей статье Ищем рудное золото на острове Сумбава, Индонезия я рассказывал про поиски золота в Индонезии, где при схожей геологической ситуации золотые жилы зачастую выходят на поверхность, в то время как в Сибири жилы обычно погребены под толщей осадочных пород. Конечно, десятки метров наслоений разных геологических периодов и состава сильно усложняют задачу поиска рудных ископаемых. Кроме того, есть проблема наличия геологических данных, собранных непосредственно на местности — задачи обследования территории теплой Индонезии и морозной болотистой Сибири не сравнимы. А еще следует помнить про специфику России — детальные геологические обследования времен СССР до сих пор засекречены (а после того не проводились, по крайней мере, в сопоставимых масштабах), при этом бумажные карты и данные бурения находятся в архивах, а номера скважин на картах и в отчетах о бурении намеренно изменены и таблицы соответствия хранит министерство обороны… как в сказке про смерть Кащея. Так что в реальности эти данные все равно что и не существуют.

В связи со сложностью задачи, нам потребуются серьезные статистические методы, такие, как полиспектральный анализ. Что интересно, такой анализатор у нас уже есть… в голове. Это легко подтвердить тем, что мы способны различать так называемый «малиновый звон» колоколов — этот эффект не проявляется на спектре, зато отлично виден на биспектре. Большинство людей отличает колокола с малиновым звоном, для этого даже не требуется наличие музыкального слуха. Опытный геолог, занимающийся визуальной дешифровкой космоснимков, способен вручную выделить на них элементы, сопутствующие различным погребенным геологическим структурам. Мы же, как обычно, воспользуемся вычислительными методами и построим 3D геологические модели для автоматизированного анализа.

Сегодня мы будем искать полезное ископаемое золото с помощью открыто доступных на платформе Google Earth Engine (GEE) данных, используя геологическое моделирование и последующую классификацию методом опорных векторов для предсказания золотоносных участков по построенной геологической модели. Нам понадобится рельеф ALOS разрешением 30 м, радарные снимки Sentinel-1 SAR разрешением 10 м и оптические снимки Sentinel-2 10 м (только для визуализации). Точность классификатора получилась равной 97.77% и, самое главное, результат соответствует ожиданиям геолога — найденные участки на самом деле очень перспективны.

Красно-белым шариком отмечен участок для детального исследования

В предыдущих статьях Google Earth Engine (GEE) как общедоступный суперкомпьютер и Google Earth Engine (GEE) как общедоступный каталог больших геоданных мы познакомились со способами удобного и быстрого доступа к каталогу космических снимков и их обработки. Теперь мы можем искать питьевую воду, различные минералы и вообще много всего. А еще можем вооружиться методами машинного обучения (ML) и сделать свою собственную карту сокровищ — прогноз для поиска золотых месторождений в любом месте мира. Как всегда, смотрите код и исходные данные (синтетические, конечно, ведь реальные данные — буквально на вес золота!) на GitHub: AU Prediction (ML)

На острове Западная Сумбава с помощью построенного классификатора выделены прогнозируемые золотоносные участки.

В прошлой статье Google Earth Engine (GEE) как общедоступный суперкомпьютер речь шла про работу в облачном редакторе GEE, где для доступа достаточно лишь наличия Google почты. Если потребности ограничиваются разовыми задачами и гигабайтами извлекаемых данных, то этого вполне достаточно. Но для автоматизации множества даже мелких задач облачный редактор не лучший способ работы и, тем более, когда требуется многократно получать растры суммарным размером в терабайты. В таких случаях потребуются другие инструменты и сегодня мы рассмотрим возможности доступа из консольных shell и Python скриптов и Python Jupyter notebook.

На скриншоте Python Jupyter ноутбук, где растр с данными о плотности населения за 2020 год из каталога Earth Engine data Catalog: WorldPop Global Project Population Data отображен на карте OpenStreetMap

Сервис Google Earth Engine предоставляет возможность бесплатно работать с огромными массивами пространственной информации. К примеру, в считанные минуты можно получить композитную мозаику (сборное изображение) по миллиону космоснимков. Считая, что каждая сцена (набор спектральных каналов) Landsat 8 занимает в сжатом виде 1 ГБ, при таком запросе обрабатывается объем информации порядка 1 ПБ. И все это доступно бесплатно, быстро, и в любое время. Но есть такое мнение (неправильное), что GEE на бесплатных аккаунтах позволяет обработать и экспортировать лишь небольшие наборы данных. На самом деле, такое впечатление вызвано лишь тем, что программировать на GEE можно начать, даже не читая документации сервиса, а вот извлечь много данных, все еще не читая документации, уже не получится. Далее мы рассмотрим три разных решения задачи векторизации растров и двумя разными способами напишем серверную GEE функцию для вычисления геохэша.

Ранее в статьях мы уже обсудили доступные данные (результаты наземных и спутниковых гравитационных и магнитных измерений, ортофото и космические снимки, цифровые модели рельефа), теоретические подходы и методы обработки (интерферометрия, построение обратных геофизических моделей), обработку данных в ParaView (выделение изоповерхностей) и Blender (высококачественная визуализация и анимация подготовленных в ParaView данных) и даже посмотрели Python Jupyter notebook с вычислениями и визуализацией моделей (включая выделение изоповерхностей средствами библиотеки VTK). Осталось построенные геотермальные изоповерхности конвертировать в формат модели дополненной реальности и получить геотермальную модель в дополненной реальности (AR). Как всегда, модель доступна на GitHub в репозитории ParaView-Blender — в виде исходных STL/PLY файлов и проектов Blender, плюс там же лежат скрипты Google Earth Engine (GEE) для получения композитных снимков Landsat 8 и Sentinel-2 и скрипты для конвертации AR моделей.

AR Модель геотермального резервуара Лахендонг, полуостров Минахаса, Северный Сулавеси, Индонезия Замеры температуры по скважинам обозначены цветными дисками — синим 0-150°C (далеко от резервуара), белым 150-250°C (переходная область вблизи от резервуара), красным 250-350°C (внутри геотермального резервуара).

Сегодня вместо обсуждения геологических моделей мы посмотрим пример их программирования в среде Jupyter Notebook на языке Python 3 и с библиотеками Pandas, NumPy, SciPy, XArray, Dask Distributed, Numba, VTK, PyVista, Matplotlib. Это довольно простой ноутбук с поддержкой многопоточной работы и возможностью запуска локально и в кластере для обработки больших данных, отложенными вычислениями (ленивыми) и наглядной трехмерной визуализацией результатов. В самом деле, я постарался собрать разом целый набор сложных технических концепций и сделать их простыми. Для создания кластера на Amazon AWS смотрите скрипт AWS Init script for Jupyter Python GIS processing, предназначенный для единовременного создания набора инстансов и запуска планировщика ресурсов на главном инстансе.

Визуализация с помощью Visualization Toolkit(VTK) и PyVista это уже далеко не Matplotlib

Мы уже обсуждали современные методы в геологии в статье Геология XXI века как наука данных о Земле на примере модели землетрясения в горном массиве Монте Кристо в Неваде, США 15 мая 2020 года магнитудой 6.5 баллов. И все бы хорошо в этой модели, да вот только самое интересное — смещение геологических блоков и "дыхание гор" нам схематично указал опытный геолог. Самое же важное заключается в том, что современная вычислительная геология (включая геофизику, моделирование и визуализацию) позволяет создать динамическую (4D) геологическую модель и наяву увидеть происходящие геологические процессы.

Геологическая модель с интерферограммой на поверхности рельефа по данным радарной спутниковой съемки, где на шкале Density Anomaly,% является характеристикой неоднородности геологической плотности и черная сфера в центре указывает координаты эпицентра землетрясения, расположенного на глубине 2.8 км.

Множество распространённых (и недорогих) деталей с АлиЭкспресс подходят к конструктору Фишертехник при небольшом их допиливании — в самом буквальном смысле. Допиливать можно самыми разными способами, (для экономии места) я решил остановиться на Dremel Lite 7760 с комплектными абразивными насадками плюс универсальный бит №561 для фрезерования и сверления.

Опционально пригодятся (с АлиЭкспресс) кулачковый патрон для дрели, метчики M2.5 и M3 с ручкой и мини-трубкорез (дети сами могут им пользоваться) или диск Дремель для резки металла (для резки очень желательны стол и тиски, иначе ровный поперечный рез сделать крайне тяжело, у меня так и не получилось, а вот с тисками на столе — запросто).

Отдавая дань продолжительному карантину этого года, в который надо было чем-то занимать детей ежедневно, хочу рассказать об опыте совмещения конструкторов Fischertechnik и мира открытых одноплатных компьютеров (с великим множеством датчиков и исполнительных устройств к ним) для своих детей.

Автоматический шлагбаум: пересечение светового барьера активирует сервопривод. Генерируемая контроллером Micro:Bit кодовая последовательность для поворота сервопривода в позицию 90° и параметры сигнала видны на осциллографе DSO138. Для внимательных- ИК-приемник отключен, поскольку сын успел «сжечь» один из 3-х доступных портов контроллера, а платы расширения для доступа к остальным портам еще не приехали.

Недавно мы обсудили, как дополнить ранее построенную в ParaView геологическую модель вулкана Тамбора, Индонезия с помощью симуляции потоков дыма, воды, лавы,… в MantaFlow и визуализировать результаты в ParaView: Гидродинамическое моделирование (CFD) на рельефе с помощью MantaFlow и визуализация результатов в ParaView Сегодня мы посмотрим, что получится, если использовать "настоящий" софт для работы с трехмерной компьютерной графикой Blender. В последние его версии встроен тот же самый "движок" физически корректной гидродинамической симуляции MantaFlow, это многое упрощает. Как обычно, инструкции по преобразованию данных, исходные данные и проект Blender смотрите в моем GitHub репозитории: ParaView-Blender.

Визуализация наполнения магматических камер вулкана, взрыва и шлейфа извержения и потока лавы.