OLAP-кубы в формировании методов градостроительного анализа

Автор: Барышев В. В. DOI 10.13140/RG.2.2.19151.20647

 Аннотация — На сегодняшний день существует множество миссий по спутниковому наблюдению Земли. Такие страны как Россия, США, страны Европейского Союза, Китай, Япония и другие обладают мощными группировками спутников что уже можно говорить о мониторинге поверхности земли 24 часа в сутки по всем широтам кроме арктической зоны. Данные получаемые со спутников только у миссии  “Copernicus” превышает 12 Tb в день, данных передаются в серию тематических информационных служб, предназначенных для улучшения городского планирования,  окружающей среды, нашего образа жизни, гуманитарных потребностей и поддержки эффективной политики для более устойчивого будущего и разработки новых методов городского планирования. 

 Поскольку методы дистанционного зондирования земли производят огромное количество данных, искусственный интеллект (AI) и машинное обучение (ML) позволяют нам управлять этими данными и понимать их таким образом, который раньше был просто невозможен.

Ключевые слова — online Analytical Processing, machine learning, сценарное проектирование, градостроительство, экология, дистанционное зондирование земли.

Полная версия статьи и ссылка на код

Baryshev, Vyacheslav. “‘OLAP Cubes in the Formation of Methods of Urban Planning Analysis’/‘OLAP-Кубы в Формировании Методов Градостроительного Анализа.’” "OLAP-Кубы в Формировании Методов Градостроительного Анализа" /"OLAP Cubes in the Formation of Methods of Urban Planning Analysis", no. OLAP (2021): 14. doi:10.13140/RG.2.2.19151.20647.

I. Введение

 [OLAP (Online Analytical Processing) - это система аналитической обработки данных. Она предназначена для подготовки отчетов, построения прогностических сценариев и выполнения статистических расчетов на базе больших информационных массивов, имеющих сложную структуру. 

Общая цель ODC - упростить управление большими массивами данных, не требуя, чтобы данные хранились определенным образом или в определенном месте. Это означает, что вы можете указать его в своем репозитории данных и проиндексировать данные там, где они находятся, абстрагируя сложность управления большими распределенными массивами данных.]

 Приведенные ниже методики позволяют повысить информированность сообществ, местных администраций, городских планировщиков о гидрологических процессах на рассматриваемых для проектирования или уже существующей территории, особенно актуально это становится с введениям закона “О комплексном развитии территориии”.

 Объектом исследования выступают города и урбанизированные территории, предметом такие явления как ночное сияние городов, наводнения в пределах “Агломераций”, плотность населения, скорость роста городов.

II. Текущее состояние

 [Задача ODC (opendatacube)] - усилить влияние спутниковых данных путем предоставления открытого и свободно доступного инструмента использования, а также способствовать развитию сообщества для разработки, поддержки и расширения масштабов и глубины приложений.

[На технологическом уровне ODC состоит из трех частей: данных, индексируемой среды (база данных) и программного обеспечения:

• Данные обычно основаны на файлах либо в локальных каталогах файлов GeoTIFF, либо в файлах NetCDF, но данные могут быть любыми, что GDAL может прочитать, включая оптимизированные для облака GeoTIFF, хранящиеся на AWS 'S3.

• Для индекса ODC использует PostgreSQL в качестве базы данных для хранения списка продуктов (определенного типа данных, таких как данные Landsat 8 Analysis Ready ) и наборов данных (один экземпляр продукта, например, одна сцена Landsat 8). Индекс позволяет пользователю запрашивать данные в определенное время и в определенном месте, не зная, где конкретно хранятся необходимые файлы и как получить к ним доступ.

• Программное обеспечение, лежащее в основе ODC, представляет собой библиотеку Python, которая позволяет пользователю индексировать данные (добавлять записи в индекс), принимать данные (оптимизировать индексированные данные для повышения производительности), запрашивать данные (возвращать данные в стандартном формате данных). и широкий спектр других функций, связанных с управлением данными.]

Возможности применения в градостроительном анализе выражаться в виде построения временных рядов исследуемых территорий и последующую аналитическую обработку и использование данных анализа в разрабатываемых проектах или приложениях (“Клиентах”). Примерные решаемые задачи в области градостроительного анализа.

1. Скорость роста больших и малых городов, или скорость урбанизации, является важным показателем устойчивости больших и малых городов. Быстрая незапланированная урбанизация может привести к плохим социальным, экономическим и экологическим последствиям из-за неадекватной и перегруженной инфраструктуры и услуг, создавая заторы, ухудшая загрязнение воздуха и приводя к нехватке адекватного жилья. 

2. Плотность населения в произвольных границах.

3. Антропогенное воздействие на природный комплекс.

4. Обнаружения протяженности воды и наводнений.

5. Измерения яркости ночного света для изучения роста городов и потери энергии.

6. Изменение фенологии растительности и нормализованного индекса разности растительности.

Рассматриваемые методики, служат хорошим обоснованием и средством верификации со времени (временные ряды) градостроительных решений в генеративных системах при использовании  “Сценарного проектирования”

III. Академические и промышленные проекты

4.1 [Обнаружения протяженности воды и наводнений]

 Последние десятилетия мир столкнулся с вызовами глобального потепления  и изменения климата, наши города, система предупреждения, люди как показала практика оказались не готовы к подобным изменениям по наводнениям в г. Крымск, г. Сочи который регулярно затапливает, Иркутской области видно что и планировочные решения в данной местности могли бы быть иными, но зачастую практикующим архитекторам-градостроителям недостаточно обосновывающих материалов для убеждения стороны “Заказчик-Клиент”.

 Данные предоставлены Google Engine за период time_extents = ('2021-04-01', '2021-05-10'). В таблице ниже приведены доступные данные Sentinel-1. Обнаружение наводнения требует сравнения изображений с одинаковыми углами обзора. Таким образом, важно сравнивать измерения только с одним и тем же номером орбитального пути. Вы обнаружите, что один и тот же номер орбиты может быть получен из двух миссий (6-дневное разделение) или одной миссии (12-дневное разделение), но направление прохода (восходящее или нисходящее) будет одинаковым. см. таблицу 1 

Таблица 1

Просмотр графиков гистограммы

Графики гистограммы удобны для просмотра статистического распределения обратного рассеяния данных VV и VH. В большинстве случаев легко определить разницу между пикселями суши (более высокие значения) и пикселями воды (более низкие значения). Гистограмма VH в приведенном ниже примере обычно показывает сушу с пиком около -15 дБ и воду (темную) с пиком около -27 дБ. Разумный порог обнаружения воды можно оценить по этой гистограмме. Например, базовый код выбирает порог VH -21 дБ для разделения воды и суши, что дает разумные результаты в большинстве регионов. Пользователи должны проверить этот порог, чтобы определить наилучшее значение для конкретного региона или водоема.

Однодиапазонный пороговый объем воды с одной датой

Рисунок 3

Вывод в качестве веб-интерфейса:

Рисунок 5, 6

 Вывод временного ряда уровня воды в реке Ока:

Рисунок 7

5.1 Измерения яркости ночного света для изучения роста городов и потери энергии.

Рязанская Область, Спасский район. (рис. 1) Координаты: lat_long = (54.4197, 40.4352), Данные “ДЗЗ”: это среднемесячное сияние. Доступный данные: с 2012-04-01 по 2021-05-01. Рисунок 1.

Рисунок 2. Среднее значение яркости для данного временного отрезка

.

 Участки среднемесячного сияния. Некоторые данные могут показывать "нулевую" яркость, что означает, что для этого месяца нет наборов данных. Некоторые данные могут быть искажены вверх или вниз из-за загрязнения части сцены облаками. Рисунок 3.

Проблема: 

 Имеют ли данные анализа значение для градостроительного проектирования и как можно их интерпретировать в задачах городского планирования? Требует дополнительных исследований.

6. Индексы EVI и SAVI Vegetation

 Расширенный индекс растительности (EVI) - это «оптимизированный» индекс растительности по сравнению с обычным NDVI, разработанный для усиления сигнала растительности с улучшенной чувствительностью в регионах с высокой биомассой и улучшенным мониторингом растительности за счет разделения фонового сигнала растительного покрова и уменьшения в атмосферных воздействиях. 

                                      2013 год                                                                         2020 год

 [NDVI (Normalized Difference Vegetation Index) - нормализованный относительный индекс растительности - простой количественный показатель количества фотосинтетически активной биомассы (обычно называемый вегетационным индексом). Один из самых распространенных и используемых индексов для решения задач, использующих количественные оценки растительного покрова.  Вычисляется по следующей формуле:

где, NIR - отражение в ближней инфракрасной области спектра RED - отражение в красной области спектра/ Согласно этой формуле, плотность растительности (NDVI) в определенной точке изображения равна разнице интенсивностей отраженного света в красном и инфракрасном диапазоне, деленной на сумму их интенсивностей. Расчет NDVI базируется на двух наиболее стабильных (не зависящих от прочих факторов) участках спектральной кривой отражения сосудистых растений. То есть высокая фотосинтетическая активность (связанная, как правило, с густой растительностью) ведет к меньшему отражению в красной области спектра и большему в инфракрасной. Отношение этих показателей друг к другу позволяет четко отделять и анализировать растительные от прочих природных объектов. Использование же не простого отношения, а нормализованной разности между минимумом и максимумом отражений увеличивает точность измерения, позволяет уменьшить влияние таких явлений как различия в освещенности снимка, облачности, дымки, поглощение радиации атмосферой и пр.]

Индексы дробного покрытия и нормализованные разности

 Дробное покрытие (FC) используется для оценки типа почвенного покрова (растительность, незеленая растительность, голая почва) каждого пикселя. Мы используем модель из CSIRO (Хуан Гершманн) и применяем ее к средней мозаике, где: голая почва = bs, фотосинтетическая растительность = pv и нефотосинтетическая растительность = npv. Продукт представляет собой результат RGB с ложным цветом, где RGB = bs / pv / npv. Нормализованный разностный вегетационный индекс (NDVI). Нормализованный индекс разницы растительности (NDVI) обычно используется для измерения «зелености» растительности. Различия можно использовать для оценки состояния сельского хозяйства и обнаружения изменений земель (например, обезлесения). Ниже показаны два образца продукции. Один использует общий масштаб (от 0,0 до 1,0), а другой использует настраиваемую цветовую карту для более четкого отображения различных классов земель. 

2013 год

2020г.

Нормализованный разностный вегетационный индекс (NDVI)

 Нормализованный индекс разницы растительности (NDVI) обычно используется для измерения «зелености» растительности. Различия можно использовать для оценки состояния сельского хозяйства и обнаружения изменений земель (например, обезлесения). Ниже показаны два образца продукции. Один использует общий масштаб (от 0,0 до 1,0), а другой использует настраиваемую цветовую карту для более четкого отображения различных классов земель.

Индексы EVI и SAVI Vegetation

 Расширенный индекс растительности (EVI) - это «оптимизированный» индекс растительности по сравнению с обычным NDVI, разработанный для усиления сигнала растительности с улучшенной чувствительностью в регионах с высокой биомассой и улучшенным мониторингом растительности за счет разделения фонового сигнала растительного покрова и уменьшения в атмосферных воздействиях. 

Индекс растительности с поправкой на почву (SAVI) аналогичен NDVI, но сводит к минимуму влияние яркости почвы с использованием длин волн красного и ближнего инфракрасного (NIR) диапазона. Обычно используется значение L = 0,5.

 Есть два выходных продукта. Первый выходной продукт представляет собой коробчатую диаграмму временного ряда NDVI с данными, распределенными по неделям, месяцам, неделям года или месяцам года. Второй выходной продукт - это линейный график среднего значения NDVI за каждый год во временном ряду, при этом данные могут быть разделены по неделям или месяцам. Этот продукт полезен для сравнения разных лет друг с другом.

Заключение

 С увеличением спутниковой группировки, доступность снимков существенно увеличивается.

В контексте градостроительного анализа, применение технологий “Дистанционного зондирования земли”, представляют огромный потенциал как уже существующих методов так и возможности для разработки новых методик. 

 OLAP (Online Analytical Processing) позволяет оперативно а фактический в режиме реального времени отслеживать различные процессы на исследуемых территориях и дает возможность сохранять эти данные, что в свою очередь позволят работать с временными рядами с совершенно другим качеством в градостроительном анализе, а расширяя с технологиями “Машинного обучения” и “Глубокого обучения нейросети” открывает фантастические возможности.

 Следующим этапом будет исследование технологий: Машинного обучения” и “Глубокого обучения нейросети” при анализе снимков ДЗЗ в контексте градостроительного анализа и планирования пешеходных пространств.

БИБЛИОГРАФИЯ

[1] - https://ru.wikipedia.org/wiki/OLAP

[2] -  https://www.openearthalliance.org/

[3] - https://medium.com/opendatacube/what-is-open-data-cube-805af60820d7

[4] - Крашенинников А.В., ISBN: 978-5-907228-53-5, Издательство: ООО Издательство «КУРС» Год: 2020

         “Когнитивная урбанистика: архетипы и прототипы городской среды”

[5] - https://github.com/vbaryshev/Urban-planning-and-spatial-analysis/blob/master/%22OLAP_%D0%BA%D1%83%D0%B1_(%D0%B2%D0%BE%D0%B4%D0%BD%D0%B0%D1%8F_%D0%BF%D0%BE%D0%B2%D0%B5%D1%80%D1%85%D0%BD%D0%BE%D1%81%D1%82%D1%8C)_%D0%B2_Google_Colab_ipynb%22%22.ipynb

[6] - https://colab.research.google.com/drive/1W6ghzVgTCVqQDa3cnz-eEferbKkAx6A7?usp=sharing

[5] - https://gis-lab.info/qa/ndvi.html

[6] - https://ghsl.jrc.ec.europa.eu/data.php#GHSLBasics

[7] - https://ghsl.jrc.ec.europa.eu/visualisation.php#