Как стать автором
Обновить

ETL c ChatGPT заменит BIM и такие концепции, как openBIM и closedBIM

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров2.2K

? Как инструменты ChatGPT и реверсинжениринга для форматов CAD (BIM) заменят BIM и такие концепции, как openBIM и closedBIM?

? Ответ: с помощью методов ETL (ELT), которые давно и успешно используются во всех других отраслях (видео под постом).

Для разработки проектов в CAD‑программах самое важное — понять бизнес‑процессы, для которых они создаются. Эффективный проект требует четко сформулированных требований к данным, включая:

  • Сбор данных (Extract извлечение).

  • Создание и проверка требований (Transform преобразование)

  • Загрузка в необходимые системы или форматы (Load загрузка).

Этот процесс тесно связан с процедурами ETL (Extract, Transform, Load). Во всех других отраслях (кроме строительной) ETL‑процессы играют ключевую роль в обработке и анализе данных, что крайне важно для оптимизации бизнес‑процессов и принятия обоснованных решений.

ETL автоматизирует повторяющиеся задачи обработки данных для эффективного анализа и манипулирования данными
ETL автоматизирует повторяющиеся задачи обработки данных для эффективного анализа и манипулирования данными

Только в строительной отрасли из‑за закрытого характера баз данных программ CAD инженерам, работающим в строительной отрасли, поставщики САПР предлагают маркетинговое изобретение BIM — продавая доступ к базам данных программ САПР. Данные САПР (атрибуты и геометрические компоненты сущностей проекта) — это один из ключей ко многим бизнес‑кейсам. Не так давно эта информация (атрибутивная и геометрическая информация сущностей) из баз данных САПР была обзаначена специальным акронимом‑BIM. BIM‑методы от поставщиков САПР должны были заново изобрести процесс «сборки, визуализации, анализа и проверки данных», используя специализированные BIM‑методы и BIM‑инструменты.

Традиционный ручной или полу автоматизированный ETL процесс обработки данных, распространенный сегодня в строительной отрасли, предполагает наличие менеджера данных или руководителя проекта, который вручную управляет процессом и вручную создает отчеты и документы по нему. Такие традиционные методы обработки данных занимают значительное количество времени в условиях, когда рабочий день строго ограничен временными рамками с 9:00 до 17:00.

Традиционная ручная ETL обработка, ограниченна желаниями, возможностями отдельного технического специалиста
Традиционная ручная ETL обработка, ограниченна желаниями, возможностями
отдельного технического специалиста

? Теперь, благодаря инструментам реверсинжениринга, данные из CAD‑программ — это просто данные, которые ничем не отличаются от данных и форматов в других отраслях. Благодаря открытым данным (с полной атрибутивной и геометрической информацией о сущностях) из баз данных САПР, мы теперь можем рассматривать любой процесс на уровне открытых данных через призму методов ETL (ELT).

ChatGPT является чемпином среди инструментов ETL и он не работает с BIM. ChatGPT прекрасно работает с Pandas (8 миллионов загрузок в день).

Таким образом, если мы переносим CAD‑данные в Pandas DataFrame — мы устраняем необходимость использования BIM‑инструментов

⚡️ Библиотека Pandas и формат DataFrame, благодаря своей популярности и простоте использования, стали основными инструментами для обработки и автоматизации данных в ChatGPT (версии 2023–2024). ChatGPT считает использование Pandas и Python часто используемым по умолчанию при обработке запросов, связанных с проверкой, анализом и обработкой данных. Поэтому в запросах к данным, связанных с использованием Dataframes, ошибок не возникает.

⚙️ Процесс ETL с ChatGPT (внутри Pandas) — который происходит в каждом из тысяч отдельных бизнес‑кейсов любой компании — представлен в видео.

В автоматизированной версии того же рабочего процесса ETL общий процесс выглядит как модульный код, который начинается с обработки данных и перевода их в открытую структурированную форму. После получения структурированных данных автоматически, по расписанию, запускаются различные сценарии или модули для проверки изменений, преобразования и отправки сообщений. В автоматизированном рабочем процессе обработка данных упрощается за счет предварительной обработки данных ET(L): структурирования и унификации.

При традиционных методах обработки данных специалисты работают с данными «как они есть», которые извлекаются из систем или программного обеспечения. При автоматизации процессов данные с помощью ETL переводятся в структурированную, пригодную для использования форму перед обработкой.

Автоматический процесс, в отличие от традиционной ручной обработки, не ограничен желаниями и ограничениями человека
Автоматический процесс, в отличие от традиционной ручной обработки, не ограничен желаниями и ограничениями человека

?? Репост для коллеги, который устал от BIM и готов узнать об открытых данных из CAD‑программ и ETL‑процессах.

? Книга «DataDrivenConstruction. Навигация в эпоху данных в строительной отрасли»

Теги:
Хабы:
Всего голосов 4: ↑1 и ↓30
Комментарии12

Публикации

Истории

Работа

Data Scientist
84 вакансии

Ближайшие события