? Как инструменты ChatGPT и реверсинжениринга для форматов CAD (BIM) заменят BIM и такие концепции, как openBIM и closedBIM?
? Ответ: с помощью методов ETL (ELT), которые давно и успешно используются во всех других отраслях (видео под постом).
Для разработки проектов в CAD‑программах самое важное — понять бизнес‑процессы, для которых они создаются. Эффективный проект требует четко сформулированных требований к данным, включая:
Сбор данных (Extract извлечение).
Создание и проверка требований (Transform преобразование)
Загрузка в необходимые системы или форматы (Load загрузка).
Этот процесс тесно связан с процедурами ETL (Extract, Transform, Load). Во всех других отраслях (кроме строительной) ETL‑процессы играют ключевую роль в обработке и анализе данных, что крайне важно для оптимизации бизнес‑процессов и принятия обоснованных решений.
![ETL автоматизирует повторяющиеся задачи обработки данных для эффективного анализа и манипулирования данными ETL автоматизирует повторяющиеся задачи обработки данных для эффективного анализа и манипулирования данными](https://habrastorage.org/getpro/habr/upload_files/383/83d/dcc/38383ddcce59b59a7fffb2b5a75ce2a7.jpg)
Только в строительной отрасли из‑за закрытого характера баз данных программ CAD инженерам, работающим в строительной отрасли, поставщики САПР предлагают маркетинговое изобретение BIM — продавая доступ к базам данных программ САПР. Данные САПР (атрибуты и геометрические компоненты сущностей проекта) — это один из ключей ко многим бизнес‑кейсам. Не так давно эта информация (атрибутивная и геометрическая информация сущностей) из баз данных САПР была обзаначена специальным акронимом‑BIM. BIM‑методы от поставщиков САПР должны были заново изобрести процесс «сборки, визуализации, анализа и проверки данных», используя специализированные BIM‑методы и BIM‑инструменты.
Традиционный ручной или полу автоматизированный ETL процесс обработки данных, распространенный сегодня в строительной отрасли, предполагает наличие менеджера данных или руководителя проекта, который вручную управляет процессом и вручную создает отчеты и документы по нему. Такие традиционные методы обработки данных занимают значительное количество времени в условиях, когда рабочий день строго ограничен временными рамками с 9:00 до 17:00.
![Традиционная ручная ETL обработка, ограниченна желаниями, возможностями отдельного технического специалиста Традиционная ручная ETL обработка, ограниченна желаниями, возможностями отдельного технического специалиста](https://habrastorage.org/getpro/habr/upload_files/fd6/b39/5cb/fd6b395cb834235bd5a4fc030b35e8f2.jpg)
отдельного технического специалиста
? Теперь, благодаря инструментам реверсинжениринга, данные из CAD‑программ — это просто данные, которые ничем не отличаются от данных и форматов в других отраслях. Благодаря открытым данным (с полной атрибутивной и геометрической информацией о сущностях) из баз данных САПР, мы теперь можем рассматривать любой процесс на уровне открытых данных через призму методов ETL (ELT).
ChatGPT является чемпином среди инструментов ETL и он не работает с BIM. ChatGPT прекрасно работает с Pandas (8 миллионов загрузок в день).
Таким образом, если мы переносим CAD‑данные в Pandas DataFrame — мы устраняем необходимость использования BIM‑инструментов
⚡️ Библиотека Pandas и формат DataFrame, благодаря своей популярности и простоте использования, стали основными инструментами для обработки и автоматизации данных в ChatGPT (версии 2023–2024). ChatGPT считает использование Pandas и Python часто используемым по умолчанию при обработке запросов, связанных с проверкой, анализом и обработкой данных. Поэтому в запросах к данным, связанных с использованием Dataframes, ошибок не возникает.
⚙️ Процесс ETL с ChatGPT (внутри Pandas) — который происходит в каждом из тысяч отдельных бизнес‑кейсов любой компании — представлен в видео.
В автоматизированной версии того же рабочего процесса ETL общий процесс выглядит как модульный код, который начинается с обработки данных и перевода их в открытую структурированную форму. После получения структурированных данных автоматически, по расписанию, запускаются различные сценарии или модули для проверки изменений, преобразования и отправки сообщений. В автоматизированном рабочем процессе обработка данных упрощается за счет предварительной обработки данных ET(L): структурирования и унификации.
При традиционных методах обработки данных специалисты работают с данными «как они есть», которые извлекаются из систем или программного обеспечения. При автоматизации процессов данные с помощью ETL переводятся в структурированную, пригодную для использования форму перед обработкой.
![Автоматический процесс, в отличие от традиционной ручной обработки, не ограничен желаниями и ограничениями человека Автоматический процесс, в отличие от традиционной ручной обработки, не ограничен желаниями и ограничениями человека](https://habrastorage.org/getpro/habr/upload_files/f3b/4f8/f57/f3b4f8f5791f17bdc8b0cd319899138d.jpg)
?? Репост для коллеги, который устал от BIM и готов узнать об открытых данных из CAD‑программ и ETL‑процессах.
? Книга «DataDrivenConstruction. Навигация в эпоху данных в строительной отрасли»