Pull to refresh
30
3
Артём Бойко @ArtemBoiko

Founder of DataDrivenConstruction.io

Send message

ETL c ChatGPT заменит BIM и такие концепции, как openBIM и closedBIM

Level of difficulty Easy
Reading time 4 min
Views 1.8K

🔮 Как инструменты ChatGPT и реверсинжениринга для форматов CAD (BIM) заменят BIM и такие концепции, как openBIM и closedBIM?

📊 Ответ: с помощью методов ETL (ELT), которые давно и успешно используются во всех других отраслях (видео под постом).

Для разработки проектов в CAD‑программах самое важное — понять бизнес‑процессы, для которых они создаются. Эффективный проект требует четко сформулированных требований к данным, включая:

— Сбор данных (Extract извлечение).
— Создание и проверка требований (Transform преобразование)
— Загрузка в необходимые системы или форматы (Load загрузка)

Этот процесс тесно связан с процедурами ETL (Extract, Transform, Load). Во всех других отраслях (кроме строительной) ETL‑процессы играют ключевую роль в обработке и анализе данных, что крайне важно для оптимизации бизнес‑процессов и принятия обоснованных решений.

Читать далее
Total votes 6: ↑3 and ↓3 0
Comments 8

Полуструктурированные данные в Аналитических Хранилищах

Reading time 9 min
Views 3.2K

Привет! На связи Артемий – Analytics Engineer @ Wheely.

В последние годы явным стал тренд на анализ слабоструктурированных данных – всевозможных событий, логов, API-выгрузок, реплик schemaless баз данных. Но для привычной реляционной модели это требует адаптации ряда новых подходов к работе с данными, о которых я и попробую рассказать сегодня.

В публикации:

- Преимущества гибкой схемы и semi-structured data

- Источники таких данных: Events, Logs, API

- Подходы к обработке: Special Data Types, Functions, Data Lakehouse

- Принципы оптимизации производительности

Читать далее
Total votes 9: ↑7 and ↓2 +5
Comments 0

n8n. Автоматизация ИБ со вкусом смузи

Reading time 13 min
Views 23K
Всем давно очевидна польза тотальной автоматизации, в том числе, и в области информационной безопасности. В условиях большого кадрового дефицита как никогда актуальна идея снятия рутинной рабочей нагрузки как со специалиста по информационной безопасности, так и со специалистов в других областях. 

В компаниях, где отлажены процессы ИБ, а также в центрах реагирования и мониторинга используется ПО, позволяющее автоматизировать принятия решений по возникающим инцидентам, но даже при этом многим до сих пор приходится писать скрипты для автоматизации рутинных операций. Что делать, если автоматизировать рутину вам хочется, но не хочется покупать дорогостоящее специализированное решение, разбираться с ним и потом долго настраивать его под свои нужды? А еще больше не хочется изобретать велосипед со скриптами и делать нечто свое, попутно изучая программирование и работу с БД? 

Источник

TL;DR: Telegram, REST API, Shodan, DNS-over-HTTPS. Пишем бота в Telegram  для парсинга инфы с shodan и поиска эксплойтов на exploit-db. Находим баг в работе n8n. 

Ответ есть – добро пожаловать во фронтенд со смузи и гироскутерами
Читать дальше →
Total votes 31: ↑31 and ↓0 +31
Comments 0

Исследование RedHat: open source вытесняет проприетарное ПО из корпоративного сегмента

Reading time 4 min
Views 9.1K
Опенсорсное программное обеспечение медленно, но уверенно завоевывает корпоративный сегмент, о чем говорит исследование команды RedHat (PDF). Компания провела опрос среди 950 руководителей IT-компаний по всему миру. Из них 400 человек работают в США, 250 — в странах Латинской Америки, 150 — в Великобритании, еще 150 — в англоязычных компаниях Азиатско-Тихоокеанского региона. По результатам опроса RedHat пришла к выводу: открытое ПО вытесняет проприетарные решения с их исторического рынка — из Enterprise-сегмента.

Вот как оценили важность открытого ПО руководители в рамках проведенного исследования:



К слову, цифры понимания важности открытого программного обеспечения из года в год только растут: в 2019 году, в рамках такого же опроса, важным или очень важным развитие open source назвали 89% респондентов, то есть прирост составляет 6% в год.
Читать дальше →
Total votes 24: ↑22 and ↓2 +20
Comments 6

Войны лоббистов и развитие BIM. Часть 5: BlackRock — хозяин всех технологий. Как корпорации контролируют Open source

Reading time 26 min
Views 25K

Технологические гиганты при помощи денег инвестиционных фондов контролируют всё большую часть новых разработчиков и продуктов, перекрывая тем самым путь для новых программ и новых технологий в строительной отрасли. 

Сегодняшние лидеры САПР-индустрии: Autodesk, Hexagon, Nemetschek, Bentley, Trimble - хорошо готовятся к будущим угрозам: стандартной тактикой больших корпораций стал агрессивный захват новых рынков и поглощение возможных конкурентов на ранних стадиях развития. 

В результате вся САПР-индустрия стала похожа на олигополию, в которой доминирует группа из нескольких компаний. И их положение на вершине становится всё более непоколебимым.

Читать далее
Total votes 20: ↑19 and ↓1 +18
Comments 34

Пристрастные заметки о русских разработчиках САПР

Reading time 11 min
Views 41K
Один из сооснователей ЗАО Нанософт, Дмитрий Попов, написал в facebook заметку из серии «САПР в России»… Понятно, что пристрастно, не претендуя на историческую точность. Но нам показалось, что интересно и вполне подойдет для Хабра под пятничное настроение: кто-то узнает что-то новое, кто-то – вспомнит, а кто-то поймет, что не Боги горшки обжигают. Делимся заметкой в режиме «как есть»…



От автора

Какое-то время назад меня попросили написать про САПР в России для одного независимого портала, но природная лень и то, что эта задача с низким приоритетом, привели к тому, что за несколько месяцев не было написано ни одной строчки. То, что вы читаете, это совсем не изложение фактов, скорее это очень субъективные, с некоторой долей вымысла, воспоминания и размышления. Возможно с легким прохановским послевкусием.
Читать дальше →
Total votes 78: ↑72 and ↓6 +66
Comments 19

Хайповые строительные сектора и стоимость работ в Большом городе. Инфляция и рост чека в Сан-Франциско

Reading time 11 min
Views 2.3K
Сан-Франциско — технологическая «Москва» нашего мира, на примере которого (при помощи открытых данных) можно наблюдать за развитием строительной отрасли в больших городах и столицах. В этом технологичном городе очень выраженно проходили экономические циклы, которые в разные временные промежутки, давали взрывной рост спроса разным секторам недвижимости.

Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последние тенденции и историю развития строительных секторов и спроса на недвижимость за последние 30 лет.

В прошлой статье была рассмотрена общая годовая сумма строительных объемов (инвестиций) в Сан-Франциско в период с 1980 по 2018 год. По разнице между ожидаемой (сметной) и фактической (пересмотренной) стоимостью строительства отслеживались движения настроений инвесторов в периоды экономических бумов и кризисов в регионе.

Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности



В данной статье рассмотрим подробнее отдельные отрасли строительства: ремонт крыш, кухонь, лестниц и ванных комнат. После этого сравним инфляцию по отдельным типам работ с данными по официальной инфляции и другими экономическими показателями.
Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Comments 4

Практические приемы использования многопоточных вычислений при работе с Revit API

Reading time 9 min
Views 10K
Я архитектор, долгое время проектировал здания и сооружения, но вот с лета прошлого года начал программировать на C# используя Revit API. У меня уже есть несколько модулей-надстроек для Revit и теперь я хочу поделиться некоторым опытом разработки для Revit. Предполагается, что читатели умеют писать макросы для Revit на C#.

Недавно исследуя многопоточные вычисления пришел к некоторым неожиданным для себя выводам и избавился от заблуждений связанных с работой Revit API. В этой статье я напишу как ускорить работу макросов в несколько раз, какие ограничения при работе с параллельными вычислениями у Revit API, что бы наконец не оставалось вопросов.
Читать дальше →
Total votes 10: ↑10 and ↓0 +10
Comments 2

Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности

Reading time 13 min
Views 2.3K
Это серия статей посвящена исследованию строительной активности главного города Кремниевой Долины — Сан-Франциско. Сан-Франциско — технологическая «Москва» нашего мира, на примере которого (при помощи открытых данных) можно наблюдать за развитием строительной отрасли в больших городах и столицах.

Построение графиков и расчётов проводилось в Jupyter Notebook (на платформе Kaggle.com).

Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последнии тенденции и историю развития строительной отрасли за последние 40 лет, в период с 1980 по 2019 год.

Открытые данные дают возможность исследовать основные факторы, которые влияли и будут влиять на развитие строительной отрасли в городе, разделив их на “внешние” (экономические бумы и кризисы) и “внутренние” (влияние праздников и сезонно-годовых циклов).
Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Comments 14

Строительный сектор вымирает. Кризис COVID-19, растущие проблемы и новые возможности

Reading time 8 min
Views 21K
Строительная отрасль — огромна, «устойчива», стара как мир, и потребляет до 10% всех используемых в мире денег. В среднем можно считать, что каждый десятый трудоспособный человек в мире так или иначе связан со строительной отраслью. Строительная отрасль отчасти является драйвером экономики, на ней завязано много внутренних процессов. И хотя строительный сектор скорее подстраивается, чем влияет на развитие нашей жизни — вклад этой отрасли в развитие общественных процессов нельзя недооценивать.

С 2000 года в строительной отрасли во всем мире наблюдается устойчивая тенденция к сокращению числа занятых в строительстве и кризис 2008 года особенно сильно ударив по строительному сектору, усилил отток специалистов из отрасли.

  • Куда же движется строительный сектор сейчас?
  • Сколько людей после кризиса 2020 года покинут строительную отрасль?
  • Куда двигаться Data Analysts и разработчикам после того как большинство процессов в финансовой и машиностроительной отрасли будут автоматизированы?


Содержание:




Кризис строительной отрасли в Европе


Строительная отрасль остается одним из наиболее важных секторов экономики в Европе, представляя около 10% ВВП и 50,5% валового накопления основного капитала, обеспечивая 20 миллионов прямых рабочих мест только в ЕС.

Кризис 2008 года сильно ударил по строительной отрасли Европы. Греция пострадала больше всех и потеряла 80% своей строительной промышленности в период с 2010 по 2013 годы. В остальных странах ЕС произошел внезапный спад производства — от -54,4% в Литве в 2009 году до почти стабильных уровней активности в Германии и Австрии.
Кризисы сглаживают всплеск активности в докризисные годы.

Читать дальше →
Total votes 12: ↑7 and ↓5 +2
Comments 46

Можно ли заработать больше, работая инженером, в другой стране?

Reading time 6 min
Views 43K

Содержание:


Как можно сейчас сравнивать страны по стоимости жизни?
Про паритет покупательной способности
Почему BIM (инженеры и координаторы)
Вывод 1. Разное брутто — равное нетто
Вывод 2. Чем меньше брутто, тем больше m²
Откуда брались данные
Методология расчета показателей ППС

Довольно часто в разговоре с людьми из других стран мы начинаем сравнивать уровни заработной платы. Хотя валовой доход может существенно отличаться, покупательная способность, скорее всего, останется примерно на одном уровне, что особенно очевидно на рынке недвижимости.
Действительно ли трава «зеленее» — на той, другой стороне?
Читать дальше →
Total votes 81: ↑64 and ↓17 +47
Comments 484

Information

Rating
895-th
Location
Karlsruhe, Baden-Württemberg, Германия
Date of birth
Registered
Activity