Научить AI понимать строительный объект

[ToxaBes]

Я понимаю что вы не ML-инженер, а BIM-щик, поэтому отнеситесь к комментарию как конструктивной критике и к вектору куда дальше развивать систему.

Вы назвали статью:

НАУЧИТЬ AI ПОНИМАТЬ СТРОИТЕЛЬНЫЙ ОБЪЕКТ

но в ней перечислено все кроме собственно обучения AI понимать строительный обьект.

Вы строите систему вокруг текстовых метаданных, векторного поиска (Bi-Encoder + Cross-Encoder) и графов знаний (RDF/SPARQL/SHACL).

Это все хорошо и правильно (я серьезно), но это лишь половина подхода. Вторую половину, которая относится именно к обучению AI пониманию строительного обьекта вы не затрагиваете вообще.

Из-за этого в описанных вами подходах появляются проблемки и ограничения:

На втором этапе можно использовать модель Cross-Encoder. Она получает сразу два текста: описание элемента и описание одного из найденных классов.

Они плохо работают с числовыми диапазонами, геометрическими допусками и физикой. "панель толщиной 120 мм" и "панель толщиной 300 мм" для энкодера почти идентичны, а инженерно это перегородка и несущая стена.

Граф знаний проекта представляет сущности и содержательные отношения между ними.

Который создается вручную. Автоматически его не заполнить, ведь в реальных BIM-моделях (особенно на ранних стадиях или при импорте) стыки не моделируются как отдельные сущности, а примыкания часто сделаны с зазорами или коллизиями.

Не буду дальше раскидывать по абзацам остальные недочеты, лучше сформулирую главный недостаток вашей и подобных систем:

Вы строите систему только вокруг текстовой модели (LLM). Но самые важные данные у вас не текстовые.

В итоге получится лоскутная автоматизация с кучей ручной работы.

Вашей системе не хватает ансамбля обученных GNN (с RANSAC) и 3D U-Net моделей понимающих обьект напрямую по форме, пропорциям и сетке полигонов (вплоть до понимания облака точек).

Но в этом нет вашей вины (судя по всему у вас нет ML-инженера в команде). Скорее всего вы даже и не подозревали о том что такое возможно сделать, ведь в открытом доступе готовых таких моделей нет, они создаются и обучаются под проект (и не каждый ML-Инженер возьмется за такое).

В любом случае первая половина системы описана грамотно, поэтому лайк и спасибо за статью.