Comments 24
Один вопрос.
Как вообще пришла в голову идея использовать для этой цели LLM ? Просто при реальном наличии специализированных инструментов это кажется странным. Ну можно играть в хоккей кием от бильярда. Но клюшкой то сподручней.
Это не троллинг. Реально интересно
Второй абзац статьи авансом не отвечает на ваш вопрос?
Не совсем 😁
Это был чисто человеческий вопрос. Спросил как инженер инженера ;)
Ну вот к чему только уже не прикладывают LLMки. Но мне это даже рядом в голову не приходило чертежи цифровать.
Скажем, по работе (я аналитик), я порой скармливаю LLMкам схемы. Но в plantuml и прочем ".. As Code"
Хорошая статья. Было интересно :)
Ну, во-первых, тестирование на SOTA LLM показывает потенциал. Если результаты достаточно хорошие, то при дообучении моделей можно их значительно улучшить и получить качественный, очень недорогой инструмент для определенного круга задач.
Во-вторых, acetone.ai с помощью LLM удаляет фон с вашей картинки. Всю жизнь для этого использовались специализированные инструменты типа Photoshop. Почему вы запрещаете людям использовать этот бесплатный сервис, который в несколько кликов дает отличный результат, и заставляете покупать, изучать и использовать Photoshop?
Наши исследования строятся на запросах клиентов. В данном случае задача звучала так:
«Автоматизировать извлечение размеров и допусков с чертежей для формирования “Карт замеров”, используемых инспектором ОТК при приемке изделий».
Решение позволило сократить время ручного заполнения карт на ~80% за счет применения доступного и недорогого инструмента- LLM.
Ранее подобные задачи решались трудоемким тандемом Computer Vision и Deep Learning. Уже само название этого подхода подчеркивает его громоздкость и ресурсоемкость.
О каких специализированных инструментах речь?
Это функциональность CAD-систем. Ну или САПР если академически по-русски.
Наиболее на слуху - "AutoCAD" безусловно. Он правда сейчас официально недоступен.
Из 697-го реестра если брать, то "Компас" в качестве примера
Причём тут CAD системы, если на входе у нас есть только PDF или TIFF чертежи?
AutoCAD может как-то парсить PDFки?
Компас - точно может (мы тут не говорим о качестве выхода)
За AutoCad не буду утверждать, уже очень давно не использовал. Привёл в качестве известной CAD-системы
Компас просто в виде картинки может открыть такой чертёж. А что делать с древними чертежами разработанными на бумаге?
Компас может открыть изображение из PDF или TIFF формата и получить из него исходные данные (как это сделано в посте через LLM)? Только что посмотрел в их документацию - ничего подобного у них не заявлено.
С чего вы взяли что в каком-либо CAD продукте есть подобный функционал? Можете привести ссылку на документацию? Ни у AutoCAD, ни у Компас, ни у T-Flex такого в заявленном функционале я не встретил
Пересмотрел видео, с которого это взял. Я не прав. Там речь шла о сторонней утилите и перебросе в Компас.
А можете скинуть пожалуйста видео или название утилиты? Не праздный интерес. Реально решаю задачу вытаскивания информации из pdf,tiff чертежей. И если есть что-то круче LLM для этого - мне бы это реально помогло.
Заранее благодарю
Pdf формат хорошо открывает CorelDraw или Adobe Illustration. Если изначально pdf векторный и не закодирован то открывается без проблем. Если в pdf вставлен растровый рисунок или импортируется tif или jpg то все значительно сложнее. Текст тогда можно вытащить FineReader, графику с искажениями. Сильно зависит от качества исходника.
У меня есть предположение, что такой подход необходим для нормировки. Сам я технолог по ЧПУ, но по работе пересекаемся с нормировщиками. Им как раз надо считать количество размеров, их точность и в зависимости от этого назначать разряд работ и оплату труда
Ну спец инструменты дороговаты, а ллмка доступна. А так то да, чертеж штука довольно определенная, для того чтоб распарсить ее по ГОСТ - нейронки не нужны.
На АГР (архитектура) пересчитайте десятки отметок относительных + абсолютных по пдфке (другой формат не предусмотрен), вопрос отпадет сразу. Можно еще с ТЭПами и экспликациями поупражняться, а это минимум. А альбомов таких бывает надо 4-5 в день проверить
Тоже тестировал модели для своих целей генерации в медицинском контексте.
Вывод такой же - Gemini Pro вне конкуренции по качеству.
В своих целях искал "ту самую" модель, которая будет дешёвой, с большим контекстом, и не тупая. В результате остановился сначала на Gemini Flash. Для меня это самая оптимальная модель - и рассуждать может, и использовать инструменты, так ещё и доступ в интернет есть.
Пока что всё это подойдёт разве что для нормировщиков. Для обработки в CAM системах нужна точная модель в середину поля допуска, а тут модели их вообще сами додумывают
Вы абсолютно правы: для CAM-систем необходима модель строго в середине поля допуска, иначе возникают системные ошибки. Наш кейс решает другую задачу- автоматизацию формирования Карт замеров для контроля качества. Здесь важна не геометрия модели, а корректное извлечение размеров и допусков с чертежа. Поэтому LLM используется как инструмент ускорения процесса формирования документа, а не для CAM-подготовки.
Какая LLM лучше распознает чертежи? Мы сравнили 6 LLM и узнали ответ