Извлечение параметров из 2D-чертежей: 6 YOLO-моделей, кастомный OCR и стрелочная логика

[blackyblack]

Я делаю кое что похожее. :)

PaddleOCR из коробки умеет детектить повернутый текст - по-моему зря вы его вращаете. Еще у меня он плохо детектил на стандартном разрешении, приходится масштабировать до 600 dpi. Но есть проблема, как правильно определить нужный масштаб и долгое время обработки на высоком разрешении.

Для YOLO моделей вы файн тюнинг делали? Датасеты вручную размечали?

[NeuroKirKorov]

Добрый день! На примерах часто PaddleOCR/EasyOCR и другие плохо работают с большим размером файлов. Чертежи часто это большая страница с многими мелкими текстами. Поэтому, чтобы достигать большой точности, мы помогаем OCR.

Мы под домен чертежей с его спецификой разметили сами и дообучили легкую yolo модель, она идеально находит текст, а далее ocr ее понимает. Более того, чтобы достигать большей точности мы дообучали сам OCR на разметке, потому что он часто ошибался.

[OK_DK]

Привет, Автор статьи. Занимаюсь тем же самым уже года 3 минимум.Слежу за вашим проектом с начала запуска. Многие вещи делаете правильно. У нас не совсем такая задача как у вас мы ищем только макс размеры и отстраиваем иерархию проекта. Подскажите удалось ли найти способ поиска трех габаритных размеров если деталь корпусная прямоугольная видов на чертеже больше 5 и материал задан хим. составом (сталь 45, 40х или прочие)? У вас большая команда?

[NeuroKirKorov]

Приветствую! Способ есть, но у нас не сработал. В нашем случае для решения бизнес-задачи подошло, когда система просто берет максимальный размер вдоль каждой оси. С 5-ю видами ломается предположение о том, что проекции взаимно перпендикулярны. Другая проблема: от чертежа к чертежу габариты разбросаны по-разному: где-то в таблицы, где-то один размер - на главном виде, где-то - на разрезе и т п

[red_cell]

А технические требования не обрабатываются?

Там может быть информации о термообработке или покрытии деталей, что может существенно изменить техпроцесс.

[NeuroKirKorov]

Технические требования сейчас не обрабатываются. Они действительно меняют техпроцесс и цену, закалка или гальваническое покрытие могут удорожить деталь в 2-3 раза. Проблема: требования разбросаны по чертежу (основная надпись, отдельные таблицы, сокращения), часто мелким шрифтом и на плохих сканах. Плюс нужно понимать, к каким именно поверхностям они привязаны. На данный момент приоритет был в самих параметрах деталей.

[avsolovyev]

Спасибо, очень интересное направление и разработка)

[akardapolov]

Детекция разбита на шесть специализированных YOLO

• Через что разметку делали (LM Studio)?

• Подключали ли авто-разметку через LLM?

• Получается для каждого типа графических объектов (слоя?) обучали YOLO модель (какая версия и размер используется в production, если не секрет)?

[NeuroKirKorov]

Разметку делали в CVAT, не через LM Studio. Авто-разметку через LLM не подключали - всё руками.

Да, для каждого типа графических объектов обучали отдельную YOLO модель. По версиям и размерам - это NDA, не могу раскрыть. Схема простая: каждый слой (проекции, размеры, оси, шероховатости, сечения, стрелки) -своя модель