Внедрение промышленных роботов в процессы сортировки и манипулирования объектов открывает новые горизонты для повышения эффективности и автоматизации производственных линий. Однако, несмотря на очевидные преимущества роботизированных систем, существуют задачи, требующие решения специфических проблем.
Наблюдения показали, что в современной робототехнике существует проблема сортировки объектов, хаотично расположенных в рабочей зоне манипулятора. Один объект может полностью или частично закрывать другой, и тогда роботу будет сложно захватить нужный объект, не затронув другие или не повредив захватное устройство.
Для решения этой проблемы применяются интеллектуальные алгоритмы, основанные на компьютерном зрении, которые могли бы о��ределять положение и ориентацию объектов. Первый этапом при решении этой проблемы является поиск нужных объектов в видеопотоке.
Никита Белов, старший преподаватель кафедры ИСУиА МТУСИ, предложил алгоритм, основанный на нейронной сети и RGB-D сенсоре, позволяющий определить объект захвата в технологическом процессе сортировки объектов с применением промышленного манипулятора.
«В ходе эксперимента использовался робот-манипулятор KUKA KR4 R600. Для достижения высокой точности определения объектов применялись нейросетевой алгоритм YOLOv8 и камера Intel RealSense D415i, которая использовалась для определения расстояния до объекта по вертикальной оси. Далее производится выделения контуров распознанных объектов на чёрно-белых изображениях с помощью метода FindContours. Одним из важнейших этапов работы алгоритма стал расчёт индекса Жаккара, который позволил выявить перекрывающиеся ограничивающие рамки распознанных объектов. В результате получается массив данных, который включал все пересекающиеся объекты и отклонения их отношений периметра к площади от эталонных значений», — пояснил Никита Белов.
В ходе исследования обнаружено, что при определении объекта только по расстоянию по оси Z, которое вычисляется с помощью RGB-D сенсора Intel RealSense D415i, есть вероятность неправильного выбора из-за перекрытия объектов. Для решения этой проблемы учитывалось взаимное перекрытие объектов. В случае нахождения пересечения выбирается объект, соотношение периметра к площади которого имеет наименьшее отклонение от эталонного значения.
Созданный алгоритм показал отличные результаты в точности и выборе наилучшего объекта захвата при сортировке в условиях хаотичного расположения объектов в накопителе и частичного или полного их перекрытия для захвата роботом-манипулятором без повреждения фланца манипулятора или захватного устройства.
Полученные результаты демонстрируют, что интеграция нейронных технологий в робототехнику открывает новые перспективы для автоматизации процессов, обеспечивая более высокую эффективность и качество работы производственных систем.
Дальнейшие исследования в этом направлении позволят открыть новые возможности для робототехники и автоматизации, делая эти технологии ещё более совершенными и надёжными.