По конвейеру в Цехе горячего проката едут стальные рулоны весом от 10 до 36 тонн. Только так их можно транспортировать из цеха для дальнейшей обработки или отгрузки. Процесс такой: горячекатаный рулон сматывается, затем снимателем убирается с барабана моталки и передается на отводящий конвейер. Это занимает 2-3 минуты времени. Однако если конвейер вдруг останавливается, то куда девать смотанные рулоны? Просто горой у моталки не сложить и руками не отодвинуть (напоминаем, что это от 10 тонн и производство у нас непрерывное 24/7).
Рулончики на конвейере
В результате из-за одного конвейера всё (просто совсем всё) может пойти не так: встанут несколько предыдущих этапов производства, таких как Стан 200 и газовые печи, которые разогревают слябы перед подачей и выше по цепочке… В общем, критическая важность бесперебойной работы конвейера очевидна. Поэтому мы придумали систему слежения за исправностью конвейера.
Конвейер состоит из звеньев. Они крепятся между собой осями. Оси фиксируются ригелем, который в свою очередь крепится болтами. В результате важно отслеживать состояние множества элементов, ключевыми из которых являются: ось, болты, ригель — его наличие и смещение (критическое не критическое, насколько смещение).
Наглядно:
Элементы звена для контроля
Длина конвейера составляет больше 200 звеньев, протяженностью 60 метров. В процессе непрерывной эксплуатации ригели смещаются, болты выпадают под воздействием тяжести рулонов. Пропускание критических изменений в конструкции может повлечь дорогостоящую остановку производства из-за растяжки или порыва конвейерной цепи, траты времени на заказ необходимых деталей и проведение незапланированных ремонтных работ. Осмотр оборудования проводится ежедневно, однако не все элементы доступны для визуального осмотра. Более того, для полного детального осмотра всего конвейера придется потратить до 3-х часов.
Мы выбрали стратегию «предупрежден — значит вооружен». После анализа потенциальных выгод от внедрения инновации на НЛМК в Липецке был внедрен цифровой видеоналитический контроль состояния конвейера на основе отечественного ПО от «ВидеоМатрикс» Vmx Dequs.
Решение отличается лаконичностью — всего две камеры по бокам конвейера последовательно отслеживают состояние ключевых узлов во время полного цикла прохождения звеньев перед цифровым оком. ИИ находит в кадре ось, а дальше уже делает замеры и анализирует: вот тут должно быть болты. Есть? Есть. Едем дальше. А вот тут ригель. Есть? Так и запишем.
Работа системы наглядно. Нарушение: нет правого болта
Система рисует красочный график состояния каждого звена отдельно. По цветовой дифференциации штанов иконок оператор получает информацию:
Отслеживая боевую раскраску конвейера на экране, можно заранее заказать необходимые запасные детали со склада и быть готовым к проведению ремонта в нужное время и с необходимыми материалами.
Так выглядит карта состояния конвейера по результатам осмотра в интерфейсе оператора
Казалось бы — все просто, что может приключиться в процессе реализации? Но приключение затянулось.
Чтобы ИИ понимал, что вновь встречает одно и то же звено, мог безошибочно его идентифицировать, разработчики Vmx Dequs попросили расставить маркеры. Маркерами должны были выступать цифры. Чтобы повысить надежность работы системы, желательно соблюсти уникальное количество звеньев между маркерами.
Изначально решили нанести маркеры краской и добавили освещение прожекторами в цехе для лучшей видимости. Однако конструктивные особенности конвейера внесли свои коррективы. Проходя по низу, конвейер окунается в охлаждающую масляную ванну. В масле краска быстро уходила по-английски, оставляя ПО в замешательстве.
Первая версия нумерации и она же через некоторое время эксплуатации. Да, на второй картинке тоже есть цифра, присмотритесь!
Обновлять хотя бы раз в месяц краску производственники не согласились. С краской идея не прошла. Пришлось импровизировать и прикрепить… объемные цифры на сварку. Ушел запрос в цех на вырезку новых цифр. Нехитрое дело заняло три месяца. Но и на этом еще не все! Мало вырезать цифры — их еще и наварить надо, а задача оказалась посложнее программирования.
Вторая версия цифр: более рельефные, лучше видно. А с зеркальностью система «и так поймет».
Это заняло еще… месяц. Тут вспоминаем кучу мемов про важность точного ТЗ. Цифры наварили. Но, во-первых. не только на внешней стороне, но иногда и на внутренней, в тени, глубоко. Система справилась и с этим.
Слева — цифра наварена на внешней части цепи, корректно; справа — наварена в глубине, на внутренней части.
Пример распознавания Системой наваренной внутри цифры
Во-вторых, каково было изумление Декуса, а следом и тестировщиков, когда система обнаружила в работе странность. В эфире попадались две 6-ки. Раз сделали запасные цифры, чего добру пропадать, видимо, решили коллеги и наварили два одинаковых знака на одной линии. Тут и пригодилось то самое уникально рассчитанное число звеньев между маркерами.
Две наваренные шестерки на одной линии (стороне) конвейера
Следующая сложность оказалась в том, чтобы научить искусственный интеллект понимать по картинке, есть ли движение конвейера в кадре. Стоящий на конвейере рулон перекрывает камере вид на звено под ним, а то и 2-3 звена. Это усложняет подсчет между маркерами. А конвейер действует итеративно, может двигаться пошагово, может стоять. Здесь пришлось применить уже математические алгоритм, добавление дополнительных цифр-маркеров и человеческую смекалку.
Со слов специалиста «ВидеоМатрикс», решением стал расчёт оптического потока между кадрами. То есть смотрели, насколько кадр сдвинулся относительного предыдущего, потом — следующий относительно текущего и т.д. По сумме этих сдвигов и строили предположение о количестве пропущенных звеньев. Для точности был поставлен верхний порог, так как рулон больше трёх звеньев перекрыть не мог. А если и мог — не так страшно, на следующем проходе скорректируем — результаты в системе подтверждаются, только когда разница между маркерами совпадает с эталонной. Еще одна польза уникального числа звеньев между маркерами.
Рулон в кадре перекрывает звенья
Изначально возникла сложность с размещением камер близко к конвейеру из-за высокой температуры в этой зоне. Нами были использованы PTZ-камеры — 4Мп уличные скоростные поворотные IP-камеры с ИК-подсветкой до 150 метров, 25х оптическим и 16х цифровым зумом. Чтобы оборудование выдерживало рабочий накал, камеры были установлены на расстоянии около 15 метров от конвейера. Благодаря зуму удалось получать качественные снимки для детального анализа. В процессе эксплуатации одна из камер вышла из строя. Оперативно заменить возможности не было. В итоге использовали другую уже установленную камеру, которая стояла под некоторым углом, а не перпендикулярно, как задумано разработчиками. В результате картинка превратилась из ровной горизонтальной в стремящуюся в диагональ.
Преимущества умной видеоаналитики и смекалки в том, что при их синергетическом объединении можно научить Vmx Dequs предобработке видео — перед анализом система сама «выравнивала” перспективу. Выглядит это так:
Исходный кадр и предобработанное с точки зрения перспективы видео с измененного ракурса для анализа состояния узла видеоаналитикой
В итоге у нас есть работающий инструмент для автоматического контроля конвейера и решения множества потенциальных проблем «на подлёте». Система машинного зрения Vmx-системы проводит более 7000 измерений ежедневно с точностью более 99%. Высокий показатель точности обеспечивается синергей нейронных сетей и математических алгоритмов. ПО анализирует состояние ключевых узлов, звеньев и наличие необходимых деталей. При обнаружении отклонений Vmx Dequs автоматически отправляет сообщения на электронную почту ремонтному персоналу. На экране оператора состояние звеньев отображается цветовыми обозначениями, есть скриншоты с обнаруженными проблемами, а общая карта конвейера представлена цветовой мнемосхемой. Помимо анализа текущей картины система также отслеживает историю изменений состояния узлов, что позволяет анализировать ситуацию и предпринимать меры предотвращения проблем заранее.
Рулончики на конвейере
В результате из-за одного конвейера всё (просто совсем всё) может пойти не так: встанут несколько предыдущих этапов производства, таких как Стан 200 и газовые печи, которые разогревают слябы перед подачей и выше по цепочке… В общем, критическая важность бесперебойной работы конвейера очевидна. Поэтому мы придумали систему слежения за исправностью конвейера.
Исходная идея
Конвейер состоит из звеньев. Они крепятся между собой осями. Оси фиксируются ригелем, который в свою очередь крепится болтами. В результате важно отслеживать состояние множества элементов, ключевыми из которых являются: ось, болты, ригель — его наличие и смещение (критическое не критическое, насколько смещение).
Наглядно:
Элементы звена для контроля
Длина конвейера составляет больше 200 звеньев, протяженностью 60 метров. В процессе непрерывной эксплуатации ригели смещаются, болты выпадают под воздействием тяжести рулонов. Пропускание критических изменений в конструкции может повлечь дорогостоящую остановку производства из-за растяжки или порыва конвейерной цепи, траты времени на заказ необходимых деталей и проведение незапланированных ремонтных работ. Осмотр оборудования проводится ежедневно, однако не все элементы доступны для визуального осмотра. Более того, для полного детального осмотра всего конвейера придется потратить до 3-х часов.
Мы выбрали стратегию «предупрежден — значит вооружен». После анализа потенциальных выгод от внедрения инновации на НЛМК в Липецке был внедрен цифровой видеоналитический контроль состояния конвейера на основе отечественного ПО от «ВидеоМатрикс» Vmx Dequs.
Решение отличается лаконичностью — всего две камеры по бокам конвейера последовательно отслеживают состояние ключевых узлов во время полного цикла прохождения звеньев перед цифровым оком. ИИ находит в кадре ось, а дальше уже делает замеры и анализирует: вот тут должно быть болты. Есть? Есть. Едем дальше. А вот тут ригель. Есть? Так и запишем.
Работа системы наглядно. Нарушение: нет правого болта
Система рисует красочный график состояния каждого звена отдельно. По цветовой дифференциации штанов иконок оператор получает информацию:
- серый — нет данных по звену или включено принудительное игнорирование контроля,
- зеленый — все хорошо,
- желтый — есть небольшие нарушения, но пока не критичные,
- красный — критичные отклонения, требуют внимание во время ближайших ремонтных производственных работах.
Отслеживая боевую раскраску конвейера на экране, можно заранее заказать необходимые запасные детали со склада и быть готовым к проведению ремонта в нужное время и с необходимыми материалами.
Так выглядит карта состояния конвейера по результатам осмотра в интерфейсе оператора
Казалось бы — все просто, что может приключиться в процессе реализации? Но приключение затянулось.
Конвейерная арифметика
Чтобы ИИ понимал, что вновь встречает одно и то же звено, мог безошибочно его идентифицировать, разработчики Vmx Dequs попросили расставить маркеры. Маркерами должны были выступать цифры. Чтобы повысить надежность работы системы, желательно соблюсти уникальное количество звеньев между маркерами.
Изначально решили нанести маркеры краской и добавили освещение прожекторами в цехе для лучшей видимости. Однако конструктивные особенности конвейера внесли свои коррективы. Проходя по низу, конвейер окунается в охлаждающую масляную ванну. В масле краска быстро уходила по-английски, оставляя ПО в замешательстве.
Первая версия нумерации и она же через некоторое время эксплуатации. Да, на второй картинке тоже есть цифра, присмотритесь!
Обновлять хотя бы раз в месяц краску производственники не согласились. С краской идея не прошла. Пришлось импровизировать и прикрепить… объемные цифры на сварку. Ушел запрос в цех на вырезку новых цифр. Нехитрое дело заняло три месяца. Но и на этом еще не все! Мало вырезать цифры — их еще и наварить надо, а задача оказалась посложнее программирования.
Вторая версия цифр: более рельефные, лучше видно. А с зеркальностью система «и так поймет».
Это заняло еще… месяц. Тут вспоминаем кучу мемов про важность точного ТЗ. Цифры наварили. Но, во-первых. не только на внешней стороне, но иногда и на внутренней, в тени, глубоко. Система справилась и с этим.
Слева — цифра наварена на внешней части цепи, корректно; справа — наварена в глубине, на внутренней части.
Пример распознавания Системой наваренной внутри цифры
Во-вторых, каково было изумление Декуса, а следом и тестировщиков, когда система обнаружила в работе странность. В эфире попадались две 6-ки. Раз сделали запасные цифры, чего добру пропадать, видимо, решили коллеги и наварили два одинаковых знака на одной линии. Тут и пригодилось то самое уникально рассчитанное число звеньев между маркерами.
Две наваренные шестерки на одной линии (стороне) конвейера
Следующая сложность оказалась в том, чтобы научить искусственный интеллект понимать по картинке, есть ли движение конвейера в кадре. Стоящий на конвейере рулон перекрывает камере вид на звено под ним, а то и 2-3 звена. Это усложняет подсчет между маркерами. А конвейер действует итеративно, может двигаться пошагово, может стоять. Здесь пришлось применить уже математические алгоритм, добавление дополнительных цифр-маркеров и человеческую смекалку.
Со слов специалиста «ВидеоМатрикс», решением стал расчёт оптического потока между кадрами. То есть смотрели, насколько кадр сдвинулся относительного предыдущего, потом — следующий относительно текущего и т.д. По сумме этих сдвигов и строили предположение о количестве пропущенных звеньев. Для точности был поставлен верхний порог, так как рулон больше трёх звеньев перекрыть не мог. А если и мог — не так страшно, на следующем проходе скорректируем — результаты в системе подтверждаются, только когда разница между маркерами совпадает с эталонной. Еще одна польза уникального числа звеньев между маркерами.
Рулон в кадре перекрывает звенья
У вас взгляд кривоватый
Изначально возникла сложность с размещением камер близко к конвейеру из-за высокой температуры в этой зоне. Нами были использованы PTZ-камеры — 4Мп уличные скоростные поворотные IP-камеры с ИК-подсветкой до 150 метров, 25х оптическим и 16х цифровым зумом. Чтобы оборудование выдерживало рабочий накал, камеры были установлены на расстоянии около 15 метров от конвейера. Благодаря зуму удалось получать качественные снимки для детального анализа. В процессе эксплуатации одна из камер вышла из строя. Оперативно заменить возможности не было. В итоге использовали другую уже установленную камеру, которая стояла под некоторым углом, а не перпендикулярно, как задумано разработчиками. В результате картинка превратилась из ровной горизонтальной в стремящуюся в диагональ.
Преимущества умной видеоаналитики и смекалки в том, что при их синергетическом объединении можно научить Vmx Dequs предобработке видео — перед анализом система сама «выравнивала” перспективу. Выглядит это так:
Исходный кадр и предобработанное с точки зрения перспективы видео с измененного ракурса для анализа состояния узла видеоаналитикой
В итоге у нас есть работающий инструмент для автоматического контроля конвейера и решения множества потенциальных проблем «на подлёте». Система машинного зрения Vmx-системы проводит более 7000 измерений ежедневно с точностью более 99%. Высокий показатель точности обеспечивается синергей нейронных сетей и математических алгоритмов. ПО анализирует состояние ключевых узлов, звеньев и наличие необходимых деталей. При обнаружении отклонений Vmx Dequs автоматически отправляет сообщения на электронную почту ремонтному персоналу. На экране оператора состояние звеньев отображается цветовыми обозначениями, есть скриншоты с обнаруженными проблемами, а общая карта конвейера представлена цветовой мнемосхемой. Помимо анализа текущей картины система также отслеживает историю изменений состояния узлов, что позволяет анализировать ситуацию и предпринимать меры предотвращения проблем заранее.
