Цифровой рентген: нейросетевой анализ печатных плат / Habr

Рост требований к качеству электроники и скорости проверки делают автоматизацию рентген-контроля крайне важной. Применение нейросетевых подходов может вывести этот процесс на новый уровень. Важной проблемой текущего уровня исследования является отсутствие размеченных датасетов.

В данной статье расскажем о нашем опыте определения типов микросхем на рентгеновских снимках моделью YOLO.

Проблемы данных:

1. Отсутствие накопленных данных

В отличие от медицины открытых датасетов по микроэлектронике крайне мало. Существует большое количество рентгеновских систем с разными характеристиками получаемого изображения, что мешает унификации датасетов

2. Внутриклассовая вариативность

Компоненты из одного и того же класса (по стандартам IPC) с т.з. анализа изображений выглядят совершенно по разному

3. Межклассовая визуальная близость

Компоненты из разных классов могут выглядеть очень похоже. Естественно разработчики стандартов на ЭКБ не думали по последующих поколениях исследователей. Печаль-печаль

4. Высокое разрешение снимков.

В зависимости от условий съемки объект может занимать 1%, 10%, 50% и т.д. кадра. Опять же камень в огород различий между рентгеновскими системами

Сбор и подготовка данных

На системе "ПРОДИС.Электро" были получены 500 рентгеновских снимков корпусов микросхем следующих типов: BGA, SOP, QFN/QFP. Использовалась базовая модель YOLO – свёрточная нейронная сеть для детекции объектов на изображении, которая предсказывает ограничивающие рамки и вероятности классов за один проход по сети.

SAHI

Slicing Aided Hyper Inference (SAHI) - библиотека, разработанная для оптимизации алгоритмов обнаружения объектов для больших изображений с высоким разрешением. SLICE подаётся в обученную нейронную сеть для получения прогноза

SAHI: ограничения

Не быстро, что сказать. Нужно исследовать дальше

Альтернативный подход

Исходные кадры высокого разрешения (>3000*3000 пикселей) заранее разделяются на слайсы, на которых обучается модель

Выводы и перспективы

Проведенное исследование подтверждает принципиальную применимость нейросетевых моделей, в частности YOLO, для решения задачи детекции компонентов на рентгеновских изображениях печатных плат
Использование автоматической нарезки исходного изображения на меньшие части с перекрытием, является перспективным путем для повышения точности анализа снимков высокого разрешения
Для дальнейшего развития подхода одной из задач является создание адаптивного механизма, учитывающего условия съемки — геометрические размеры платы, коэффициент увеличения и пр. — что позволит автоматически оптимизировать параметры обработки и достичь оптимального баланса между точностью детекции и скоростью работы системы