Распознаем штрихкоды на изображениях с помощью Python и OpenCV

От переводчика: мы в компании Энтерра очень любим алгоритмы компьютерного зрения. Работаем чаще всего с OpenCv. Время от времени нам пишут разные разработчики с вопросами: «А как лучше начать работать с OpenCv?» или «Какую интересную задачу можно просто решить с помощью OpenCv?» В связи с чем мы решили перевести очень хорошую статью, которая будет полезна всем, кто интересуется компьютерным зрением.



Черная Пятница близко.

Толпы злых покупателей. Рой одинаковых теток среднего возраста, готовых сожрать практически всё, что угодно, в ближайшем супермаркете — главное, что со скидкой 75%. Они выстроятся в очереди перед дверьми магазинов в полночь Дня благодарения. Они будут ломиться внутрь, стучать в запертые двери кулаками и головами, пока не сплющат друг друга и не разобьют руки в кровь, став похожими на зомби из «28 дней спустя». Но вместо человеческой плоти, они жаждут удовлетворить инстинкт покупателя. Их боевые кличи о скидках и распродажах достигают небес. А их громовая поступь способна привести к землетрясению на Великой Равнине.

Естественно, от СМИ помощи не жди — они будут смаковать каждую подробность. От обмороженных семейств, ночевавших в палатке на морозе, до старой леди, растоптанной охотниками за скидкой в момент, когда открылись двери. Что-то похожее случилось с галлимимусом в «Парке Юрского периода». А она просто хотела купить Halo для девятилетнего внука Тимми, чьи родители забыли это сделать в прошлом году. В Wal-Mart. Во время Черной Пятницы.

И я обязан спросить: весь этот хаос и бедлам стоят того?

Чёрт возьми, нет!

Любая покупка, которую я совершу в эту Черную Пятницу, будет сделана совершенно безопасно с помощью ноутбука. Но если вы решите выйти в реальный мир и вступить в схватку с охотниками за наживой, вам в первую очередь понадобится загрузить код из оригинального поста.

Просто представьте, как глупо вы будете выглядеть, стоя в очереди в ожидании свободной кассы – только для того, чтобы после сканирования штрихкода последнего сезона «Игры Престолов» выяснить, что в Target его можно купить на 5 долларов дешевле?

Собственно, далее я покажу, как можно обнаружить штрихкод на изображении, используя только Python и OpenCV.

Распознаём штриходы на изображениях на Pyhton и OpenCv

Задача этого поста — показать простое применение компьютерного зрения и технологий обработки изображений для распознавания штрихкодов. Мой алгоритм — это вариация на тему из вот этого вопроса со StackOverflow. Я просмотрел оригинальный код и добавил к нему ряд обновлений и улучшений. Стоит отметить, что этот код не будет работать для всех штрихкодов, но в любом случае вы получите представление о том, какие методы нужно будет использовать.

Важно отметить, что алгоритм не будет работать для всех штрихкодов, но зато даст базовое интуитивное понимание того, какие техники должны быть для этого использованы.

Для примера, мы определим штрихкод со следующего изображения:



Перейдём к коду. Открываем новый файл, называем его detect_barcode.py — и поехали:

# import the necessary packages
import numpy as np
import argparse
import cv2
 
# construct the argument parse and parse the arguments
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required = True, help = "path to the image file")
args = vars(ap.parse_args())

Прежде всего нужно сделать импорт необходимых пакетов. Нам потребуются NumPy для работы с числами, agparse для парсинга аргументов командной строки и cv2 для связи с OpenCV.

Далее обрабатываем аргументы командной строки. Мы будем использовать единственный аргумент --image для задания пути к изображению с штрихкодом.

Теперь приступим к непосредственной обработке изображения:

# load the image and convert it to grayscale
image = cv2.imread(args["image"])
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
 
# compute the Scharr gradient magnitude representation of the images
# in both the x and y direction
gradX = cv2.Sobel(gray, ddepth = cv2.cv.CV_32F, dx = 1, dy = 0, ksize = -1)
gradY = cv2.Sobel(gray, ddepth = cv2.cv.CV_32F, dx = 0, dy = 1, ksize = -1)
 
# subtract the y-gradient from the x-gradient
gradient = cv2.subtract(gradX, gradY)
gradient = cv2.convertScaleAbs(gradient)

Мы загружаем изображение image и преобразуем его цветовой режим в оттенки серого.

Затем, мы используем оператор Собеля (с выставленным ksize = -1), чтобы вычислить величину градиента серой картинки в вертикальном и горизонтальном направлениях.

После этого мы вычитаем y-градиент оператора Собеля из x-градиента. После вычитания мы получаем изображение с высоким значением горизонтального градиента и низким значением вертикального.

И сейчас наше изображение выглядит так:



Обратите внимание, что зона штрихкода была определена с помощью операций с градиентом. Следующий шаг — устранить шум на изображении и сфокусироваться сугубо на области со штрихкодом.

# blur and threshold the image
blurred = cv2.blur(gradient, (9, 9))
(_, thresh) = cv2.threshold(blurred, 225, 255, cv2.THRESH_BINARY)

И первое, что мы сделаем — это используем average blur с ядром размера 9x9. Это поможет сгладить высокочастотный шум на нашей картинке с градинентами.

Затем мы проведём бинаризацию размытого изображения. Каждый пиксель изображения со значением не выше 225 мы превратим в 0 (чёрный), а остальные — в 255 (белый). В итоге получим:


Однако, как вы можете заметить на исходном изображении, между вертикальными полосками штрихкода есть пространство. Чтобы его закрыть и облегчить нашему алгоритму определение области штрихкода, нам нужно произвести ряд простых морфологических операций:

# construct a closing kernel and apply it to the thresholded image
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (21, 7))
closed = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel)

Мы начнем с создания прямоугольника с помощью cv2.getStructuringElement. Ширина ядра больше его высоты, что позволяет нам перекрыть пространство между вертикальными полосками штрихкода.

Далее, произведем нашу морфологическую операцию, применив ядро к бинаризированному изображению, замазывая пространство между полосками. И вы можете сами увидеть, что «пробелы» почти полностью закрыты, по сравнению с изображениями выше:



Конечно, на картинке остались и некоторые светлые пятна, которые не имеют отношения к штрихкоду и способны помешать точно определить его контур.

Давайте постараемся избавиться от этих пятен:

# perform a series of erosions and dilations
closed = cv2.erode(closed, None, iterations = 4)
closed = cv2.dilate(closed, None, iterations = 4)

Тут мы делаем четыре итерации эрозии, за которым следуют четыре итерации дилатация. Эрозия уберёт белые пиксели с изображения, удаляя мелкие блобы, а дилатация не позволит крупным белым областям уменьшиться. Удаленные во время размытия мелкие пятна во время растяжения не появятся вновь.

После серии эрозий и дилатаций можно увидеть, что мелкие пятна успешно были удалены, осталась только область штрихкода:



Наконец, давайте найдем контуры области штрихкода на изображении:

# find the contours in the thresholded image, then sort the contours
# by their area, keeping only the largest one
(cnts, _) = cv2.findContours(closed.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)
c = sorted(cnts, key = cv2.contourArea, reverse = True)[0]
 
# compute the rotated bounding box of the largest contour
rect = cv2.minAreaRect(c)
box = np.int0(cv2.cv.BoxPoints(rect))
 
# draw a bounding box arounded the detected barcode and display the
# image
cv2.drawContours(image, [box], -1, (0, 255, 0), 3)
cv2.imshow("Image", image)
cv2.waitKey(0)

К счастью, это довольно просто. Мы находим самый большой контур на изображении с помощью cv2.findContours, который (если обработка была произведена корректно) точно соотносится с областью штрихкода.

Затем мы определяем минимальный ограничивающий прямоугольник, в который заключим этот самый большой контур, после чего наконец отображаем найденный штрихкод.

Как вы можете видеть, мы успешно нашли штрихкод:


Попробуем сделать это еще с несколькими изображениями?

Успешное определение штрихкодов

Чтобы получить аналогичные результаты, используйте мой код (можно загрузить целиком на странице поста-оригинала) и приведенные здесь изображения. Как только у вас будет код и изображения, откройте терминал и выполните следующую команду:

1 $ python detect_barcode.py --image images/barcode_02.jpg

Без проблем найден штрихкод кокосового масла. Пробуем еще:

1 $ python detect_barcode.py --image images/barcode_03.jpg

И на этом изображении мы успешно обнаружили штрихкод! Но что это мы все про еду, давайте перейдем к книгам.

1 $ python detect_barcode.py --image images/barcode_04.jpg

И снова – никаких проблем! Сможем ли мы определить номер для отслеживания посылки?

1 $ python detect_barcode.py --image images/barcode_05.jpg

И вновь наш алгоритм успешно обнаружил штрихкод.

Заключение

В этом посте мы рассмотрели необходимые шаги для обнаружения штрихкодов на изображениях с помощью технологий компьютерного зрения. Мы применили алгоритм, использующий язык программирования Python и библиотеку OpenCV.

В основе нашего алгоритма лежат следующие действия:

1. Вычислите размер градиента по осям x и y.
2. Отделите вертикальный градиент от горизонтального, чтобы выявить область штрихкода.
3. Примените размытие и бинаризацию.
4. Примените ядро к бинаризированной картинке для удаления «пробелов» между полосками.
5. Произведите серию эрозий и дилатаций.
6. Найдите на изображении самый большой контур, который и будет являться областью штрихкода.

Стоит отметить, что, так как метод основан на представлении изображения в форме градиента, он будет корректно работать только для горизонтальных штрихкодов.

Если вы хотите использовать более надёжный алгоритм обнаружения штрихкодов, стоит принять во внимание ориентацию изображения, а еще лучше — использовать самообучаемые системы, например, каскады Хаара или HOG+ Linear SVM, чтобы «сканировать» изображение на предмет областей со штрихкодом.