Распознаем штрихкоды на изображениях с помощью Python и OpenCV

http://www.pyimagesearch.com/2014/11/24/detecting-barcodes-images-python-opencv/
  • Перевод
От переводчика: мы в компании Энтерра очень любим алгоритмы компьютерного зрения. Работаем чаще всего с OpenCv. Время от времени нам пишут разные разработчики с вопросами: «А как лучше начать работать с OpenCv?» или «Какую интересную задачу можно просто решить с помощью OpenCv?» В связи с чем мы решили перевести очень хорошую статью, которая будет полезна всем, кто интересуется компьютерным зрением.



Черная Пятница близко.

Толпы злых покупателей. Рой одинаковых теток среднего возраста, готовых сожрать практически всё, что угодно, в ближайшем супермаркете — главное, что со скидкой 75%. Они выстроятся в очереди перед дверьми магазинов в полночь Дня благодарения. Они будут ломиться внутрь, стучать в запертые двери кулаками и головами, пока не сплющат друг друга и не разобьют руки в кровь, став похожими на зомби из «28 дней спустя». Но вместо человеческой плоти, они жаждут удовлетворить инстинкт покупателя. Их боевые кличи о скидках и распродажах достигают небес. А их громовая поступь способна привести к землетрясению на Великой Равнине.

Естественно, от СМИ помощи не жди — они будут смаковать каждую подробность. От обмороженных семейств, ночевавших в палатке на морозе, до старой леди, растоптанной охотниками за скидкой в момент, когда открылись двери. Что-то похожее случилось с галлимимусом в «Парке Юрского периода». А она просто хотела купить Halo для девятилетнего внука Тимми, чьи родители забыли это сделать в прошлом году. В Wal-Mart. Во время Черной Пятницы.

И я обязан спросить: весь этот хаос и бедлам стоят того?

Чёрт возьми, нет!

Любая покупка, которую я совершу в эту Черную Пятницу, будет сделана совершенно безопасно с помощью ноутбука. Но если вы решите выйти в реальный мир и вступить в схватку с охотниками за наживой, вам в первую очередь понадобится загрузить код из оригинального поста.

Просто представьте, как глупо вы будете выглядеть, стоя в очереди в ожидании свободной кассы – только для того, чтобы после сканирования штрихкода последнего сезона «Игры Престолов» выяснить, что в Target его можно купить на 5 долларов дешевле?

Собственно, далее я покажу, как можно обнаружить штрихкод на изображении, используя только Python и OpenCV.

Распознаём штриходы на изображениях на Pyhton и OpenCv


Задача этого поста — показать простое применение компьютерного зрения и технологий обработки изображений для распознавания штрихкодов. Мой алгоритм — это вариация на тему из вот этого вопроса со StackOverflow. Я просмотрел оригинальный код и добавил к нему ряд обновлений и улучшений. Стоит отметить, что этот код не будет работать для всех штрихкодов, но в любом случае вы получите представление о том, какие методы нужно будет использовать.

Важно отметить, что алгоритм не будет работать для всех штрихкодов, но зато даст базовое интуитивное понимание того, какие техники должны быть для этого использованы.

Для примера, мы определим штрихкод со следующего изображения:



Перейдём к коду. Открываем новый файл, называем его detect_barcode.py — и поехали:

# import the necessary packages
import numpy as np
import argparse
import cv2
 
# construct the argument parse and parse the arguments
ap = argparse.ArgumentParser()
ap.add_argument("-i", "--image", required = True, help = "path to the image file")
args = vars(ap.parse_args())

Прежде всего нужно сделать импорт необходимых пакетов. Нам потребуются NumPy для работы с числами, agparse для парсинга аргументов командной строки и cv2 для связи с OpenCV.

Далее обрабатываем аргументы командной строки. Мы будем использовать единственный аргумент --image для задания пути к изображению с штрихкодом.

Теперь приступим к непосредственной обработке изображения:

# load the image and convert it to grayscale
image = cv2.imread(args["image"])
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
 
# compute the Scharr gradient magnitude representation of the images
# in both the x and y direction
gradX = cv2.Sobel(gray, ddepth = cv2.cv.CV_32F, dx = 1, dy = 0, ksize = -1)
gradY = cv2.Sobel(gray, ddepth = cv2.cv.CV_32F, dx = 0, dy = 1, ksize = -1)
 
# subtract the y-gradient from the x-gradient
gradient = cv2.subtract(gradX, gradY)
gradient = cv2.convertScaleAbs(gradient)
Мы загружаем изображение image и преобразуем его цветовой режим в оттенки серого.

Затем, мы используем оператор Собеля (с выставленным ksize = -1), чтобы вычислить величину градиента серой картинки в вертикальном и горизонтальном направлениях.

После этого мы вычитаем y-градиент оператора Собеля из x-градиента. После вычитания мы получаем изображение с высоким значением горизонтального градиента и низким значением вертикального.

И сейчас наше изображение выглядит так:



Обратите внимание, что зона штрихкода была определена с помощью операций с градиентом. Следующий шаг — устранить шум на изображении и сфокусироваться сугубо на области со штрихкодом.

# blur and threshold the image
blurred = cv2.blur(gradient, (9, 9))
(_, thresh) = cv2.threshold(blurred, 225, 255, cv2.THRESH_BINARY)
И первое, что мы сделаем — это используем average blur с ядром размера 9x9. Это поможет сгладить высокочастотный шум на нашей картинке с градинентами.

Затем мы проведём бинаризацию размытого изображения. Каждый пиксель изображения со значением не выше 225 мы превратим в 0 (чёрный), а остальные — в 255 (белый). В итоге получим:


Однако, как вы можете заметить на исходном изображении, между вертикальными полосками штрихкода есть пространство. Чтобы его закрыть и облегчить нашему алгоритму определение области штрихкода, нам нужно произвести ряд простых морфологических операций:

# construct a closing kernel and apply it to the thresholded image
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (21, 7))
closed = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel)
Мы начнем с создания прямоугольника с помощью cv2.getStructuringElement. Ширина ядра больше его высоты, что позволяет нам перекрыть пространство между вертикальными полосками штрихкода.

Далее, произведем нашу морфологическую операцию, применив ядро к бинаризированному изображению, замазывая пространство между полосками. И вы можете сами увидеть, что «пробелы» почти полностью закрыты, по сравнению с изображениями выше:



Конечно, на картинке остались и некоторые светлые пятна, которые не имеют отношения к штрихкоду и способны помешать точно определить его контур.

Давайте постараемся избавиться от этих пятен:

# perform a series of erosions and dilations
closed = cv2.erode(closed, None, iterations = 4)
closed = cv2.dilate(closed, None, iterations = 4)

Тут мы делаем четыре итерации эрозии, за которым следуют четыре итерации дилатация. Эрозия уберёт белые пиксели с изображения, удаляя мелкие блобы, а дилатация не позволит крупным белым областям уменьшиться. Удаленные во время размытия мелкие пятна во время растяжения не появятся вновь.

После серии эрозий и дилатаций можно увидеть, что мелкие пятна успешно были удалены, осталась только область штрихкода:



Наконец, давайте найдем контуры области штрихкода на изображении:

# find the contours in the thresholded image, then sort the contours
# by their area, keeping only the largest one
(cnts, _) = cv2.findContours(closed.copy(), cv2.RETR_EXTERNAL,
cv2.CHAIN_APPROX_SIMPLE)
c = sorted(cnts, key = cv2.contourArea, reverse = True)[0]
 
# compute the rotated bounding box of the largest contour
rect = cv2.minAreaRect(c)
box = np.int0(cv2.cv.BoxPoints(rect))
 
# draw a bounding box arounded the detected barcode and display the
# image
cv2.drawContours(image, [box], -1, (0, 255, 0), 3)
cv2.imshow("Image", image)
cv2.waitKey(0)

К счастью, это довольно просто. Мы находим самый большой контур на изображении с помощью cv2.findContours, который (если обработка была произведена корректно) точно соотносится с областью штрихкода.

Затем мы определяем минимальный ограничивающий прямоугольник, в который заключим этот самый большой контур, после чего наконец отображаем найденный штрихкод.

Как вы можете видеть, мы успешно нашли штрихкод:


Попробуем сделать это еще с несколькими изображениями?

Успешное определение штрихкодов


Чтобы получить аналогичные результаты, используйте мой код (можно загрузить целиком на странице поста-оригинала) и приведенные здесь изображения. Как только у вас будет код и изображения, откройте терминал и выполните следующую команду:

1 $ python detect_barcode.py --image images/barcode_02.jpg

Без проблем найден штрихкод кокосового масла. Пробуем еще:

1 $ python detect_barcode.py --image images/barcode_03.jpg
И на этом изображении мы успешно обнаружили штрихкод! Но что это мы все про еду, давайте перейдем к книгам.

1 $ python detect_barcode.py --image images/barcode_04.jpg
И снова – никаких проблем! Сможем ли мы определить номер для отслеживания посылки?

1 $ python detect_barcode.py --image images/barcode_05.jpg


И вновь наш алгоритм успешно обнаружил штрихкод.

Заключение


В этом посте мы рассмотрели необходимые шаги для обнаружения штрихкодов на изображениях с помощью технологий компьютерного зрения. Мы применили алгоритм, использующий язык программирования Python и библиотеку OpenCV.

В основе нашего алгоритма лежат следующие действия:
  1. Вычислите размер градиента по осям x и y.
  2. Отделите вертикальный градиент от горизонтального, чтобы выявить область штрихкода.
  3. Примените размытие и бинаризацию.
  4. Примените ядро к бинаризированной картинке для удаления «пробелов» между полосками.
  5. Произведите серию эрозий и дилатаций.
  6. Найдите на изображении самый большой контур, который и будет являться областью штрихкода.
Стоит отметить, что, так как метод основан на представлении изображения в форме градиента, он будет корректно работать только для горизонтальных штрихкодов.

Если вы хотите использовать более надёжный алгоритм обнаружения штрихкодов, стоит принять во внимание ориентацию изображения, а еще лучше — использовать самообучаемые системы, например, каскады Хаара или HOG+ Linear SVM, чтобы «сканировать» изображение на предмет областей со штрихкодом.
Enterra 41,60
Компания
Поделиться публикацией
Ой, у вас баннер убежал!

Ну. И что?
Реклама
Комментарии 26
  • +6
    Эпичное вступление :)
    • +1
      Я просмотрел оригинальный код и добавил к нему ряд обновлений и улучшений.
      А в результате получился код который хорошо работает на приложенном наборе изображений, но не работает если сделать шаг влево (его еще и допиливать надо, так как drawContours хочет всетаки массив векторов а не массив точек).
      Для стартового толчка я бы все же рекомендовал смотреть оригинальный код со stackoverflow, его можно смело направлять на отснятые своими руками изображения и он работает в том виде в котором он есть
      • +2
        А в результате получился код который хорошо работает на приложенном наборе изображений,

        Ну так автор же совершенно честно в этом признаётся. Это же не код для того, чтобы вы могли его скопировать и сходу использовать в своих задачах. Идея поста в том, чтобы показать рабочий иллюстрированный пример, который включает в себя некоторые основные базовые операции компьютерного зрения (морфология, бинаризация и т.п.) Подобные статьи с примерами картинок хороши для начинающих: люди получают первое представление о том, зачем какая операция нужна, что она делает, как это выглядит.
      • 0
        просто и толково. спасибо!

        P.S. A не пробовали гуглить — может быть, существует публичная база/бенчмарк в интернете по детектированию штрихкодов?
      • +1
        Всего одна новая функция Wolfram Language делает все это для разного типа штрих-кодов и qr-кодов, BarcodeRecognize:

      • 0
        Если бы не было последнего абзаца, сказал бы, что статья плохая, ибо неприменима в жизни. А так- никаких вопросов:) хотя мне всегда казалось, что там лучше всего должен работать какой-нибудь алгоритм, рассчитывающий пару десятков сэмплирующих прямых.
        • +1
          Никто еще не придумал стартап который бы собирал штрихкоды с ценами, для последуюшего составления шоплистов?
          Было бы классно если бы была аппликуха, которая бы выдавала что-то типа макароны и молоко покупай в магазине Х, а сметану в магазине У.
          • 0
            не только в ценах ведь дело, я например предпочту хоть и дороже но купить свежее молоко, да и как их поддерживать в актуальном состоянии? да у нас половина торговли с рук, в киосках и т.п. — тобишь без фискализации, следовательно я человеку только вручную предложить могу что-то записать, но как ему верить?

            для себя пока просто список продуктов сделал (жена с мобильника пишет, я со своего читаю и галочки ставлю, память то не резиновая).

            цены, навигацию внутри гипермаркета, все это можно делать уже сейчас но кому это надо?
            такое для google glass забавно будет сделать, но после того как они подешевеют раз в 5…
            • 0
              Amazon Fresh и Google Shopping Express идет другим путем…
              Я на себе ощутил удобство наличия истории покупок.
              «Теперь и я смогу совершать покупки для дома без фейлов» :)
              • 0
                Осталось получить откуда-то актуальные цены и остатки в магазинах, при чем с правильным прогнозом продаж. Тоесть, если в супермаркете «А» осталось 20 пакетов молока за Х денюжек, а в магазинчике «Б» 4 пакета за Х+ денюжек, то лучше все-таки покупать в «Б», так как пока мы доберемся до «А», молока там скорее всего уже не будет.

                Учитывая, что даже нормальный АВС-анализ есть далеко не везде, о прогнозах продаж/товарных запасов можно и не мечтать. Это уже не говоря о том, как такой стартап вообще будет получать от магазинов столь чувствительную информацию, как текущие остатки и цены.
                • 0
                  На самом деле с технической стороны никаких сложностей с сбором цен у магазинов нет. Однако на практике даже если вы будете вручную фотографировать или сканировать товары на полке продуктового магазина — с вероятностью в 95% вас выгонят взашей охранники. При этом цитирование действующего законодательства никак на них не действует.
                  А вот в израиле, например, закон обязывает торговые сети публиковать актуальные цены на товары в открытом доступе.
                • 0
                  Наиболее близкое что встречал — ratengoods.com/
                  • 0
                    Придумал — kartapokupok.ru, однако с шоплистами там беда.
                  • 0
                    Спасибо, очень порадовали python-адепта…
                    Правда с практической точки зрения не понятно, как расчитывалось это применить в мобильных устройствах, там где именно это нужно? OpenCV под ObjectiveC / Java?
                    • 0
                      Простой вариант — можно на сервер гонять, чтобы заодно про базе пробивать с быстрым инетом, примерно как мы с номерами делали:)
                      А вообще под Java и под ObjectiveC тоже есть OpenCV. Там всё почти так же.
                      • 0
                        4 месяца назад садился разбираться с OpenCV для Java, очень урезанная версия в библиотеке, практически слабо готово к использованию
                    • 0
                      Так есть же стандартный Goggles, который распознает штрих-коды с камеры, да еще и поиск по ним делает?

                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                      Самое читаемое