На прошлом уроке мы научились превращать набор особых точек, найденных специальным детектором особых точек, в граф. Там же я объяснил, зачем это вообще надо. Сегодня мы будем изучать такую область науки о компьютерном зрении, как нахождение областей интереса на изображении. Как правило, это вторая часть этапа обработки изображений (см. первый урок). И так, предположим, нам надо найти на изображении дорожный знак. Пусть мы пока ограничимся только поиском знаков «кирпич». Вот наша рабочая картинка:
Как мы можем сузить место поиска, чтобы найти знак «кирпич». Бросается в глаза, что он ярко красный. Может, попробуем выделить красный канал (ниже вы увидите, почему так делать не надо):
import cv2 my_photo = cv2.imread('bricks\\dsc_0263.jpg') red_channel = my_photo[:,:,2] cv2.imshow('MyPhoto', red_channel) cv2.waitKey(0) cv2.destroyAllWindows()
Вот такую картинку мы получили:
Что делаем дальше? Давайте попробуем применить порог:
import cv2 import numpy as np my_photo = cv2.imread('bricks\\dsc_0263.jpg') red_channel = my_photo[:,:,2] bin_img = np.zeros(my_photo.shape) bin_img[red_channel > 200] = [0, 0, 255] cv2.imshow('MyPhoto', bin_img) cv2.waitKey(0) cv2.destroyAllWindows()
И что же у нас получилось? А вот что:
Казалось бы, ура, мы нашли знак. Как локализовать скопление ярких точек, другой вопрос. Тут проблема в другом. Сработает ли наш метод так же хорошо на другой картинке, например, вот на такой:
Применяем ту же программу, с тем же эмпирически найденным порогом:
Вот это подстава, да? Программа среагировала на шум, но не «увидела» знак.
А если попробовать преобразовать в формат HSV и выделить именно красный цвет? Напомню, что значит этот формат. Канал H обозначает цвет. В зависимости от числа меняется оттенок. Канал S – насыщенность, при минимальном значении это белый цвет, при максимальном – цвет, соответствующий значению канала H. Канал V – это яркость. Минимальное значение – черный, максимальное – цвет, соответствующий комбинации H и S.
Попробуем выделить канал H:
import cv2 import numpy as np my_photo = cv2.imread('bricks\\White1.jpg') h_channel = my_photo[:,:,0] bin_img = np.zeros(my_photo.shape) bin_img[(h_channel < 40) * (h_channel > 20)] = [0, 0, 255] cv2.imshow('h_channel', h_channel) cv2.imshow('result', bin_img) cv2.waitKey(0) cv2.destroyAllWindows()
Вот что у нас получилось:
У нас попали в наш диапазон черные стволы деревьев, видимо, они имеют чуть заметный красноватый оттенок. Можно попробовать выделить по яркости:
import cv2 import numpy as np #my_photo = cv2.imread('bricks\\dsc_0263.jpg') my_photo = cv2.imread('bricks\\White1.jpg') #my_photo = cv2.imread('bricks\\videlenka(24).jpg') h_channel = my_photo[:,:,0] v_channel = my_photo[:,:,2] bin_img = np.zeros(my_photo.shape) bin_img[(h_channel < 70) * (h_channel > 20) * (v_channel>100)] = [0, 0, 255] cv2.imshow('v_channel', v_channel) cv2.imshow('result', bin_img) cv2.waitKey(0) cv2.destroyAllWindows()
Вот что у нас получилось:
Относительно неплохо. «Дыры» можно заделать морфологическими операциями (операция закрытие):
kernel = np.ones((5,5),np.uint8) closing = cv2.morphologyEx(bin_img, cv2.MORPH_CLOSE, kernel)
И вот что у нас получится в итоге:
У нас остался шум. Тоже можно убрать методом морфологии, на это раз применим операции открытие:
opening = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, kernel)
Если сначала применить открытие, а потом закрытие, то получим вот что:
Шум исчез, но получилось не очень красиво. А если наоборот:
Тут не получилось убрать шум.
Ладно, шум, если что, можно будет убрать другим способом. Вот полный текст программы:
import cv2 import numpy as np my_photo = cv2.imread('bricks\\1.jpg') h_channel = my_photo[:,:,0] v_channel = my_photo[:,:,2] bin_img = np.zeros(my_photo.shape) bin_img[(h_channel < 70) * (h_channel > 20) * (v_channel>100)] = [0, 0, 255] cv2.imshow('h_channel', h_channel) cv2.imshow('v_channel', v_channel) cv2.imshow('my_photo', my_photo) kernel = np.ones((5,5),np.uint8) opening = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, kernel) closing = cv2.morphologyEx(opening, cv2.MORPH_CLOSE, kernel) cv2.imshow('result', closing) cv2.waitKey(0) cv2.destroyAllWindows()
А сейчас проверим, а сработает ли наш метод на другой картинке:
Как видим, сработал. Еще одна картинка:
А тут не увидел. Зато среагировал на знак «Остановка запрещена». Кстати, а как быть, если мы хотим не «Кирпич» детектировать, а другой знак? Может, попробовать как-то реагировать на форму? Давайте попробуем поискать круглые объекты.
Для начала, вспомним, как выделять контур:
import cv2 import numpy as np my_photo = cv2.imread('bricks\\White1.jpg') img_grey = cv2.cvtColor(my_photo,cv2.COLOR_BGR2GRAY) #set a thresh thresh = 100 #get threshold image ret,thresh_img = cv2.threshold(img_grey, thresh, 255, cv2.THRESH_BINARY) #find contours contours, hierarchy = cv2.findContours(thresh_img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) #create an empty image for contours img_contours = np.zeros(my_photo.shape) # draw the contours on the empty image cv2.drawContours(img_contours, contours, -1, (255,255,255), 1) cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно cv2.imshow('contours', img_contours) # выводим итоговое изображение в окно cv2.waitKey() cv2.destroyAllWindows()
Посмотрим, как будет выделяться контур на разных картинках:
В обоих случаях окружность видна, но много шума. Как отделить от шума? В OpenCV есть замечательная функция HoughCircles (в нее, судя по всему, уже встроен детектор контуров, так как она работает с самим изображением):
import cv2 import numpy as np my_photo = cv2.imread('bricks\\1.jpg') #my_photo = cv2.imread('bricks\\White1.jpg') img_grey = cv2.cvtColor(my_photo,cv2.COLOR_BGR2GRAY) rows = img_grey.shape[0] circles = cv2.HoughCircles(img_grey, cv2.HOUGH_GRADIENT, 1, rows / 8, param1=100, param2=30, minRadius=1, maxRadius=100) res = np.zeros(my_photo.shape) if circles is not None: circles = np.uint16(np.around(circles)) for i in circles[0, :]: center = (i[0], i[1]) # circle center cv2.circle(res, center, 1, (0, 100, 100), 3) # circle outline radius = i[2] cv2.circle(res, center, radius, (255, 0, 255), 3) cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно cv2.imshow('res', res) # выводим итоговое изображение в окно cv2.waitKey() cv2.destroyAllWindows()
Данная программа нашла довольно много окружностей:
Это можно отрегулировать порогами, задающиеся параметрами param1 и param2:
circles = cv2.HoughCircles(img_grey, cv2.HOUGH_GRADIENT, 1, rows / 8, param1=150, param2=50, minRadius=1, maxRadius=100)
Более наглядно будет, если отобразить найденные окружности на исходном изображении:
res = np.zeros(my_photo.shape) if circles is not None: circles = np.uint16(np.around(circles)) for i in circles[0, :]: center = (i[0], i[1]) # circle center cv2.circle(my_photo, center, 1, (0, 100, 100), 3) # circle outline radius = i[2] cv2.circle(my_photo, center, radius, (255, 0, 255), 3) cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно
А как сработает на другой картинке?
Смотрим:
Здесь, как видим, шума слишком много. Но один из кругов описывает искомый знак.
К сожалению, метод поиска круга срабатывает тоже не всегда. Вот на этой фотографии программа нашла только шум:
Как можно помочь в данной ситуации?
Первое, можно попробовать «подсунуть» функции HoughCircles не целую картинку, а готовый контур. Только контур следует нарисовать в матрице типа uint8, вот так:
#create an empty image for contours img_contours = np.uint8(np.zeros((my_photo.shape[0],my_photo.shape[1])))
И что мы получим? Вот что (знаки нашел, но шум остался):
Другой вариант – предварительная фильтрация (кто там в комментах возмущался, зачем я пишу про фильтры?):
filterd_image = cv2.medianBlur(my_photo,7)
В данном случае была применена медианная фильтрация (но функции HoughCircles была «скормлена» картинка) и вот что получилось:
На этом урок закончен, но будет еще. До новых встреч.
