Интерпретируемое машинное обучение — популярная тема в последние годы. Во многом благодаря использованию этой технологии в медицине, транспорте и других областях, где цена ошибки велика, нужно понимать, как модель устроена и чем "руководствуется" при принятии решений.

Простота объяснения зависит от сложности модели. Куда проще понять, как работает дерево принятия решений, чем извлечь какие-то определенные правила из весов полносвязной нейронки. К счастью, каскады Хаара имеют довольно простую структуру и можно, последовательно применяя их к изображению, узнать, как работает модель.

Парсинг xml-файла

Начнем с начала. OpenCV работает с каскадами, сохраненными в xml. Автор статьи помог разобраться, как этот файл устроен. Давайте посмотрим.

Сперва идет описание каскада. Будем использовать детектор лиц из OpenCV. stageType говорит нам, что каскады являются бустингом. featureType — тип признаков, а height и width — высота и ширина признаков, используемых классификаторами. maxWeakCount — максимальное количество слабых классификаторов на каждом уровне каскада. stageNum — количество уровней.

<opencv_storage>
<cascade type_id="opencv-cascade-classifier"><stageType>BOOST</stageType>
  <featureType>HAAR</featureType>
  <height>24</height>
  <width>24</width>
  <stageParams>
    <maxWeakCount>211</maxWeakCount></stageParams>
  <featureParams>
    <maxCatCount>0</maxCatCount></featureParams>
  <stageNum>25</stageNum>

Что за признаки и классификаторы? Признаки — это небольшие свертки (маски), которые применяются к изображению.

Из пикселей изображения, находящихся под белой областью, вычитаются пиксели, находящиеся под черной областью

Классификаторы — это решающие деревья, которые после получения значений от сверток выдают какие-то чиселки. И в зависимости от суммы этих чиселок каскад решает, есть ли на изображении нужный предмет.

Уровни (stages) — это группы классификаторов. Каждый уровень смотрит на активацию своих классификаторов и говорит, нужно ли уточнить свои показания (перейти на следующий уровень) или пропустить изображение, потому что на нем ничего нет.

<stages>
    <_>
      <maxWeakCount>9</maxWeakCount>
      <stageThreshold>-5.0425500869750977e+00</stageThreshold>
      <weakClassifiers>
        <_>
          <internalNodes>
            0 -1 0 -3.1511999666690826e-02</internalNodes>
          <leafValues>
            2.0875380039215088e+00 -2.2172100543975830e+00</leafValues></_>

stageThreshold — порог, который нужно преодолеть классификаторам для перехода на следующий уровень. Сами же классификаторы хранятся в теге weakClassifiers. internalNodes содержит информацию об узлах дерева. Первое значение 0 — индекс текущей ноды. Второе — -1 — индекс ноды, в которую нужно перейти, переход по листьям завершается, когда индекс становится меньше 0. (На самом деле, там немного более сложная схема переходов, можно посмотреть в исходниках OpenCV.) Затем идут номер признака 0 (описания признаков — дальше в файле) и пороговое значение дерева -3.1511999666690826e-02.

В leafValues хранится информация о листьях дерева. Первое значение 2.0875380039215088e+00 — левый лист, он возвращается, если значение свертки меньше порога дерева, второе значение -2.2172100543975830e+00 — правый лист — возвращается, если значение свертки больше порога.

Теперь признаки:

<features>
    <_>
      <rects>
        <_>
          6 4 12 9 -1.</_>
        <_>
          6 7 12 3 3.</_></rects></_>

В теге rects хранятся прямоугольники, описывающие свертку. Первые 4 числа — x1, y1, x2, y2 — координаты противоположных вершин прямоугольника, пятое число — его "цвет". Если число отрицательное (-1), то пиксели этого прямоугольника вычитаются, если положительное (3) — складываются.

С файлом разобрались, давайте парсить:

# импортируем библиотеки
from lxml import etree
from multiprocessing import Pool, cpu_count
import time

import numpy as np
from scipy.signal import convolve2d
import matplotlib.pyplot as plt
import cv2

cascade_path = "haarcascade_frontalface_default.xml"

with open(cascade_path) as f:
    xml = f.read()

root = etree.fromstring(xml)

cascade = root.find("cascade")
width = int(cascade.find("width").text)
height = int(cascade.find("height").text)
features = cascade.find("features").getchildren()

# создаем массив признаков
feature_matrices = np.zeros((len(features), height, width))
for i, feature in enumerate(features):
    cur_matrix = np.zeros((height, width))
    for rect in feature.find("rects").getchildren():
        line = rect.text.strip().split(" ")
        x1, y1, x2, y2 = map(int, line[:4])
        x1, x2 = min(x1, x2), max(x1, x2)
        y1, y2 = min(y1, y2), max(y1, y2)
        c = float(line[4])

        cur_matrix[y1:y2+1, x1:x2+1] = c

    feature_matrices[i] = cur_matrix

# выведем первый признак
plt.imshow(feature_matrices[0], cmap="gray")
>>>

# парсим уровни каскада в новую структуру
stages = cascade.find("stages")
stages_list = []
for stage in stages.getchildren():
    if type(stage) == etree._Element:
        threshold = float(stage.find("stageThreshold").text)
        clfs = stage.find("weakClassifiers")

        classifiers = []
        for clf in clfs:
            internal_nodes = clf.find("internalNodes").text.strip().split(" ")
            feature_num = int(internal_nodes[2])
            feature_thresh = float(internal_nodes[3])

            leafs = clf.find("leafValues").text.strip().split(" ")
            less_leaf = float(leafs[0])
            greater_leaf = float(leafs[1])

            classifiers.append([feature_num, feature_thresh, less_leaf, greater_leaf])

        stages_list.append([threshold, classifiers])

len(stages_list)
>>> 25

Отрисовка классификаторов

Итак, у нас 25 уровней. Давайте наложим их на картинку:

image = cv2.imread("photo.jpg", 0)
image_height, image_width = image.shape[:2]
plt.imshow(image)
>>>

Кислотный Шерлок

for stage in stages_list:
    # делаем копию картинки, на которой можно будет рисовать
    image_copy = image.copy()

    for classifier in stage[1]:
        feature_num, thresh, less, greater = classifier

        # применение свертки
        # можно сделать и перемножением в numpy, но получается дольше
        activation_map = convolve2d(image, feature_matrices[feature_num], mode="valid")

        # в зависимости от значений листов выбираем, какой лист соответствует большей активации
        # и если попадаем в этот лист, то считаем, что классификатор активировался
        if greater > less:
            activation_map[activation_map < thresh] = 0
        else:
            activation_map[activation_map > thresh] = 0

        # выбираем 5 наибольших активаций по картинке
        k = 5
        flatten_activation_map = activation_map.flatten()
        top_indices = np.argpartition(flatten_activation_map, -k)[-k:]

        # фильтруем нулевые активации
        top_indices = top_indices[flatten_activation_map[top_indices] > 0]

        for top_index in top_indices:
            i, j = np.unravel_index(top_index, activation_map.shape)

            image_part = image[i:i+height, j:j+width].astype(np.uint8)
            rectangle = np.ones(image_part.shape, dtype=np.uint8) * 255

            # полупрозрачный прямоугольник там, где активировался классификатор
            res = cv2.addWeighted(image_part, 0.5, rectangle, 0.5, 1.0)
            image_copy[i:i+height, j:j+width] = res

    plt.figure()
    plt.imshow(image_copy, cmap="gray")
    plt.show()

Код выведет 25 картинок, поэтому я прикреплю только последние 2:

В ноутбуке после статьи можно посмотреть активации на разных размерах картинки:

Куда копать дальше?

Я реализовал визуализацию только одноуровневых каскадов (то есть деревьев с одной нодой и двумя листами), но это можно относительно просто исправить. А чтобы посчитать, какое значение свертки принесет наибольшую активацию, можно распарсить дерево и вытащить оттуда промежуток значений [свертки].

Помимо признаков Хаара есть и другие. Например, LBF или обобщенные признаки Хаара. Их также можно визуализировать. Также на картинке можно показывать сами признаки — отображать не белый прямоугольник, а матрицу классификатора (черно-белые области).

Весь код (ноутбук и скрипт для разбора одного каскада) оставлю на Github'е, так что его можно модифицировать, добавляя новые фичи.

Немного о нас

Еще раз привет, меня зовут Евгений. Обожаю Data science (и особенно — учить модельки *^*) и занимаюсь им полтора года. Этот пост создан благодаря нашей команде. Мы — начинающие российские стартаперы и хотим делиться с Вами тем, что узнаем сами.

Удачи c:

Полезные ссылки:

Визуализация каскадов Хаара