Распознавание плоских объектов OpenCV 2.4

[xaoc80]

Вы не пробовали автомобильный номер локализовать методом SURF?
Чисто теоретически это возможно?
Просто стандартный метод поиска светлых прямоугольников хорошо работает, но в случае помех или больших углов дает некорректные результаты

[alexhoppus]

Пробовал, это одно из заданий на курсах по компьютерному зрению в МГУ. Да это и теоретически и практически возможно. Причем и на ночной базе тоже работало, правда, естественно, с меньшей точностью. Вы можете использовать surf на размеченных картинках и обучить модель svm, которая в дальнейшем будет относить сдетектированные точки к номеру или фону.

[xaoc80]

Но там ведь будет такая проблема — собственно какие ключевые точки он будет брать
Номера то разные.
Или все-таки обучение эту проблему решает?

[Fesor]

По ключевым точкам можно находить на изображении автомобильные номера. А способов распознать сам номер уже много. Можно при помощи того же SVM классификатора.

[xaoc80]

Это я знаю=) Я имел ввиду, что на разных номерах будут разные ключевые точки))

[BelBES]

как видно, в номере всегда присутствуют рамки, флаг и надпись RUS. Поэтому вполне можно использовать например такой шаблон в качестве эталона для сопоставления ОТ . Только в качестве детектора лучше использовать какой-нибудь детектор углов типа детектора Харриса а не SIFT/SURF. И тут еще надо учитывать, что номер имеет маленький размер на изображении, а значит будет мало особых точек для сопоставления и вполне возможен вариант, когда данных не хватит для построения искомой гомографии.

[alexhoppus]

BelBES,Так делать не надо, нужна как можно более вариативная выборка. (все возможные цифры и символы которые могут встретиться). Если вы обучаете SVM по крайней мере по сифтам с точек.

[Fesor]

Имеется ввиду поиск непосредственно номера на фотографии, и в этом есть смысл. OCR написать уже потом можно.

[BelBES]

Насколько я знаю для того, чтобы детектировать номер при помощи SVM классификатора, необходимо получить на сцене какие-то области-кандидаты похожие на изображение знака, а потом уже для каждой такой области уточнять модель при помощи классификатора. Когда мы нашли особые точки на изображении сцены(пуская тем-же SIFT'ом), как среди всех точек выделить те, которые могут соответствовать номерам?

[alexhoppus]

Можно каждую точку классифицировать как точку фона или номера, предварительно обучившись на размеченной базе, а потом выделить подходящий кластер точек как область в которой есть номер. Далее уже распознавать.

[BelBES]

Вот сейчас просто применением SURF-детектора и SIFT-дескрипторов получил такие картинки:


Как видно в качестве паттерна использовал первую попавшую под руки картинку с номером. При этом номер худо-бедно локализуется. Если подумать еще немного и применить знания о предметной области то получится лучше и точность можно повысить до приемлемой…
А какой характеристический вектор особой точки используется для подобного обучения классификатора? Дескриптор в чистом виде и используется идея о характерных для номеров перепадах градиента? Вы не могли-бы показать какой-нибудь пример локализации номера таким способом?

[alexhoppus]

Знакомые картинки: )Я не знаю, что такое характеристический вектор особой точки. Я это же задание делал два года назад, описанным мною выше способом. Я могу что-то путать, но вроде я такой применял метод. Кстати, код у меня до сих пор сохранился, но рыться в нем сейчас нет никакого желания.

[BelBES]

Вы обучаете классфикатор просто подсовывая ему дескрипторы особых точек? Если да, то какой процент ложных срабатываний у обученного классификатора? думается мне, что большой…
p.s. картинки нашлись в ходе 5-минутного гугления, вроде это лабораторка в каком-то из ВУЗ'ов)

[Fesor]

Я бы методом окон искал… А не просто фичи со всей картинки брал. И как минимум перед тем как искать фичи стоит сделать блур по гаусу, что бы шум не так сильно влиял.

[BelBES]

Можно взять фичи со всей картинки, сматчить на них, получить примерное расположение номеров, а потом матчить по маске только в эти регионы. Так вероятно получится быстрее чем скользящим окном по всей картинке бегать.

[alexhoppus]

Картинки — материал задания на курсах по компьютерному зрению в МГУ (детекция распознавание номеров). Возможно большой, это не предметный спор, надо на конкретной выборке смотреть.

[alexhoppus]

Ключевые точки будут разные, но если у Вас в обучающей выборке будет достаточное количество номеров, то общие паттерны будут выявляться, все равно на номере ограниченный набор символов, это раз. Во — вторых там явные градиентные перепады (контраст белое на черном) концентрированные. Найти номер будет несложно. После того как Вы нашли номер, надо будет уже распознавать его как сказал Fesor.