Детектирование движения в видеопотоке на FPGA

[Meklon]

Проблема баланса белого решается переводом камеры в прибитый гвоздями ручной режим.

[datacompboy]

кроме баланса белого есть еще набигание облаков и вылезание лун

[Meklon]

Это да. Просто обычно проще, когда баланс и экспозиция жестко заданы. Меньше неожиданностей от картинки.

[datacompboy]

меня особенно уставали переключения в ночной режим и обратно, да…

[rPman]

Я, будучи полным нубом в работе с фото, буквально вчера взялся за решение простой задачи — есть фото текстовых документов (черное на белом, рукописный текст), сделанных под углом, с неравномерным освещением, — нужно подготовить на основе этого печать копии этих документов (достаточных для чтения).

Исправить наклон бумаги дело пары десятков секунд, да и по теме статьи совершенно не требуется, а вот проблему с неравномерным освещением (в т.ч. во времени, в моем случае разные фото имели разную яркость)

И я нашел, мне кажется, просто гениальное решение (использовал GIMP), берем копию изображения, сильно размываем ее (чтобы исчезли значимые элементы, используется простое гауссовое размытие), затем вычитаем (лучше деление и нормализуем) результат из оригинала, получаем яркое изображение, которому абсолютно пофиг на плавные разводы освещения.

Для объектов с четким границами мне кажется метод идеальный, не требует заметных вычислений.

[ProLimit]

Поздравляю, вы изобрели High-pass фильтрацию :) Неужели в GIMP ее нет в стандартных инструментах?

[rPman]

да, кажется есть, но меня интересовала грубо говоря формула, хотя бы просто идея.

[GREGOR_812]

Шикарная статья, хочу повторить) А у Вас есть гитхаб проекта или другой доступ к нему?

[ubobrov]

В гитхаб выложу, но чуть позже. Надо код причесать и оптимизировать. Там баг с чтением из SDRAM есть, вот исправлю его и опубликую.

[ubobrov]

Проект опубликован

[GREGOR_812]

супер, спасибо

[Fogger]

Интересно почему отдано предпочтение среде HDL Designer от Mentor's? Там тоже свой VIP или они пользуются альтеровским, судя по рисункам? было упоминание ранних опытов про частичную обработку фреймов на A9, данные капчились из сквозного потока между камерой и монитором в память hps, или или рип из фреймбуфера как конечный блок потока, dma при заполнении кадра ?

[ubobrov]

HDL Designer использую потому, что осваивать ПЛИС начал на FPGA Advantage под Windows, затем переехал на Linux и FA в полном наборе не нашел, а к HDS привык. На А9, да, данные брал из фреймбуфера. Первые опыты были на SAM9G20 лет 5 назад. Результаты меня не впечатлили. Сейчас в ящике лежит платка на Allwinner H3, вот на ней стоит попробовать, но это потом.

[ser-mk]

У вас весь workflow для FPGA на Linux?

[ubobrov]

MATLAB и Simulink? Нет. Мне оно пока ненужно.

[Andruwkoo]

HDL Designer хорош даже в отрыве от любых библиотек. Он может работать и с Альтерой и Ксайлинксом. В графическом виде HDL код намного понятнее и нагляднее. а если не хватает графики, то можно вставить embedded block и будут кусок необходимого кода прям на графике.

[chersanya]

Нет, задача выравнивания неравномерной яркости пороговой обработкой не решается — спокойно может быть так, что чёрная буква на яркой части изображения ярче, чем белая бумага на тёмной части. Поэтому действительно, как писал rPman, стандартный и часто используемый для этого способ — поделить изображение на сильно размытую свою копию.

[kolpeex]

Наверно, было бы проще делать стабилизацию изображения, если бы с видеопотоком были бы данные акселерометров камеры.

[Daffodil]

Классная статья. Можете теперь попробовать копать в сторону optical flow и сжатия видео. Ну а дальше можно превращать хобби в профессию.

[ubobrov]

Идеи кое-какие есть, но в профессию пока рано превращать, я ещё не настоящий сварщик ).

[Botu]

Чисто теоретический вопрос, чтобы понять есть ли какие то очевидные неточности в следующей достаточно топорной логике:
Если предположить, что камера не движется быстрее чем снимает и что резких действий произойти не может, то возможно для нахождение и отличие шумов, движения камеры и… стоит искать не движущее изображение, а искать максимально схожее изображение (то есть, последовательность точек)…
Соответственно, чисто теоретически
Если камера движется или не идеально зафиксирована, то по контрольным точкам понятно на сколько куда она продвинулась и можно соответственно скорректировать. Она же не может частично двигаться.
Если появляется лишний свет/блик/тень, то это влияет на все точки в области и так же можно скорректировать. Свет же не может отразиться только 1 точке, по идее он отразиться на всём изображении так или иначе…

[ubobrov]

Существует метод под названием Adaptive background subtraction model или что-то в этом роде. Он как раз и призван компенсировать неточности в референсном кадре. До него у меня пока руки не дошли, но я пару раз задумывался о его воплащении в проекте.

[rPman]

Она же не может частично двигаться.

камера нет но большая часть изображения может двигаться сама по себе, например автомобиль, на фоне которого мы детектируем движение людей