Комментарии 27
Модуль однозначно определяет БПЛА размером не меньше 7x7 пикселей...
Поправьте, если ошибаюсь, но полагаю, что Вы ищите не беспилотники а нечто, что движется в видео потоке.
Если будет аэростат Вы его игнорируете или определите как БПЛА?
Подозреваю, что беспилотник нестандартной формы оно проигнорирует - нейросеть натренирована на стандартных коптерах. Если детектировать каждый летящий предмет, то будет от каждого воробья дёргаться.
Уверен, что не будет.
Во-первых, воробей будет меньше,чем 7x7.
Во-вторых, вы дрон размером с воробья не обнаружите.
И самое прикольное, что воробей от дрона отличатся как муха от слона, в основном, по характеру движения.
Но Ваше решение понятно. Оно очевидное.
Вы частично правы. Нейросеть натренирована на изображениях не только квадрокоптера, но и на БПЛА самолетного типа. К сожалению не было возможности добавить в набор данных большое количество БПЛА вертолетного типа, чтобы покрыть все типы БПЛА.
Не думали кроме визуальной составляющей подключит еще и звук? Они очень хорошо и громко визжат.
Конечно думал, более того реализовывал. В данной статье я пытался акцентировать внимание на том, что одним из вариантов определения беспилотников (не только коптеров, в исследовании и в данных также использовалась модель самолетного типа) может быть ИИ. Однако на практике для реального проекта помимо оптического модуля был реализован радиолокационный и звуковой модули. Модуль распознавания на основе нейронных сетей выступал в нем как валидационный, который подтверждал наличие или отсутствие БПЛА в определенной области(расстояние предварительно рассчитывалось на основании радиолокатора).
А есть смысл использовать более хитрые камеры со смешенным спектром? Есть ли какие-то узнаваемые тепловые маркеры на дронах (электродвигатели, наверное, должны греться)?
Считаю, что есть, но потребуется тонкая настройка вместе с ИИ для точного определения БПЛА от всего остального, так как тепловые маркеры есть не только у дронов, но и, например, у птиц. К тому же, современные дроны могут быть оснащены хорошей теплоизоляционной системой или системой активного охлаждения.
.
помимо оптического модуля был реализован радиолокационный и звуковой модули.
Круто! Очень круто!
Ждать ли следующей статьи? Было бы очень интересно почитать об этом.
Не рассматривали возможность совместить метод фото-контрастного обнаружения малоразмерных малоскоростных беспилотников с аккустическим и /или радиочастотным (пеленгация, не РЛС) методами обнаружения?
П.с. опередили с вопросом. Оставлю комментарий ради ссылки.
Если сделать беспилотник из прозрачного матового пластика, его распознает? На ютюбе ролик с прозрачным самолетиком - размах крыльев два метра, даже с учетом фанерных непрозрачных элементов фюзеляжа, самолетик с десяти метров уже практически не видно. Поэтому, наверное, помимо оптического распознавания должны быть и иные. Например, акустическое, радио, ИК итд
А вы не тестировали качество детекции SAHI, вроде специально разработана для мелких объектов?
Спасибо за интересный вопрос. Да, с SAHI были проведены эксперименты, однако основная проблема заключалась в скорости обработки изображений. Поскольку одно из требований заключалось в работе в режиме реального времени, то от данного фреймворка пришлось отказаться. Однако стоит заметить, что во время экспериментов точность детекции все же была выше вместе с SAHI. К сожалению, оптимизации типа квантования и прунинга не дали значительного прироста в балансе между точностью и скоростью. Скорость стала выше, но точность и полнота стали ощутимо меньше на тестовой выборке.
Спасибо за ответ. В теории можно попробовать запускать параллельно "быструю детекцию" и sahi. Т.е. пока нет результатов работы SAHI используются данные с других методов. И в итоге все данные комплексируются. Но для этого нужно дополнительные мощности, а также если дрон летит быстро, то пока SAHI его обработает он может улететь.
Может добавите к репе хотя бы небольшое howto? Я не большой знаток питона, сходу разобраться как и что в каком порядке запускать не так-то просто...
Ещё есть ошибка в публикации
"Не смотря" в главе про нюансы, пишется слитно.
Моральная сторона проделанной работы не однозначна
а не пробовали просто скармливать изображения моделке llava с запрсом тут есть квадракоптер да или нет?
для более точного распознавания такого типа объектов вы не обойдетесь только одной камерой, там еще лидары нужны и радары, также желательно снимать изображения с разных точек и анализировать, кстати в качестве улучшения процесса - рекомендую преобразовать изображения в сферическую проекцию
Распознаем беспилотники малых размеров с помощью ИИ