Комментарии 47
Скорость обработки видеоизображений при использовании CUDA составила 1.6 мс на кадр, что обеспечивает достаточную производительность для применения в реальных условиях.
Можно подробнее, какое оборудование Вы предполагаете в реальных условиях?
Я сначала подумал, что это на esp32 будет крутиться (не ну делают же на них подобное). Ан нет.
Модель тестировалась на IP-камере с подключением по Wi-Fi с использованием GPU NVIDIA RTX 3070 Ti (8 ГБ) и CUDA 12.8. В случае встраиваемых решений возможно использование устройств семейства NVIDIA Jetson. Также для реальных условий необходимо оптимизировать датасет и дополнить его данными, полученными в этих самых реальных условиях.
Есть ли в свободном доступе данные для обучения?
Обычная широкоугольная камера перестанет видеть квадрик на расстоянии в пару десятков метров, самолётик может метров сто-двести в зависимости от размаха. Не совсем понятна практическая ценность такой системы обнаружения, разве что это для наведения на цель на последних метрах пути.
Полагаю, что наоборот. Начальное обнаружение всего, что летает.
В реальности, после обнаружения надо управлять оптикой и настраивать более узкий угол наблюдения , потом использовать либо стерео либо TOF и определять расстояние и угловые координаты. Тогда будет какой-то смысл такой системы.
Мне кажется в том и загвоздка, что широкоугольная камера не даст обнаружить заранее. Даже в наборе в статье почти нет кадров, похожих на съемку дрона издалека.
При фокусном расстоянии 35 мм (а это даже не очень широкий угол), объект размером 0.5 метра, уже на расстоянии 3000 метров будет занимать всего 1 пиксель для полнокадровой камеры с 24Мпикс.
Вот поэтому нужна вторая камера с еще большим фокусным расстоянием. Первая фиксирует все точки в небе и по характеру полета пытается определить, а не птица ли это (до тех пор пока дроны не начнут имитировать их полет). Нужен датасет на полет всех птиц в регионе. Вторая камера наводится и уже проверят каждую точку на предмет того чем она является. Первая камера снова наблюдает за идентифицированными точками, до исчезновения их из поля зрения и следит за появлением новых.
всё, что вы можете обнаружить глазом, камерой обнаруживается гораздо лучше
С радостью послушаю какая оптическая камера или сборка их адекватного количества покроет небо и сможет там разглядеть коптер меньше полуметра размахом (вместе с пропами) на расстоянии хотя бы в пару километров.
Я, как любитель всего летающего, попадал в ситуацию, когда мой самолётик размахом 75см на расстоянии в полкилометра от меня оказался без питания, увидеть куда он там планировал сам собой и где шлепнулся было весьма не просто.
поставить на самолет автономную пищалку?
Для того чтобы это помогло, нужно хотя бы плюс-минус сотня метров знать место падения. В описанном выше случае питание пропало "удачно", так что самолет с высоты в сотню метров пробежал еще около 500. Проблему решают радиомаяками типа tBeacon с автономным питанием. Я пока ни одного самолета не потерял, поэтому отношусь к лагерю тех кто еще не использует маяки. И даже так, это не панацея, потому что был у меня случай, когда обломки были рассеяны на площади 400*100 метров, половина которой в лесу.
есть необычные камеры
А вот эти фотографии они с неподвижных камер или камеры в это время двигались и присутствовала тряска?
ps
и я правильно понимаю что это все работает только при хорошем освещении?
"Drone", раз уж имена классов на английском а не транслитом.
А почему не используют звук? У всей летающей мелочи довольно характерный звук, который прекрасно слышно даже когда визуально его не видно. С крупной техникой или птицей перепутать вообще невозможно. Поворотная платформа, 3 или 4 микрофона для наведения и дробовик для котрольной проверки...
Как мне кажется, начинать надо со стереозрения - две камеры позволят сразу отсечь самолёты и вертолёты по расстоянию. А оставшееся уже классифицировать на птиц и дроны.
Бедные птицы, раньше только в турбины затягивало, теперь ещё и ПВО их начнёт крошить.
Вот и натянули сову на глобус >))
Чтот я такое видел на узком канале в тг. Не оттеда ли?
Тут наверное стоит брать информацию из нескольких источников. Я бы подумал о 3 точках с микрофонами разнесённых допустим на километр друг от друга. По эффекту Доплера и усилению сигнала можно спрогнозировать направление движения. По маске звука сам объект.
А уже на подлёте использовать широкоугольную камеру, зная что 1 пиксель в этом районе - это 87% fpv
Возможно, для таких задач уже можно мультимодальную модель начинать проектировать, которая объединяет данные оптики, радара, звука и других датчиков по возможности.
Хотя создание датасета для такого будет боль.
Автор веса ".pt" выложите в паблик?
Обнаружение дронов (БПЛА) с использованием ИИ и компьютерного зрения