Ну у вас видимо совсем специфическая задача. Я не гуру в фотографии на зеркалки, но слышал, что для широкоугольных объективов есть насадки которые компенсируют бочкообразную дисторсию — получается нефишайный ширик. И компенсация не постфактумная софтовая, а именно оптическая.
Ну тут мы с фото работали, а не с видео, поэтому такой потребности не возникло. В прикладных задачах на дронах стабилизация обычно не только цифровая но и механическая, не говоря уже про виброразвязку. Так что если до 360 видео руки дойдут — озадачимся. Сейчас к краудфандингу готовимся, на всё сразу времени не хватает. {smile}
Посмотрел лимит скорости. Пока бутылочное горлышко — это питоновый скрипт, который режет картинку на пары и публикует в виде отдельных камер. У него скорость выдачи плавает от 17 до 25 кадров. Карта глубин при этом отображается синхронно с видео.
Касательно задержки в обработке — сейчас как таковой обработки (типа логики поведения и реакций на ситуацию) нет, просто карта глубин строится. На глаз это около 0,2 секунд (между смещением объекта перед камерой и отрисовкой измененной карты глубины).
Вообще на новых малиновых сенсорах (V2) теоретически можно до 1000 fps выжать, но это скорее игрушки на пике производительности (вот обсуждение на малиновом форуме). Фактически скорость обработки будет упираться, конечно, в проц.
Проект 3Dberry сейчас получил новую жизнь с новым железом — полноценная стереокамера на Raspberry. Вот первая проба запуска в ROS: habr.com/post/431092
Я отдельно пиковые тесты не гонял, была задача проверить что всё это вообще будет работать без бубнов. В настройках у автора скрипта стояло разрешение 320х240 и FPS 10, при таких установках никаких лагов замечено не было. Попробую завтра прогнать без GUI с другими установками. Хотя интереснее будет посмотреть скорость в работе с полноценным стереоскопическим драйвером, надеюсь Rohan сможет его выкатить в ближайшее время.
Гугл выкатывал набор с пизирой и нейронами для баловства — там вроде даже приемлемая производительность. Соглашусь с Tremere — хорошо тюнить надо под специфическое применение.
Насколько я понимаю с одной камерой нужно выхватывать оптический поток при движении робота, я в этой области экспериментов не проводил. Несколько лет назад пробовал стереозрение с одной камерой (https://habr.com/post/388259/), потом проект вырос в StereoPi, а прошлый был сделан полностью опренсорсным (включая чертежи).
Там запись не вели, нам важнее реакцию людей было увидеть. Если хотите глянуть на пример видео — вот недавно трансляцию рыбок на ютуб делали через 4Г модем, запись трансляции тут:
Затея вообще хорошая, но опасная если речь именно о близком положении и «виде от третьего лица». Если дрону подальше держаться — да, есть готовые и неплохие решения типа AirDog, когда дрон за вами следует. Но это немножко выходит за рамки нашего текущего эксперимента и тянет на достаточно большую исследовательскую работу. :-)
Вам доводилось видеть следы винтов среднего коптера на пальцах, руках и голове человека? Есть фотки на форумах радиомоделистов. Способен рассечь кожу и мясо до кости. Лично я бы, скажем так, повременил с таким применением до выхода безопасности дронов при полетах вблизи препятствий на новый уровень.
Эммм… ну если вы на сайт проекта глянете, то у нас и железо опенсорсное будет, и базовый софт. Сейчас к краудфандингу вот готовимся. Возможно какие-то кастомные разработки, которые под заказчиков делались, открыть не сможем, но стартовые вещи — откроем.
Касательно задержки в обработке — сейчас как таковой обработки (типа логики поведения и реакций на ситуацию) нет, просто карта глубин строится. На глаз это около 0,2 секунд (между смещением объекта перед камерой и отрисовкой измененной карты глубины).
Вообще на новых малиновых сенсорах (V2) теоретически можно до 1000 fps выжать, но это скорее игрушки на пике производительности (вот обсуждение на малиновом форуме). Фактически скорость обработки будет упираться, конечно, в проц.