Комментарии 12
НЛО прилетело и опубликовало эту надпись здесь
Насколько я понимаю с одной камерой нужно выхватывать оптический поток при движении робота, я в этой области экспериментов не проводил. Несколько лет назад пробовал стереозрение с одной камерой (https://habr.com/post/388259/), потом проект вырос в StereoPi, а прошлый был сделан полностью опренсорсным (включая чертежи).
если использовать нейронки, какие нибудь 5 кадров в секунду… но качество слабое
Orbslam2 — github.com/raulmur/ORB_SLAM2.
Но у меня не получилось поставить на Raspberry по инструкции — gist.github.com/nickoala/8d7e0bc24be3cec459e63bc1eb8cc858 ((
Но у меня не получилось поставить на Raspberry по инструкции — gist.github.com/nickoala/8d7e0bc24be3cec459e63bc1eb8cc858 ((
del
Какая производительность получилась у вас, сколько кадров секунду, нагрузка на ЦПУ и ОЗУ?
Я отдельно пиковые тесты не гонял, была задача проверить что всё это вообще будет работать без бубнов. В настройках у автора скрипта стояло разрешение 320х240 и FPS 10, при таких установках никаких лагов замечено не было. Попробую завтра прогнать без GUI с другими установками. Хотя интереснее будет посмотреть скорость в работе с полноценным стереоскопическим драйвером, надеюсь Rohan сможет его выкатить в ближайшее время.
Если не сложно, померьте задержку обработки (от изменения обстановки до выдачи результата). Я тут делал простую навигацию по езде в направлении шаблона (шахматной доски), так довольно сильно пришлось извращаться с запоминанием реального направления движения по компасу на какое-то время назад, чтобы не промахнуться из-за задержки в обработке (пока нам вычисляют результат — робот успевает проехать/провернуться немного не туда).
Посмотрел лимит скорости. Пока бутылочное горлышко — это питоновый скрипт, который режет картинку на пары и публикует в виде отдельных камер. У него скорость выдачи плавает от 17 до 25 кадров. Карта глубин при этом отображается синхронно с видео.
Касательно задержки в обработке — сейчас как таковой обработки (типа логики поведения и реакций на ситуацию) нет, просто карта глубин строится. На глаз это около 0,2 секунд (между смещением объекта перед камерой и отрисовкой измененной карты глубины).
Вообще на новых малиновых сенсорах (V2) теоретически можно до 1000 fps выжать, но это скорее игрушки на пике производительности (вот обсуждение на малиновом форуме). Фактически скорость обработки будет упираться, конечно, в проц.
Касательно задержки в обработке — сейчас как таковой обработки (типа логики поведения и реакций на ситуацию) нет, просто карта глубин строится. На глаз это около 0,2 секунд (между смещением объекта перед камерой и отрисовкой измененной карты глубины).
Вообще на новых малиновых сенсорах (V2) теоретически можно до 1000 fps выжать, но это скорее игрушки на пике производительности (вот обсуждение на малиновом форуме). Фактически скорость обработки будет упираться, конечно, в проц.
А вот и наш краудфанд запустился: www.crowdsupply.com/virt2real/stereopi
Расскажите, как продвигаются ваши тесты. Не пробовали ли вы конструкцию, когда StereoPi «выдувает» видеопоток в ROS формате, а карта строится на более производительном железе? Какие параметры камер лучше выставлять, чтобы не висела при этом raspberry?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
ROS: карта глубин на Raspberry Pi «малой кровью»