В этой инструкции мы отправим аппаратно закодированный h264 видео поток камеры Logitech C920 переданный c BeagleBone Blue по wifi сети на ноутбук, а затем примем его в узел ROS gscam и произведем поиск и распознавание изображений карт таро и бутылки кетчупа по пути движения робота EduMIP.
Это продолжение серии моих статей, в последней мы остановились на том что через gstreamer отправили видео на ноутбук.
В ROS есть пакет который умеет принимать видео от gstreamer, который называется gscam, вот документация по нему и исходный код.
Нам нужна последняя версия gscam c поддержкой gstreamer-1.0, поэтому будем устанавливать из последней версии исходного кода.
cd catkin_ws/src
git clone https://github.com/ros-drivers/gscam
cd ..
catkin_make -DGSTREAMER_VERSION_1_x=On
Теперь нам нужно создать launch файл и вписать туда команду gstreamer которая отправит видео в ffmpegcolorspace.
-v udpsrc port=6666 ! application/x-rtp, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! ffmpegcolorspace
Итоговый файл ~/catkin_ws/src/gscam/examples/streamc920.launch будет выглядеть так:
<launch>
<!-- Set this to your camera's name -->
<arg name="cam_name" value="creative_cam" />
<!-- Start the GSCAM node -->
<env name="GSCAM_CONFIG" value="-v udpsrc port=6666 ! application/x-rtp, encoding-name=H264 ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! ffmpegcolorspace" />
<node pkg="gscam" type="gscam" name="$(arg cam_name)">
<param name="camera_name" value="$(arg cam_name)" />
<param name="camera_info_url" value="package://localcam/calibrations/${NAME}.yaml" />
<remap from="camera/image_raw" to="$(arg cam_name)/image_raw" />
</node>
<!-- Provide rectification -->
<node pkg="image_proc" type="image_proc" name="creative_image_proc"
ns="$(arg cam_name)" />
<!-- View the raw and rectified output -->
<node pkg="image_view" type="image_view" name="creative_view" >
<remap from="image" to="/$(arg cam_name)/image_raw" />
</node>
</launch>
Теперь если мы его запустим:
roslaunch gscam streamc920.launch
Появится оно видео потока с камеры, теперь мы в ROS имеем это видео как topic creative_cam/image_raw.
Из одного из прошлых уроков запустим поиск и распознавание изображений карт изменив топик:
rosrun find_object_2d find_object_2d image:=/creative_cam/image_raw
Результат испытаний робота EduMIP на импровизированной трассе вы можете видеть в видео в начале статьи. Не смотря на тряску из-за балансировки робота, изображение все равно удается распознавать, но на трехколесном или четырех колесном роботе я думаю все будет гораздо лучше.
Также я соединил ноутбук с wifi роутером витой парой и понизил битрейт до 1 Мбит/с с ключевыми кадрами раз в секунду, что уменьшило задержку передачи видео до 0.2 секунды.
gst-launch-1.0 uvch264src initial-bitrate=1000000 average-bitrate=1000000 iframe-period=1000 name=src auto-start=true src.vidsrc ! video/x-h264,width=160,height=120,framerate=30/1 ! h264parse ! rtph264pay ! udpsink host=192.168.1.196 port=6666
![](https://habrastorage.org/webt/dz/jw/q0/dzjwq0h0w50-m5yat-k8gum86ji.jpeg)
Для тех кто хочет в живую посмотреть на робота буду 7 июля выступать с проектом EduMIP на DIYorDIE Meetup в Москве.