Как построить карту проходимости для наземного робота на GPU, уложившись в 100мс лидара? Рассказываю путь от универсальной 3D-воксельной карты, которая не тянула даже на i7, до 2.5D-карты высот и расчётом уклонов прямо на CUDA. Плюс — почему RGB-D камера и лидар по отдельности не работают, а вместе дают плотный скан земли и препятствий.

Практический разбор синхронизации камеры глубины RealSense и лидара Livox Mid-360. Как программная коррекция на основе счётчика кадров и замкнутой петли обратной связи позволяет добиться стабильности ±0,3 мс без GPRMC — с кодом драйвера и результатами замеров дрейфа.

Ручная калибровка лидара Livox и RGB-D камеры RealSense через визуальное совмещение облаков точек. Альтернатива PnP, ICP и GICP — когда автоматика не справляется, помогают глаза и ползунки.

Рассмотрим простой способ объединить лидар и камеру для построения карты проходимости при помощи таймеров микроконтроллера STM32H743VIT6 и распаиваемой платы с Aliexpress.

Проверяем, может ли GPU-планировщик MPPI-Generic работать без глобального планера. Самодельный симулятор, контроллер с приоритетом угловой скорости, сравнение с State Lattice и RPP vs MPPI, справился, но есть нюансы.