Обучаем нейросеть управлению транспортом на основе мультисенсорных данных и информации о локальных траекториях

Спасибо за комментарий.
Что касается движения по "идеальным" траекториям — это осознанное упрощение. В статье мне важно было показать подход к обучению модели управления на основе визуальных и сенсорных данных. На самом деле, в CARLA можно настроить поведение агента так, чтобы автомобиль под его управлением отклонялся от локальной траектории, например, объезжал пробки, обгонял и т.д., а затем возвращался к основной траектории. Такие отклонения генерировали бы более богатые сцены для датасета включая повороты, ускорения и нестандартные ситуации.
Архитектура нейросети при этом не потребует изменений — модель обучалась бы тем же способом, просто на более богатом наборе сценариев, но для этого потребовалось бы собрать и обработать гораздо большее количество сцен (20-30 тысяч), также примерно в 2-3 раза увеличилось бы количество эпох при обучении, и возникло бы больше проблем со стабильностью симуляции при сборе данных(при маневрах в плотном трафике в CARLA случаются аварии).
Поэтому для начала я сосредоточился на базовом сценарии управления по траектории для реализации метода. Но он вполне масштабируем под более сложное поведение