Разбираемся в «стиле вождения», заложенном в мозги автономных автомобилей

Я (Junko Yoshida) освещаю сферу automotive и часто пишу об алгоритмах и методах восприятия. Также я пишу о стилях и методах управления автомобилем. И лишь недавно я поняла связь между стилем вождения и алгоритмами восприятия.

Когда я нахожусь за рулем, я могу понять, что водитель рядом со мной – придурок по тому, как он (или, не дай Бог, она) водит. Я просто знаю что этот придурок меня подрежет, и он обязательно это делает.

Водители-люди делают много предположений о других участниках дорожного движения, дорожных условиях (плохая погода) или о том, что где-то собирается неизбежная пробка. Водители корректируют свои стратегии вождения в соответствии с этими предположениями. Для безопасности дорожного движения такая интуиция имеет решающее значение.

Но как быть роботизированным автомобилям? Как научить машину делать выводы о других водителях и реагировать в соответствии с предположениями и интуицией? Можно ли научить машину «интуиции»?

Эти вопросы мучали меня на прошлой неделе, когда я писала разбор недавних видео от Mobileye. В этих неотредактированных роликах можно увидеть как беспилотный автомобиль ловко маневрирует в плотном потоке движения в Иерусалиме.

Просматривая кадр за кадром, отматывая раз за разом, я пыталась хотя бы грубо представить себе как работает мозг машины. Я хотела понять что машина видит (или не видит), как она интерпретирует дорожную ситуацию и какие действия собирается предпринять. Впрочем, не будучи инженером в области беспилотного транспорта, понять машину очень трудно. Кажется, что она говорит на своем языке и принимает решения исходя из своих кибер-мыслей, которые мне понять не удалось.

Добро пожаловать в эпоху беспилотной езды.

Во время просмотра видео от Mobileye я наткнулась на несколько эпизодов, в которых маневры роботизированного автомобиля меня смутили. Я спросила у Mobileye и экспертов по беспилотному транспорту о том, что может происходить под капотом.

Некоторые ответы меня очень удивили, хотя и многое объяснили. В основном в этих ответах раскрывалось то, что СМИ упускают из виду (или преуменьшают): точку соприкосновения «восприятия» и «стиля вождения». Роботизированные автомобили действительно должны обладать четким и точным восприятием (об этом мы и так постоянно пишем) и использовать лучшие практики машинного обучения (самая горячая тема в СМИ). Впрочем, сейчас мы приходим к тому, что именно стиль и политика вождения могут иметь решающее значение для алгоритмов принятия решений в беспилотных автомобилях.

Четкое зрение

Мы все хотим, чтобы машины-роботы обладали идеальным зрением. Мы ожидаем, что они могут не только четко видеть дорогу перед собой, но и обнаруживать и правильно помечать все объекты вокруг, а затем, используя лучшие нейронные сети, действовать адекватно ситуации.

Впрочем, все что у нас есть сейчас – просто адекватные системы восприятия. Вне зависимости от наличия водителя, редкому автомобилю везет постоянно ездить в солнечную погоду, без других транспортных средств, зданий и деревьев, преграждающих обзор и пешеходов, переходящих не на свой сигнал светофора.

Четкое зрение очень важно, но одно лишь оно не позволит роботам водить безопасно.



В своей недавней книге «Sensors in Automotive — Making Cars See and Think Ahead» (опубликованной холдингом Aspencore Media, которому принадлежит EE Times) Фил Купман, технический директор Edge Case Research и доцент Университета Карнеги-Меллона приводит в пример ситуацию с ребенком, выбежавшим на дорогу, чтобы подобрать мяч, и беспилотным автомобилем, который собирается проехать по этой дороге.

«Один из сложных аспектов в восприятии и планировании – предсказать что произойдет дальше в изменяющейся ситуации»

«Датчики должны предоставлять информацию не только о движении и положении объекта, но и возможных изменениях в направлении движения»

Думать нужно по-другому

Системы восприятия и зрения «вероятностны по своей сути… как известно, они могут ошибаться» – так нам недавно сказал в нашем шоу EE Times on Air Weekly Briefing Джек Вист, старший главный инженер Intel и вице-президент Mobileye по стандартам автономных транспортных средств.

Исходя из того, что идеальных датчиков не существует (то есть «стопроцентная точность измерений на протя��ении всего срока службы автомобиля» невозможна), Вист отметил, что «Для решения этой проблемы нам нужно думать по-другому. Нам нужно разработать методы измерений, которые будут удовлетворять существующим требованиям».

Интервью с Джеком начинается с 32:15

Необходимость в фреймворке для технологий безопасности

Здесь мы приходим к «игре в боулинг с бортиком», как выразился Вист.

Помните о модели Responsibility-Sensitive Safety (RSS), о которой Intel и Mobileye говорят с 2017 года?

После создания этой модели, Intel передала ее IEEE. Структура этой модели стала отправной точкой обсуждения стандарта IEEE, который должен помочь в разработке безопасных методов принятия решений для беспилотных автомобилей.

RSS – это «математическая модель, которая описывает безопасную область и соответствующие ей действия, которые должен совершать автомобиль», – пояснил Вист. «С ее помощью мы можем предотвратить аварии с участием беспилотных автомобилей по их собственной вине или вине других водителей».

Если вкратце – RSS помогает беспилотным автомобилям избегать аварий так же, как бортики помогают новичкам в боулинге попадать по кеглям.

Предположения и прогнозы

Сторонники беспилотного транспорта утверждают, что машины-роботы могут спасти тысячи жизней. Впрочем, они не обращают внимания на те аспекты, на которые необходимо полагаться. Люди – прекрасные водители. Они делают предположения на основе интуиции, используют здравый смысл и они склонны рационально реагировать на потенциально опасные ситуации. Проблема в том, что роботам не хватает интуиции.

RSS – это попытка сделать человеческие предположения и «неявные» правила дорожного движения интерпретируемыми для машин через определение того, что составляет опасную ситуацию, что ее вызывает и как на нее реагировать. Безопасную дистанцию и приемы безопасного вождения для автомобилей описывают математические формулы, объяснил Вист.

Чего я не знала до того, как поговорила с Шаем Шалев-Шварцем, техническим директором Mobileye и старшим научным сотрудником Intel, так это того, что RSS также обеспечивает проверку алгоритмов искусственного интеллекта, отдающих команды управления автомобилем.

Как и алгоритмы восприятия, ИИ работает со значительной влиянием вероятности.

Во время просмотра видео Mobileye меня несколько встревожило то, что эксперты называют «эффектом мерцания» в программном обеспечении для визуализации. Кажется, что беспилотный автомобиль обнаруживает несколько припаркованных машин, и после нескольких секунд эти машины исчезают с экрана, а затем начинает меняться их количество.

Когда я спросила об этом, сотрудники Mobileye заверил меня, что ПО беспилотных автомобилей отслеживает объекты, даже если они не отображаются на дисплее.

Этот «уровень здравого смысла» работает на основе RSS.

Шалев-Шварц также отметил, что важным компонентом RSS является способность «знать о том, чего вы не знаете». Он прокомментировал это следующим образом:

В любой момент времени мы знаем, что любой отрезок трехмерного отображения попадает в одну из трех категорий: (1) отрезок занят каким-либо участником дорожного движения, (2) дорога свободна, (3) у нас нет знаний об этом отрезке. Логика действий на основе RSS отлажена на корректную работу в любом из случаев. Механизм работы в третьем случае хорошо применим к объектам, обнаруженным в двухмерном пространстве, но положение которых в трехмерном пространстве не вполне ясно.

Встроена ли RSS в программный стек для беспилотного транспорта?

Принимая во внимание тот факт, что политика вождения сейчас является основной темой в разговорах о стандартизации, как ее будут реализовывать различные компании?

Можно ли, например, разным компаниям встраивать RSS в собственный проприетарный программный стек?

Intel и Mobileye представили собственную реализацию RSS для IEEE P2846, которым занимается Вист. Он также добавил, что другие компании тоже представили свои собственные модели безопасности. Поскольку мы говорим о технологически нейтральном стандарте, никто не обязан использовать «какие-либо конкретные микросхемы или датчики», пояснил Вист.

Так, например, «вполне возможно, что вы могли бы создать свою собственную модель безопаности, которая соответствовала бы стандарту [IEEE]».

Также Вист сделал замечание: «На данный момент, как вы знаете, мы решаем проблему для всей отрасли». Самый большой страх разработчиков беспилотного транспорта (несмотря на то, что о нем редко говорят) заключается в том, что из-за отсутствия позитивного вклада со стороны отрасли «у нас не может быть рынка, на котором мы могли бы продавать беспилотные транспортные средства». Он отметил, что если машинам-роботам не удастся уловить общие «предположения о других участниках дорожного движения», то им будет очень сложно найти баланс между безопасностью и практичностью.

Кто еще использует IEEE P2846?

Если IEEE P2846 действительно должен стать отраслевым стандартом – кто еще его использует? Вист ответил так: «Я очень рад, что компания Waymo стала моим вице-председателем, а Uber — нашим секретарем. По недавним оценкам этим стандартом пользуется, я думаю, более 25 ведущих OEM-производителей».

В работе над P2846 принимают участие представители некоторых правительств, исследовательских институтов и ряда различных организаций. Группа рассчитывает завершить свой первый проект либо к концу этого года, либо в начале следующего.

Как подстраивать поведение систем беспилотной езды в зависимости от места использования?

Как я писала в своем недавнем посте, мне казалось, что небезопасный левый поворот машины от Mobileye, показанный на видео компании, станет красным флагом. Некоторые читатели согласились. Из-за того, что автомобиль выехал на дорогу и заблокировал движение, заставив приближающийся мотоцикл остановиться, весь этот маневр вовсе не кажется безопасным.

Шай Шалев-Шварц, впрочем, был непреклонен. Он прокомментировал данную ситуацию следующим образом: «Это совершенно нормально в Израиле и большинстве западных стран. Ждать идеальной ситуации бесполезно».

Возможно блокировать движение в Иерусалиме – это в порядке вещей, но говорить, что это нормальное явление в большинстве западных стран – большая натяжка. Скорее так мы увидим как отличается терпимость людей к «агрессивному вождению» в разных странах и городах.

Представьте себе как Mobileye поставит это ПО в Китай, чтобы помочь Geely создать систему ADAS, которая позволит не держать руки на руле. Как Mobileye будет исправлять свое ПО в соответствии с китайскими привычками вождения? Будет ли все это означать, что разработчикам беспилотного транспорта придется разрабатывать отдельные стеки для разных регионов?

Хорошая новость заключается в том, что поведение водителей не фиксируется в стеке ПО для беспилотных автомобилей. Вист сказал, что «на самом деле очень здорово, что все эти неявные правила вождения встроены в модель безопасности, и во всей остальной части стека для беспилотной езды их может не быть».

Другими словами, «политику вождения на основе RSS можно адаптировать к разным стилям без ущерба безопасности», утверждает Шалев-Шварц.

Комбинация датчиков

Популярная среди разработчиков ПО для беспилотного транспорта мудрость заключается в следующем: если система компьютерного зрения не может понять на что она смотрит (или, что еще хуже, не знает что делать дальше) – нужно добавить к ней дополнительные датчики. Например, радар и лидар. Объедините эти датчики в цельный набор, чтобы беспилотный автомобиль действовал более уверенно, а его система восприятия была ближе к реальному миру.

У Mobileye свой подход к сочетанию датчиков. В их беспилотных автомобилях 4-го уровня, показанных на видео, радаров и лидаров нет – только 12 камер.

Амнон Шашуа, президент и генеральный директор Mobileye, в начале этого года на CES объявил, что в беспилотных автомобилях 4-го уровня его компании используются современные достижения ИИ и различные нейросетевые алгоритмы, запущенные на нескольких независимых модулях компьютерного зрения.

По словам Шашуа, дополнительные модули с нейронными сетями обеспечивают «внутреннюю избыточность». Также он прокомментировал систему «VIDAR» – решение от Mobileye, которое позволяет добиваться показателей, близких к эффективности лидаров, только с помощью камер.

Впрочем, Mobileye также работет над собственными радаром и лидаром. Можно ли сказать, что компания перестраховывается?

Вист объяснил это так: «у нас есть отдельный автомобиль, на котором установлены только радар и лидар», работающий в Иерусалиме. Наша цель заключается в том, чтобы чтобы сделать автомобиль с радаром и лидаром, который будет работать наравне с автомобилем, оборудованным только камерами.

Он также добавил, что «затем камеры и лидар с радаром можно будет объединить, и по сути мы получим две избыточные (но разные по принципу работы) реализации датчиков, работающие параллельно. Таким образом, мы можем сформировать две разные модели мира и объединить их – вместо того, чтобы зависеть от единственной модели и полагаться в плане точности только на нее».

Другими словами, две системы восприятия позволяют машине перестраховаться.

---

• Первая в России серийная система управления двухтопливным двигателем с функциональным разделением контроллеров
• В современном автомобиле строк кода больше чем…
• Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
• McKinsey: переосмысляем софт и архитектуру электроники в automotive