Какие датчики будут самыми важными в беспилотных машинах? Те датчики, что управляют так называемой системой восприятия, и это самое важное в управлении автомобилем. Задача системы восприятия – обнаруживать все важные объекты на дороге или рядом с ней, например, другие транспортные средства, пешеходов, мусор, а в некоторых случаях — дорожные объекты, такие как знаки и разметка полос.
(Позиционирование на дороге тоже зависит от датчиков).
Система восприятия должна обнаруживать все препятствия и пытаться идентифицировать их. Ей необходимо измерять их скорость и направление, а также предсказывать их движение. Это очень сложная задача.
Две ключевые ошибки в работе системы восприятия — это ложные отрицательное срабатывания (слепота) и ложные положительные срабатывания (призрачные объекты).
Ложное отрицательное срабатывание – это ситуация, в которой препятствие не было обнаружено. Это может привести к катастрофическим последствиям, если система будет срабатывать таким образом настолько долго, что вы не сможете безопасно объехать препятствие. Хорошая система почти никогда не выдаст ложноотрицательный результат. Ей может потребоваться лишняя пара мгновений на распознавание препятствия, она может что-то упустить из-за резких вспышек, но повторяющиеся ошибки могут привести к аварии. Говоря “никогда”, я имею ввиду “почти никогда”, порядка единицы к многим миллионам.
Ложноположительный результат – другой тип ошибки. В ее случае система видит то, чего на самом деле нет, и это вынуждает машину затормозить или свернуть. Это раздражает пассажиров, а если они не пристегнуты, то может привести к травмам. Также это может привести к ДТП, если другая машина едет очень близко или при слишком резком торможении и поворотах. Обычно такие случаи не представляют опасности, но если такое происходит слишком часто, то пользователи откажутся от системы.
С вышеперечисленными ошибками связана также неверная классификация. Неверная классификация означает, что велосипедист был принят за пешехода, или что два мотоцикла были приняты за один автомобиль. Даже без точной идентификации машина знает, как не врезаться в препятствие, но система может неверно определить, куда оно движется или как лучше всего на него реагировать.
Другим классом ошибок являются полные сбои. Датчик или его программное обеспечение могут отключиться или явно работать со сбоями. Удивительно, но это допустимо чаще, чем слепота, потому что система будет знать, что датчик вышел из строя, и не примет его данные. В таком случае она будет полагаться на резервные датчики, либо стремиться как можно скорее съехать с дороги, используя другие датчики, если этого недостаточно. Хотя это также не должно происходить слишком часто, иначе люди перестанут доверять системе.
Существует множество важных датчиков для беспилотных автомобилей, однако самые исследуемые и обсуждаемые это лидары и камеры.
Лидар – это радар, основанный на свете. Датчик посылает короткие импульсы невидимого глазом лазерного света и засекает за какое время возвращается отраженный свет. Таким образом система узнает яркость и дальность цели достаточно точно.
У лидара есть большие преимущества:
- Он чрезвычайно надежен при обнаружении разнообразных объектов достаточного размера и вычисляет их расстояние, размер и положение очень близко к 100% надежности.
- Результатом работы лидара является 3D карта мира вокруг. Легко выделить что-то из объектов за датчиком(или перед ним)
- Лидар использует излучаемый свет, поэтому он работает независимо от внешнего освещения. День или ночь, облачно или солнечно, затянуто небо или светит солнце — лидар видит почти одинаково во всех условиях.
- Он устойчив к помехам и имеет гораздо более высокое разрешение, чем радар.
- Некоторые лидары могут определить скорость движения объекта, используя эффект Допплера.
Однако, есть и недостатки:
- Изначально лидары были очень дороги. Лидары высокого разрешения производились в малых количествах и стоили дороже машин (новые модели появляются по цене менее 1000 $)
- Довольно скромное разрешение. Лучшие устройства получают изображение в 128 пикселей в вертикальной развертке с частотой 10 Гц.
- Диапазон ограничен. Средние лидары видят на расстоянии до 70-100 метров и получают меньшую отдачу от больших объектов вроде машин на расстоянии около ста метров. Некоторые претендуют на работу до 200 метров, но это сомнительно. Лидары на 1.5 микрона, которые еще дороже, могут видеть и дальше.
- У большинства лидаров есть движущиеся части для сканирования мира. Вспышечные лидары обходятся без движущихся частей, но в настоящее время они еще дороже (в твердотельных лидарах нового поколения количество движущихся частей сводится к минимуму, либо от них вообще избавляются).
- Частота обновления, как правило, ниже. Более того, в то время, как лидар сканирует сцену, она искажается из-за движения сканируемых автомобилей и других объектов, а так как разные края сцены сканируются в разное время, то происходит смещение.
- Лидары могут столкнуться с проблемами при сильном дожде, снеге и тумане, хотя другие датчики, работающие со светом, включая камеры, ведут себя аналогично. Лидары также иногда могут срабатывать на незаметные вещи вроде выхлопных газов.
- Лидары лучше монтировать снаружи. Им нужен каждый фотон, поэтому не стоит ослаблять их установкой за лобовым стеклом.
Камеры
Системы, основанные на камерах, ведут себя подобно человеку. Одна или более камер наблюдают сцену, и программное обеспечение пытается сделать то же, что и человек – представить и понять трехмерный мир по двухмерному изображению.
- Камеры действительно недороги. Аппаратура стоит всего лишь десятки долларов, у вас их может быть довольно много.
- Поскольку камеры, чувствительные к видимому свету, используют отраженный свет, они могут видеть на произвольное расстояние в дневное время, если они они имеют достаточно узкое поле зрения и могут быть направлены. Ночью они должны использовать пропускаемый свет – как у ваших фар.
- Они видят цвета. Лидары воспринимают оттенки серого в инфракрасном спектре.
- Если только камеры не направляемы, то у них нет движущихся частей; в противном случае они могут получать изображение высокого разрешения даже для удаленных объектов. Даже в широком доступе есть камеры с очень высоким разрешением – в то время, как лидар видит 64 строки, камера видит 3000.
- Благодаря высокому разрешению и цветности, камеры способны делать такие выводы о сценах, которые не могут быть получены из изображения с низким разрешением, полученному с лидара.
- Камеры могут видеть светофоры, габариты, поворотники и другие источники излучаемого света. Камеры прекрасно подходят для считывания знаков.
Однако у камер есть и некоторые недостатки, и первый из них портит многое:
- Сегодня компьютерное зрение работает недостаточно хорошо, чтобы обнаружить все важные характеристики с надежностью, необходимой для безопасного вождения.
- Камеры должны работать с изменением освещения. Наблюдаемые объекты зачастую подвержены движению теней, а также могут быть освещены с любого направления (или не освещены вообще).
- Ночью камерам необходимо дополнительное освещение, и передних фар может быть недостаточно.
- Задачи компьютерного зрения требуют высокой производительности процессоров или специфических чипов для работы на уровне актуальных требований.
Компьютерное зрение
Обработка изображения с камеры может быть грубо разделена на две категории: “компьютерное зрение” и “машинное зрение”. Машинное зрение относится к простому, локализованному анализу цифровых изображений. Оно включает в себя такие задачи как поиск деталей и граней изображения, определение движения и параллакса движения, а также применение параллакса к стереоизображениям для определения дистанции. Эти методы достаточно хорошо отработаны, и многие из них вполне понятны. Некоторые задачи машинного зрения (такие как распознавание и чтение дорожных знаков) сложнее, но скоро будут решены.
Компьютерное зрение относится к более сложному множеству задач, которые требуют навыков, подобных человеческим, включая способность к пониманию изображений. Эти задачи также подразумевают такие навыки как способность к разделению изображения на сегменты и распознавание объектов. Человеку можно показать изображение другого человека, находящегося практически в любой обстановке и при любом освещении, и наблюдатель легко определит, что на изображении человек, и даже на каком расстоянии он находится. Мы можем даже определить а что направлено внимание и что делает изображенный человек. Алгоритмы в этой области становятся лучше и лучше, но пока не находятся на достаточном уровне.
Некоторые задачи достигли пограничной зоны. Инструменты машинного зрения ищут в изображении детали, и делают это независимо от размера и ориентации изображения. Это позволяет обнаруживать другие машины, пешеходов, границы дороги и дорожную разметку. Общая проблема точной идентификации — это та проблема, которая, как многие полагают, будет в конечном итоге решена, но гораздо сложнее предсказать, когда это произойдет. Вождение требует, чтобы система «никогда не пропускала» что-либо, что может быть проблемой безопасности. Особенно сложными являются стационарные препятствия, которые находятся настолько далеко, что стереоизображение не работает, и параллакс движения (то, как двигаются объекты на фоне по отношению к другим объектам во время вашего движения) также ограничен. (Объект, к которому вы прямо направляетесь, вроде пешехода или стоящей машины, будет иметь очень малый параллакс движения)
Другой проблемой для систем искусственного зрения является разнообразие освещения и затенения. Объекты могут быть освещены с любого направления. Также солнце может находиться за ними. Зачастую тени пересекают сам объект. В этом случае понадобится применение HDR-технологий для того, чтобы можно было увидеть детали в каждой из зон изображения, когда границы теней размывают характерные черты объекта на контрастном изображении.
Существует специальный тип камер, известный как длинноволновой инфракрасный или «тепловой», в котором используется излучаемый, а не отраженный свет. Объекты, находящиеся в тени относительно солнечного света, все еще будут затенены на изображении, однако больше не будет движущихся теней. Термальные изображения являются монохромными и получаются одинаково хорошо и днем, и ночью, хотя ночью результат немного лучше. Такие камеры могут лучше видеть в тумане и некоторых других погодных условиях. Они могут быть очень хороши в обнаружении живых существ, кроме тех случаев, когда температура земли равна температуре человеческого тела. К сожалению, термальные камеры очень дороги, а модели с хорошим разрешением еще дороже. Они также должны быть установлены снаружи, так как инфракрасные волны не проходят через стекло. В настоящее время нет сообщений о практическом применении этих камер, однако проводятся некоторые исследования.
Существует некоторый потенциал в области «гиперспектральной» визуализации, в которой у вас есть камеры, работающие во многих цветовых диапазонах, включая инфракрасный и ультрафиолетовый. С такими изображениями будет проще распознавать некоторые типы объектов.
Люди способны преобразовывать наблюдаемые двухмерные изображения в трехмерную модель мира, и при этом делают это намного лучше после исследования сцены и наблюдения параллакса движения. Компьютеры в настоящее время скромны в анализе статических изображений и лишь иногда прибегают к использованию движения. Люди пользуются стереоизображением, однако также могут вести машину когда один глаз закрыт или отсутствует.
В свою очередь, лидар может создать полную трехмерную карту сцены за один проход. Многократные проходы могут улучшить картину – и помочь ему оценить скорость.
Глубокое обучение
Большая часть сегодняшнего ажиотажа в компьютерном зрении связана со сверточными нейронными сетями, в частности теми, что созданы с помощью инструмента под названием «Глубокое обучение», который имитирует многие возможности биологического мозга. Многие думают, что именно это направление будет прорывом. Сети глубокого обучения работают с большой обучающей выборкой (и в ограниченной степени даже могут работать даже без специальной подготовки) для лучшего понимания картины мира и принятия действий. Люди создали роботов, которых провели по пересеченной местности с применением методик глубокого обучения, после чего эти роботы были способны обучаться движению в аналогичных условиях.
Это потрясающая работа, но мы еще далеки от высокой точности, которая требуется для беспилотных автомобилей. Также вызывает беспокойство то, что при работе с глубоким обучением мы не знаем точно почему это работает, у нас есть только сам факт работы. Вы можете дообучить нейронную сеть для исправления ошибок, но вы не можете быть уверены, почему дообучение всё исправило. Тот же недостаток характерен и для человеческого мозга, только человек может объяснить вам, почему он поступил тем или иным образом.
Существуют разные взгляды на глубокое обучение в беспилотных автомобилях с юридической точки зрения. Машинное обучение может повредить вам из-за того, что вы не понимаете, как оно работает, а может быть полезно, потому что вы применили лучшие методики с хорошими показателями безопасности и не допустили никаких ошибок, которые можно назвать небрежными.
Машинное обучение имеет тенденцию повышать качество работы с увеличением объема обучающих данных, поэтому прилагаются такие большие усилия для создания больших объемов таких данных. Тем не менее, нейросети не способны распознавать вещи, которые они никогда не видели (или не видели похожих объектов).
Прочие датчики
Самым важным из других датчиков является радар. У радара есть фантастические преимущества. Во-первых, он хорошо видит сквозь туман, в то время как оптические датчики с этим не справляются. Во-вторых, он хорошо видит другие машины и каждое попадание радара дает информацию не только о расстоянии, но и о скорости, благодаря эффекту Допплера. Это даже больше, чем информация с лидара – один снимок радара показывает все движущиеся препятствия и их скорости. Радар может оценить отражения от дороги под машиной или грузовиком перед вами и дать информацию о действиях машины в слепой зоне грузовика – это очень ловкий трюк.
Радары предлагают гораздо меньшее разрешение. Существуют экспериментальные радары высокого разрешения, но они требуют большой радиоспектр (диапазон частот) – больше, чем выдают регуляторы. Радар едва ли сообщит вам находится ли цель на вашей полосе или нет, или она находится на эстакаде или дороге перед вами.
Неподвижные объекты также отражают сигналы радара, и это проблема. Земля, знаки, ограждения — все они возвращают сигналы о том, что они являются статичными объектами. Таким образом, когда стоящий автомобиль отражает сигнал радара, вы не можете точно быть уверены, что это – знак на обочине, или припаркованный на ней автомобиль. Большинство автомобильных радаров просто игнорируют отражения от статичных объектов, что стало одной из причин того, что в течение длительного времени автоматический круиз-контроль не работал в потоках движения, в которых нужно часто газовать и тормозить.
В результате новых исследований был создан радар с более высоким разрешением, а также ведутся исследования распознавания объектов по характерным чертам в их отражениях. Цифровые радиолокаторы c фазированной решеткой могут осмотреть сцену и поднять разрешение на одну степень. Этого еще недостаточно, но это уже улучшение.
Объединение датчиков
Когда вы пользуетесь более чем одним датчиком, вы хотите объединить все данные, чтобы вы могли понимать, что машина, которую засек радар – это то же самое, что увидели камера или лидар. Это повышает качество получаемых данных, но это может и повредить. Объединение датчиков не имеет стопроцентной надежности. Как вы поступите, если радар показывает, что впереди есть машина, а камера считает, что ее нет (или наоборот)? Вам придется выбирать, чему поверить. Если выбор окажется неверным, то может возникнуть проблема. Если поверить в сообщение о препятствии, то можно уменьшить слепоту (что очень важно), но вы можете учесть и несуществующие препятствия с обоих датчиков. Иногда вы получаете лучшее из двух миров, а иногда – худшее.
Несмотря на это, поскольку все датчики имеют различные ограничения, объединение датчиков остается главной целью большинства команд, занимающихся роботами.
Объединение датчиков может быть выполнено и без осложнений, если каждый датчик лучше справляется с конкретной задачей или отдельной областью обзора. Тогда вы доверяете датчикам ту работу, которую они делают лучше всего.
(Нужно учесть, что хорошее объединение датчиков выполняется с учетом необработанных данных со всех датчиков – вы не просто принимаете решения исходя из того, что в данных радара машина присутствует, а в данных камеры – нет. Тем не менее, многие объекты будут отображаться в одном наборе данных с датчика более четко, чем в другом.)
Позиционирование
И камеры, и лидары могут использоваться для позиционирования (определения, где на карте вы находитесь). У лидара есть преимущество в том, что он не зависит от внешнего освещения и пользуется полным 3D, но при этом проблем при позиционировании с помощью камеры меньше, чем при использовании камеры для полноценного восприятия других объектов.
Процесс позиционирования начинается с использования таких средств как GPS, обнаружения инерциального движения и кодирующих устройств в колесах для примерного определения положения. После этого сцена рассматривается и сравнивается с известными картами и изображениями местности для определения точного местоположения. GPS и других средств и близко не достаточно для вождения (и GPS не работает во многих местах), однако расширенное позиционирование работает достаточно неплохо.
Лазеры, камеры, или и то, и другое?
У каждой из технологий есть и преимущества, и недостатки. Так какую же выбрать?
Беспилотные автомобили еще не вышли на коммерческий рынок и появятся в серийном производстве только в 2020 или еще позже даже по самым оптимистичным прогнозам. Правильный вопрос – на какую из технологий вы сможете положиться в будущем.
Главной проблемой лидаров была цена. Некоторые считают смешным, что многие автомобильные команды используют лидар от Velodyne за 75 000 $, или даже их младшую модель на 32 плоскости за половину этой цены. Эта цена выше стоимости самой машины. Тем не менее, это похоже на то, что в 1982 5-мегабайтный диск стоил 3000 $, и многие предсказывали, что дисковые накопители будут неприемлемо дорогой технологией для хранения больших объемов данных. Реальность такова, что технологии в электронике сильно падают в цене по мере того, как они производятся в потребительских объемах, а со временем и по закону Мура цена падает еще сильнее.
Если многие обратят внимание на рынок миллионов лидаров с высоким разрешением, то цена этих устройств значительно упадет. Не до уровня камер, но цены станут разумными, меньше нескольких тысяч долларов, а в конечном итоге и ниже тысячи. Цены на камеры также упадут, но только по закону Мура, так как камеры давно находятся в широком производстве. Известны проекты по разработке более дешевых лидаров как у ведущих поставщиков автомобилей, так и у небольших стартапов,
Конечно, системы с лидарами всегда будут дополняться ограниченным использованием камер для обнаружения объектов вроде светофоров, которые лидар не видит.
Компьютерное зрение также будет становиться лучше. Прогресс машинного зрения внушает больше уверенности, так как отчасти это будет связано с созданием более быстрых и специализированных процессоров, а вычислительная электроника вообще станет дешевле. В частности, чипы будущего смогут обрабатывать изображения с высоким разрешением для большей точности и выполнять поиск по большему количеству образцов и списков характерных черт.
Израильская компания MobilEye, являющаяся в настоящее время частью Intel, (которая, возможно, является лидером в области систем машинного зрения для вождения), делает свой продукт, создавая специализированную интегральную схему, представляющую собой процессор, оптимизированный для работы с примитивами машинного зрения. Они выпустили уже 4 поколения чипа, чтобы сделать его лучше и добиться лучшей производительности.
Это приведет к улучшению компьютерного зрения, но оно также требует и совершенно новых алгоритмов. Дело не в том, что если с компьютерным зрением будет работать суперкомпьютер, то оно станет абсолютно надежным. В таком случае закон Мура предсказал бы вам, когда компьютерное зрения станет коммерчески жизнеспособным для использования в машинах и роботах. Вместо этого нужны алгоритмические открытия.
Нельзя сказать, что таких открытий не будет. Над ними работает большое количество людей, и на них можно заработать много денег. Более того, эксперты по компьютерному зрению есть в нескольких известных командах, занимающихся беспилотными автомобилями, включая VisLab в Парме, китайские команды, работы которых основаны на новаторстве Эрнста Дикманна, проект Mercedes 6D и вышеупомянутая MobilEye, которая имеет большой оптимизм.
Для других команд тот факт, что высока вероятность появления дешевых лидаров, в то время как неизвестно, когда компьютерное зрения станет работать эффективно, приносит одно решение – основывать свои системы на лидарах. Если системы компьютерного зрения станут доступными, то появится возможность перенести большую часть работы на интерфейсы с системами камер.
Высокая цена лидаров привела к тому, что многие люди заявляли, что их системы компьютерного зрения решат проблему того, что беспилотные машины стоят слишком дорого. Реальность такова, что автомобили станут широко доступными лишь тогда, когда они станут выпускаться серийно вне зависимости от того, какая технология используется.
Системы машинного зрения имеют больше смысла в актуальных технологиях, а именно в машинах с системой “Super Cruise”, которые могут оставаться в своей полосе движения и ехать на одной скорости с другими машинами, но требуют постоянного человеческого контроля. Человеческий надзор (к которому водителей принуждают различными способами, например требуя регулярно касаться руля) устраняет множество проблем, связанных с ошибками машинного зрения. Если такие системы не могут обнаружить разметку, то они продолжают ехать прямо, следуя за другими машинами, и громко сигнализируют, чтобы водитель взял управления на себя.
Такие системы с контролем водителя не могут значительно повысить цену автомобиля, поэтому камеры и лидары – почти единственное решение сегодня. Однако это не должно приводить к выводу, что камеры достаточно хороши для работы без присмотра. Они могут работать в 99% случаев, но разница между 99% и 99.9999% это не просто тысячная доля процента. Это фактор десяти тысяч случаев. Другими словами, для вождения без надзора требуется система, которая работает точнее не на один, а на миллион процентов.
Сегодня почти все усилия в области беспилотного управления сосредоточены на безопасности. Многие команды создали машины, которые могут ориентироваться на определенных дорогах, но задача состоит в том, чтобы улучшить машины настолько, что уровень безопасности позволит использовать их публично. Таким образом, вряд ли кто-то будет рисковать безопасностью для экономии небольших сумм денег. Если мы уверены, что стоимость лидаров снизится до 10-20% от стоимости автомобиля, то это совсем не та сумма, из-за которой люди будут делать любой выбор, кроме наиболее безопасного, по крайней мере для первых выпущенных автомобилей. Позже, когда рынок станет сильнее, возникнет ценовая конкуренция, и будут обсуждаться классические компромиссы между ценой и безопасностью, а в случае более дешевых автомобилей будут иметь смысл и системы, которые чуть менее безопасны, но экономят крупные суммы денег.
Так будет не из-за правил, а из-за ответственности. У людей появится желание заявить в суде, что они выбрали систему попроще, потому что она сэкономила 100 000 $, а не потому что она сэкономила 3000 $ на ранних моделях.
Когда камеры будут готовы?
Ввиду того, что использование камер требует алгоритмических прорывов, сложно предсказать, когда они будут достаточно хороши для вождения.
Показатели вождения человека и ужасны, и хороши одновременно. В среднем, каждые 400 000 километров происходят аварии любого рода. Смертельные случаи происходят в среднем каждые 170 миллионов километров и каждые 290 миллионов километров на шоссе. Таким образом, между смертельными авариями на шоссе проходит примерно 3 миллиона часов, хотя между небольшими авариями всего 6000 часов. Многие водители никогда не попадают в аварии, а некоторые становятся причиной нескольких.
Конечно, не каждый случай слепоты систем восприятия будет приводить к авариям. Фактически, люди часто ненадолго отводят взгляд от дороги и редко попадают в аварии из-за этого (хотя 80% аварий связаны с тем, что водители смотрят не туда). Из-за этого трудно установить действительно хорошие метрики надежности. Цифровые системы видят мир кадр за кадром, хотя они также анализируют изменения с течением времени. Если системе восприятия не удается увидеть что-то в одном кадре, но она видит это в следующем, то это почти никогда не будет проблемой – это похоже на то, как человек моргает глазами. Если система чего-то не замечает продолжительное время, то риск того, что это может вызвать опасную ситуацию, возрастает.
То, как долго вы должны отслеживать объекты, зависит от скорости. Если препятствие появляется на дороге и попадает в ваше поле видения, то вы должны суметь затормозить. В то время как поворот может быть запасным вариантом, возможность свернуть есть не всегда, поэтому ваша система должна быть в состоянии остановиться. Это подразумевает надежное обнаружение задолго до начала тормозного пути в зависимости от вашей скорости и состояния дороги. В случае мокрой или заснеженной дороги тормозной путь может быть достаточно велик.
Большое преимущество лидара в том, что по крайней мере в случае объектов приличного размера, вроде пешеходов, машин, велосипедистов и больших животных всегда будет возвращаться лазер, сообщающий об их присутствии. Система может быть не в состоянии точно понять, что это, но она будет знать, что этот объект есть и будет все больше и больше уверена в этом по мере приближения. Если что-то большого размера блокирует дорогу перед вами, вы должны остановиться независимо от того, что это, хотя есть и исключения – птицы или мусор на ветру. В пределах определенного диапазона расстояний и размеров лидар близок к стопроцентной точности, и это очень важно.
Системы зрения могут быть лучше в идентификации объектов. Даже автомобили на базе лидаров используют камеры для идентификации таких объектов как птицы, дорожные конусы, мусор, светофоры и многих других.
Системы зрения также имеют преимущество при езде по незнакомым дорогам. Многие разрабатываемые системы избегают езды по дорогам, которые им неизвестны. Наличие подробной дорожной карты стоит дорого, а скорость ее создания сильно возрастает. Езда по незнакомым дорогам (или дорогам, измененным в результате строительства) по-прежнему важна.
Если бы мы смогли создать рабочую систему компьютерного зрения, которой нужен будет час работы суперкомпьютера для обработки одного кадра, то мы сможем предсказать, когда эти вычислительные ресурсы станут доступными. Однако этой информации недостаточно для предсказания, поскольку дешевые ресурсы действительно позволяют проводить исследования, которые не могут быть выполнены в случаях, когда необходима покупка рабочего времени суперкомпьютера. Во многих случаях для прорыва необходимо появление достаточных вычислительных мощностей и других инструментов в настолько большом количестве лабораторий, что кто-то уже придумает решение.
Я предсказываю, что камеры будут присутствовать всегда, и что их роль со временем будет расти, но лидары не исчезнут в течение длительного времени. Сегодняшние камеры нужны для наблюдения за световыми сигналами, такими как светофоры и поворотники. В будущем они будут использоваться в задачах простого объединения датчиков, вроде наблюдения за объектами, выходящими за пределы обзора других датчиков (по крайней мере днем), чтения знаков и, возможно, даже обнаружения лица и направления взгляда других людей для оценки их намерений. Некоторые из таких задач потребуют либо панорамно-наклонных камер с большой дистанцией обзора, либо множества дешевых камер, что становится для нас все проще благодаря закону Мура.
Совсем другое дело, если ваш робот будет двигаться только на очень низких скоростях. Например, доставочные роботы или “соседские электромобили” в стиле гольфкаров, которые не развивают скорость выше 40 км/ч. На низких скоростях вам не нужна большая дальность обзора, поэтому стереозрение позволит вам увидеть мир в полном 3D, хотя у него все еще есть проблемы при работе с естественным освещением.
Ночью, на низких скоростях, или в помещении вы можете использовать камеры структурного света (как в Microsoft Kinect). Они могут видеть мир в 3D, и на них не влияют перемены в освещении, потому что они избегают мест, засвеченных солнцем.
Хорошее компьютерное зрение с слабым лидаром или мощный лидар и зрение похуже
Хотя некоторые команды все еще надеются сделать все с камерами или лидарами по отдельности, я верю, что победит использование камер и лидаров одновременно. Вопрос скорее состоит в том, что из этой пары будет доминировать и составлять большую часть стоимости. Это зависит от того, как быстро разовьются эти два тренда – падение стоимости лидаров или повышение производительности недорогого зрения.
Большинство команд, использующих высококлассные лидары, полагаются на них и рассчитывают, что они станут дешевыми. Это произойдет, но они все еще будут дороже камер. Чем выше разрешение вашего лидара, тем более точно он сможет все распознавать. В то же время камеры по прежнему будут хороши в получении информации об объектах вокруг и будут необходимы для распознавания таких объектов как светофоры, поворотники и вещей, которые лидар не видит. Лидар ведет к высшему уровню безопасности. Если перед вами есть препятствие, то с лидаром вы всегда будете об этом знать, даже если вы не знаете, что это. И если вы не знаете, то вы останавливаетесь. Системы зрения, которые на 99.9% точны в определении того, что является препятствием, помогут автомобилю работать очень хорошо, потому что он точно будет знать, какие объекты находятся перед ним, куда они направляются и как далеко находятся. Лишь один раз из тысячи эта система поведет себя осторожнее, чем это необходимо.
Классическим примером могут быть такие вещи как птицы или летающий мусор, которые появляются перед вами, но из-за них не нужно сбрасывать скорость. Лидар увидит их, а камера почти всегда даст дополнительную информацию о том, что нужно сделать. Иногда машина может затормозить из-за птицы – но время идет, и это происходит все реже и реже. Это будет работать задолго до того, как системы зрения достигнут тех 99.99999%, которых от них требуют.
Некоторые утверждают, что лучший подход состоит в том, чтобы использовать лидары с низким разрешением и лучшее компьютерное зрение. С лидаром вы точно не пропустите препятствие, но вам всегду будет нужно компьютерное зрение для его идентификации. Тем не менее, в 1 случае из 10 000 или 100 000 эта система не распознает препятствие корректно, и в худшем случае машина поведет себя слишком осторожно и затормозит перед чем-то, перед чем тормозить не нужно.
Проще говоря, первые потребительские машины-роботы, которые появятся с 2017 по 2019 год, будут самыми экспериментальными и наименее отлаженными. Безопасность – главная цель всех усилий, направленных на эти автомобили. Никто не хочет жертвовать безопасностью, чтобы сэкономить несколько сотен долларов, которые лидары, по прогнозам, будут стоить в то время. Только тогда, когда один датчик сможет полностью вытеснить другой, встанет вопрос о выборе только одного из них для экономии. Объединение датчиков создает проблемы, поэтому если останется только один, то в течении нескольких ближайших лет это будет лидар.
Позднее, после 2020, если камеры станут способны обеспечивать требуемую надежность восприятия самостоятельно или с другими датчиками вроде радаров, было бы целесообразно использовать только эти системы для экономии денег, поскольку камеры, вероятно, будут дешевле лидаров в обозримом будущем.
В устройствах с низкой скоростью (до 25 км/ч) можно будет обойтись только камерами, так как не требуется большая дальность обзора.
К тому времени, когда этот вопрос решится, зрение станет очень хорошим, а лидары – очень дешевыми, так что кто знает окончательный ответ?
Ставка Tesla
Известно, что Tesla выступает против лидаров, называя их “костылями” и говоря, что они “отстойные”. Их стратегия состоит в построении системы на 8 камерах и радаре, а позиция заключается в следующем: для реального автономного вождения нужно превосходное компьютерное зрение. Настолько превосходное, что лидар не сможет сообщить никакой новой информации, когда такое зрение появится. Такое высокоуровневое компьютерное зрение, на которое они надеются, способно обнаруживать препятствия с почти стопроцентной надежностью и определять расстояние во всех ситуациях.
Tesla считают, что если у вас есть такое компьютерное зрение, то вы зря потратили время на разработку системы на лидарах, которые больше не дают никаких преимуществ. Большинство других команд считают, что преимущества лидаров слишком сильны, и день, когда компьютерное зрение будет настолько хорошим, слишком далек и сложно предсказать когда он наступит. Они считают, что могут сделать безопасный и работающий автомобиль-робот быстрее, используя лидары и очень хорошее компьютерное зрения вместо почти идеального компьютерного зрения.
Лидары
Те, кто не знаком с лидарами, могут начать с Википедии. Velodyne, популярный у многих команд, занимающихся беспилотными автомобилями, представляет собой цилиндр с 64 лазерами и датчиками. Весь цилиндр крутится 10 раз в секунду и сканирует мир вокруг. Он излучает импульсы света с длиной волны 905 нм (невидимы, ближний диапазон инфракрасного излучения) и засекает время возврата этих импульсов. Velodyne также делают меньшую модель с 32 лазерами и модель с 16 лазерами за 10 000 $.
Импульсы лидаров очень яркие, потому что отражения импульсов должны быть видны даже на солнце. Они, однако, очень короткие, и устройство вращается, а значит не стреляет в одно и то же место, обеспечивая безопасность для глаз людей.
Цена этих устройств складывается из нескольких факторов. Лазеры – это промышленные устройства с высокими мощностью и производительностью, как и рецепторы. Они производятся в ограниченных промышленных объемах, а не в потребительских, как, например, лазеры для DVD. Эти устройства тяжелые, имеют движущиеся части и изготавливаются малыми партиями, а не путем массового производства.
Лидары уже становятся дешевле. Новый 16-лазерный лидар от Velodyne стоит меньше 10 000 $. Quanergy, консультантом которой я являюсь, предлагают устройства с 8 лазерами по цене около тысячи долларов и обещают новый тип лидаров с произвольным разрешением за значительно меньшую цену. Valeo/IBEO предлагают лидар за 250 долларов с 4 лазерами, но ограниченным обзором, Velodyne утверждают, что при больших масштабах производства они могли бы сделать отличную модель за 300 долларов. Цены будут продолжать снижаться.
Есть также некоторые конструкции лидаров, которые стоит отметить:
- У многих лидаров есть от одного до четырех лазеров, и они не вращаются, но имеют вращающееся или вибрирующее зеркало, которое направляет входящий и исходящий свет. Такие модели меньше и имеют меньшие двигающиеся детали. Им сложно видеть с углом обзора в 360 градусов, поэтому в моделях Velodyne вращается все устройство. Для того, чтобы видеть все вокруг, вам потребуется несколько таких устройств.
- Вспышечные лидары посылают яркую вспышку по всей области, а затем она принимается массивом датчиков и таймеров, способных сделать снимок всей сцены сразу. В такой конструкции есть множество преимуществ – нет движущихся частей и вы не получите артефактов движения, потому что и мир, и датчик движутся во время сканирования. В сканирующем лидаре все объекты растянуты и искажены, потому что они двигаются относительно датчика. Вспышечный лидар сегодня стоит очень дорого – ему нужна специальная сенсорная микросхема, и импульс должен быть чрезвычайно мощным, чтобы осветить все поле зрения сразу.
- Микросканеры представляют собой ультратонкие движущиеся зеркала, производимые на основе кремниевых чипов. Так работают большинство видеопроекторов. Хотя там есть движущиеся части, они очень маленькие и могут быть очень легкими и прочными. Некоторые лидары ближнего действия были построены с использованием этой технологии.
- Если вы используете свет в диапазоне 1.5 микрон (средний диапазон инфракрасного излучения), человеческий глаз его больше не фокусирует. Это значит, что вы можете посылать гораздо более яркие импульсы, не причиняя вреда, а это в свою очередь значит, что вы можете видеть на большей дистанции. Плохая новость заключается в том, что 1.5-микронный свет не вызывает срабатывания кремния, а это значит, что вы должны использовать другие типы электроники, технологии, у которых нет низкой стоимости широкого производства, как у кремния. Таким образом, 1.5-микронные лидары очень дороги в данный момент.
- Некоторые специальные лидары были сделаны, чтобы видеть дальше, и они даже пользуются эффектом Допплера, так что они знают как быстро движется объект, который они засекли. Это сложно сделать в лидарах общего назначения с высоким разрешением.
- Некоторые Time-of-flight камеры изучают свет с несущей волной и смотрят на изменения фазы вернувшихся отражений для измерения времени. Такие камеры могут быть очень недорогими, но имеют невысокую дальность и шум в замере дистанций.
О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Читать еще полезные статьи:
