Мир глазами автомобиля. Каким его видят беспилотники?



    Прогресс в области беспилотных автомобилей за последние годы стремительно ускорился. Уже с 1 декабря 2018 года беспилотники смогут беспрепятственно передвигаться по дорогам общего пользования в Москве и Татарстане. Кажется, еще немного и мы сможем сесть в машину и заниматься своими делами, пока наш транспорт возьмем на себя управление всем процессом вождения. Мечты мечтами, а на что в действительности способен такой автомобиль и вытеснит ли он человека?

    На пути к полной автономности


    Международное сообщество автомобильных инженеров (SAE International) разработало шестиуровневую классификацию автономности автомобилей. Эта система демонстрирует путь, который успели пройти автомобили за последние десятилетия, и описывает трудности, которые еще предстоит решить, чтобы создать по-настоящему беспилотное транспортное средство.

    Уровень 0 — нет автономности. К этому уровню можно отнести все машины, никак не вмешивающиеся в процесс управления. Без человека такой автомобиль не тронется с места и не сможет избежать аварии. ABS или парктроник – вот и все, что можно ждать от авто нулевого уровня.

    Уровень 1 — минимальная помощь. Включает машины, способные управлять рулением или ускорением/торможением при постоянном контроле со стороны водителя. Сюда же относятся системы помощи при парковке, когда рулем управляет авто, а водитель занимается педалями.

    Уровень 2 — помощь с вниманием водителя. На втором уровне присутствует полная автоматизация несложных процессов, требующих одновременного автоматического управления рулением и движением. Сюда же входят современные продвинутые системы помощи водителю (ADAS).

    Уровень 3 — ограниченный автопилот. Пограничный уровень, на котором уже можно говорить о полноценном автопилоте, действующем в рамках отдельных сценариев. В отличие от машин второго уровня, машины третьего не требуют постоянного внимания со стороны водителя — человек может заниматься своими делами, не хватаясь за руль каждые полминуты.

    Уровень 4 — автопилот в городах. От абсолютного автопилота (5-й уровень) автомобили четвёртого уровня отличаются тем, что им нужны 3D-карты местности, с которыми автомобиль будет сверяться во время движения, сканируя местность. Если машина четвёртого уровня окажется в местности, отсутствующей на таких картах, автопилот перейдёт в режим третьего уровня или вовсе отключится.

    Уровень 5 — полный автопилот. Тот самый сферический автопилот в вакууме, способный передвигаться в любую погоду и в любых точках планеты: будет ли это разбитая дорога без разметки, лесная просека, заснеженный горный перевал, загруженный мегаполис — автопилот пятого уровня пройдет везде, анализируя обстановку на ходу. Ему не требуются подготовленные 3D-карты — автономный автомобиль пятого уровня своими умениями соответствует живому водителю.

    Как работают реальные автономные автомобили?


    Камера + процессор обработки изображений

    При разработке первых полноценных беспилотных авто основным способом восприятия пространства вокруг машины были камеры. Они позволяли быстро получать изображения в видимом диапазоне с широким углом обзора. Однако одной картинки с камеры для успешного функционирования автономного автомобиля недостаточно, беспилотнику нужен электронный аналог человеческого мозга, то есть специализированный процессор обработки изображений.

    Созданием таких процессоров занимаются как крупные опытные компании, так и стартапы, скажем, Mobileye, ставший частью Intel, NVIDIA. Подобные разработки есть и у Toshiba. Семейство процессоров Toshiba Visconti обрабатывает картинку с четырёх камер, оценивая изображения сразу по множеству критериев: разметка, движущиеся и припаркованные авто, светофоры и знаки, встречный свет фар, пешеходы и велосипедисты. После определения и классификации объектов на видео, процессор передаёт информацию в «мозг» машины, чей автопилот уже и принимает решение об оптимальном поведении. Так работает расширенная система помощи водителю ADAS, предупреждающая столкновения и наезды на пешеходов (критерий автономности второго уровня).


    Связка из камеры и процессора Toshiba Visconti следит за дорожной ситуацией лучше и внимательней человека. Источник: Toshiba

    Полный цикл работы Toshiba Visconti прошлых поколений от получения изображения до выдачи информации с результатами распознавания занимал до 100 мс. В Visconti 4 цикл удалось сократить до 50 мс. В лучшем случае время реакции водителя составляет 500 мс. За это время едущий на 80 км/ч автомобиль пройдет 11 метров — большое расстояние в случае опасной ситуации на дороге.

    Visconti также решает проблему монокулярного зрения — процессор способен строить трёхмерную реконструкцию пространства, анализируя последовательность кадров при движении. Это работает как для движущихся, так и стационарных объектов на проезжей части и за её пределами.

    Радар

    Камеры не способны распознавать удалённые объекты и строить детализированные карты, к тому же их функциональность напрямую зависит от погодных условий. Компенсировать эти недостатки могут радары, излучающие радиосигналы с частотой в десятки гигагерц. Они идеально определяют препятствия в пространстве. Радары с частотой излучения в 24 ГГц и 77 ГГц уже применяются в дорогих системах ADAS для заблаговременного торможения при обнаружении пересечения курсов движения с пешеходом или другим авто. В отличие от камер, у радаров очень узкий угол действия, обратно пропорциональный желаемой дальности действия. К тому же радар имеет высокую себестоимость (на уровне 1000 долларов), что сразу ограничивает круг его использования исключительно представительскими и премиальными автомобилями.

    Радары отлично справляются с локализацией объектов, но без определения их формы и лишь в узком диапазоне.

    Лидар

    Лидары считаются самым эффективным, но при этом самым неоднозначным сенсором для автономных автомобилей. Они строят подробнейшую картину мира вокруг себя с помощью лазерных лучей, которые отражаются от препятствий и возвращаются обратно. Причём лидары делают это с недосягаемой для других сенсоров точностью. С помощью лидара автомобиль создает собственную 3D-карту на десятки метров вокруг, распознавания машины, людей и любые препятствия.

    Так видит мир автомобиль с лидаром

    Однако недостатков у лидара пока больше, чем достоинств. Во-первых, лидары становятся беспомощны под сильным дождём или во время снегопада — лазерные лучи отражаются от капель воды и хлопьев снега. Во-вторых, лидар должен иметь полный круговой обзор, а значит, он создаёт «горб» на крыше авто. В-третьих, лидары не просто дорогие, а очень дорогие: ранние образцы производства Velodyne обходились в 75 тысяч долларов, современные разработки Waymo стоят 7500 долларов.


    Линейка лидаров Velodyne. Источник: Velodyne

    Появление «твердотельных» лидаров без движущихся частей должно на порядки снизить стоимость устройств в ближайшие годы. Velodyne заявляет, что совершила некий прорыв, который уменьшит цену лидаров до 50 долларов.

    Toshiba же в свою очередь работает над улучшением эффективности лидаров. Так, в этом году был представлен новый чип, объединяющий в себе цепи для анализа данных на дальних и ближних дистанциях. Это позволило удвоить эффективную дальность действия лидаров до 200 м, а также избавиться от проблемы засветов, влиявших на качество отражений.

    Как это устроено у...


    …Tesla

    Для реализации автопилота в автомобили Tesla устанавливается система из восьми камер с разным углом и дальностью обзора, 12 ультразвуковых датчиков по кругу и дальнобойный фронтальный радар. Ультразвуковые датчики отвечают за распознавание машин в соседних рядах и препятствий при движении на небольших скоростях. Камеры отвечают за поиск пешеходов, автомобилей, разметки и знаков. Помогает им в этом радар. Для движения по маршруту используется GPS, а сенсоры следят, чтобы машина шла строго по полосам и избегала аварий. С одной стороны, это позволяет использовать автопилот Tesla в любых городах. С другой, для работы автопилот все равно требует внимания водителя.

    В Tesla намеренно не используется лидар, Илон Маск открыто выступает против лидаров, обосновывая это их ценой и проблемной работой в плохую погоду. Трудно с ним не согласиться – дополнительные 7-10 тысяч долларов к цене и «горб» на крыше не прибавили бы Tesla привлекательности.

    Как бы хорошо не смотрелась связка из камер, радара и ультразвуковых датчиков, и у них бывают сбои. В 2018 году Tesla Model S в режиме автопилота врезался в дорожный разделитель, что стало причиной гибели водителя. Как показало расследование со стороны владельцев электромобиля, автопилот Tesla не смог правильно считать стершуюся разметку, а камеры и радары, в свою очередь, не увидели опасности в стремительно надвигающемся стальном барьере.

    …Waymo

    В системах Waymo используется лидар, пять радаров, восемь камер и GPS, а в качестве серийных коммерческих носителей выбраны автомобили Chrysler Pacifica Hybrid (сейчас 600, планируется закупка 62 тысяч штук) и Jaguar I-PACE (в планах 20 тысяч штук).


    Электромобиль Waymo Jaguar I-PACE не столь утилитарен, как просторный Chrysler Pacifica, но выглядит потрясающе — даже лидар на крыше не сильно портит вид. Копирайт: Waymo

    При движении система Waymo использует данные Google Street View, сверяясь с ними с помощью своих сенсоров. Благодаря этому достигается полная автономность – в отличие от Tesla, машины Waymo действительно не требуют вмешательства водителя, а просто перевозят пассажиров. В отличие от Tesla, Waymo продают не автомобили, а услугу перевозки, то есть роботакси.

    Панорамное видео Waymo помогает понять, как автономный автомобиль распознает окружающее пространство.

    Главный недостаток Waymo — крайне ограниченный список городов, где работают беспилотники — для корректного функционирования автопилота городская среда должна быть отснята в 3D, а это долгая и сложная процедура, поэтому пока Waymo действует лишь в двух десятках американских городов. Впрочем, расширение дорожной сети — лишь вопрос времени. Большого времени.

    …Яндекса

    Яндекс представил свой проект беспилотного автомобиля всего год назад. На Toyota Prius устанавливался блок из лидара, камер, радаров, GPS и IMU, то есть типичных для автономных автомобилей компонентов. От Яндекса беспилотнику досталась программная платформа, которая хорошо себя показала как при движении по тесным московским улицам района Хамовники, так и при дальнем путешествии из Москвы в Казань.

    Доехавший до Татарстана автомобиль Яндекса там и остался, став первым беспилотным такси в России. Сейчас он работает на территории города Иннополис, перевозя пассажиров между пятью главными точками. А в октябре аналогичное такси появилось на территории Сколково. В далеких планах компании вывести беспилотные такси на улицы городов на коммерческой основе.

    …КАМАЗа

    В 2016 году государственный институт НАМИ показал беспилотную «маршрутку» ШАТЛ, тогда еще бывшую не более, чем экспериментальным концепт-каром. Спустя два года КАМАЗ-1221 ШАТЛ был объявлен будущим серийным проектом, который встанет на конвейер в 2022 году. Мини-электробус с лидарами, камерами и ультразвуковыми датчиками пока осторожно передвигается на скорости 10 км/ч, но по мере совершенствования программной платформы скорость обещают подтянуть до 110 км/ч.

    Что изменят беспилотники?


    Исключение человеческого фактора позволит увеличить предельные условия эксплуатации автомобилей — увеличить максимальную скорость, уменьшить ширину полос, снизить дистанцию между автомобилями в потоке. Как следствие значительно возрастет пропускная способность дорог, вырастет средняя скорость и уменьшится количество заторов.

    По оценкам американского Highway Capacity Manual, одна полоса шоссе за час пропускает порядка 2200 машин под управлением людьми. Различные исследования показывают, что переход на автономные автомобили позволит увеличить этот показатель до 7200-12000 машин в час. Такой впечатляющий скачок эффективности использования дорог достигается за счет увеличения безопасной скорости и уменьшения дистанции между авто на полосе с 40-50 метров до 6-7 метров — автомобилям, передающим друг-другу данные о своей скорости и предполагаемых маневрах, будет достаточно такого расстояния для безопасного движения.

    Однако до такого беспилотного будущего нам пока далеко. Серийные автомобили известных автопроизводителей только-только адаптировали второй уровень автономности, самые лучшие и дорогие модели готовятся перешагнуть на третий уровень. Но в ближайшее десятилетие о беспилотниках пятого уровня автономности не стоит и мечтать — человек еще долгое время будет главным на дороге.
    Toshiba
    207,00
    Больше, чем обычные технологии. Больше, чем бизнес
    Поделиться публикацией

    Комментарии 35

      +1
      всегда интересовался… почему у робомобиля должна быть куча радаров/лидаров/камер/датчиков, а вот живой водитель оборудован всего двумя камерами да и те — так иногда так себе. И при этом ему не сильно мешает снег, дождь, хреновая дорога или ее отсутствие и тд. Неужели все современные технологии не способны работать с двумя камерами, которые видят даже лучше, чем глаза, на уровне обычного водителя? Оо
        +1
        Водитель крутит головой и смотрит в зеркала заднего вида. Так что в пересчете на неподвижные камеры их все же больше, чем две. Радар, наверное, мера дополнительной безопасности. Что касается лидаров, то считаю, что более перспективные технологии — те, где их нет.
          0
          Живой водитель укомплектован (как правило, но не всегда) мощным компьютером под крышкой черепа, который обрабатывает информацию с видео- и аудио- сенсоров. Кстати, видет живой водитель не глазами, а зрительной корой большого мозга.
            +2
            У водителя очень крутой софт, который разрабатывался в течение очень большого промежутка времени :)
              0
              Главное — не данные с датчиков, а информация, полученная после обработки данных. Разрешающая способность глаз выше, чем у любых автомобильных камер. К тому же, человек может быстро менять направление взгляда и крутить головой, а машине нужно 6-8 камер или лидар. На стороне человека абстрактное мышление, на стороне машины — внимательность и скорость реакции.
                0
                а вот живой водитель оборудован всего двумя камерами да и те — так иногда так себе.


                У него обычно ещё и пара пассивных локаторов звукового диапазона присутствует, с очень широким набором известных сигнатур в комплекте.
                  0
                  Еще есть простенькие акселерометр и гироскоп…
                    0
                    И всё это тёплое, ламповое аналоговое, с отвратительным быстродействием, регулярно подглючивает, но таки работает в реал-тайме.
                0
                Вот меня что всегда интересовало. Кажется, всегда есть object detection, всякие там пешеходы, автомобили и прочее. Но а если есть какое-то случайное препятствие, на которое распознаватель не обучен?
                  0
                  Процессоры обработки изображений отдельно различают участников дорожного движения, элементы дорожной инфраструктуры и отдельно любые другие объекты на дорожном полотне. Компьютеру не важно, будь это упавшее дерево, коробка или обломок бампера — машина примет все возможные меры, чтобы объехать препятствие, которого на проезжей части быть не должно. В сложных ситуациях, когда камера не может различить объект на дороге, спасает радар — ему все равно на освещение и погодные условия. Но в случае с Tesla и дорожным разделителем система по неизвестным причинам не сработала.
                    0
                    Радару совершенно не всё равно на дождь — и рассеяние, и поглощение.
                  0
                  Почему в робомобилях стараются читать бумажную литературу?
                  Вчера вот тоже в посте КДПВ.

                    0
                    Чтобы подчеркнуть олдскульность куска мяса за рулём?
                      0
                      Да это та же самая машина, та же самая девица и даже книга открыта на той же самой странице.
                      0

                      Может когда прикрутят смарфоны к машинам… у смартфонов будет две камеры как у человека и он будет ставится в машине на подставку которая крутится — как голова водителя а программу автопилот можно будет скачать в маркете

                        0
                        Ага, уже вижу… как можно будет запускать автопилот с мобильного, при этом програ — бесплатная и написанная школьником на уроках информатики… через лет 200.
                          0
                          Если доработать окружающую инфраструктуру, то в принципе автопилот мог бы и школьник сделать. Прочертить на дороге белую линию, по которой будет ехать авто, как приклеенное — спереди щетка, чтоб сметать мусор с линии и набор датчиков препятствий. машина всегда едет по линии, никуда не сворачивает и не может с нее съехать. Если линия закончится — машина встанет. Если возникнет препятствие — машина встанет и будет ждать, пока его уберут. Весь маршрут следования — набор поворотов — повороты так же по линиям идут. Знаки ненужны — на каждом перекрести линии проходят так, чтоб соответствовать разрешенным поворотам. В самое машине есть простенький радиомаяк, который видят другие машины, определяя скорость и направление по нему, чтоб не совершить столкновение на повороте например. Светофоры тоже ненужны — машины просто снижают скорость перед каждым перекрестком и двигаются ориентируясь на маяки друг друга/препятствия. Перед пешеходным переходом на белой линии есть метка, требующая снижение скорости до 20-30 км в час на следующие 100 метров. Такие есть и перед перекрестками с приоритетами и перед ЖД и на въездах во дворы и парковки (зона парковки также обозначается знаком на линии). Периодически по линиям катаются роботы и их обновляют ( в ночное время ) А зимой катаются роботы с горячей водой/феном, чтоб убрать лед и снег. Есть и минусы — обгон невозможен, опережение тоже… зато сам автопилот простой как топор и может стоить копейки. В принципе допускается движение машин без автопилота, но требует установки маяка в них. Ненужны ни камеры, ни лидары ни сложный софт и дорогие мозги… можно ставить на любую серийную машину. Внешне никак не выделяются. Да и технология отработана — еще в 70-80ых были заводские тележки, которые так же по линиям катались…
                            +1
                            Предположу, что такое возможно будет на другой планете, ибо на текущей, слишком много наследия предыдущих поколений, которые вы просто так не выбросите. Даже, если захотите создать отдельный новый город, то это будет похоже на резервацию. Поэтому сейчас нужно работать с тем, что есть и учитывать много факторов, в том числе — ямы на дорогах или отсутствие разметки.
                              0

                              При малейшем проишествии (дтп, повреждении разметки, поломке транспорта, корова вышла на дорогу, дорогу засыпало снегом) всё полностью встанет.
                              Разметка критична для функционирования системы, но находится на "чужой" территории — за ней всей не уследишь, и поэтому следует ожидать, что она будет повреждаться.


                              А зимой катаются роботы с горячей водой/феном, чтоб убрать лед и снег.

                              Очень много энергии нужно на растопку льда. И куда девать получаемую воду? Она тут же замёрзнет или где-то рядом выпадет снегом.


                              простенький радиомаяк

                              Не такой уж и простенький, должен как минимум передавать свои координаты, скорость, направление, свои намерения по поводу движения, и принимать и надёжно обрабатывать (!) аналогичную информацию от "собратьев". Либо, можно каждый перекрёсток оснащать аналогом светофора (это, наверно, проще).


                              обгон невозможен, опережение тоже

                              При желании это можно организовать.

                                0
                                Очень много энергии нужно на растопку льда. И куда девать получаемую воду? Она тут же замёрзнет или где-то рядом выпадет снегом.

                                Это называется снегоплавильная установка. Сливает в систему водостока или канализацию.
                                0
                                Если доработать окружающую инфраструктуру, то в принципе автопилот мог бы и школьник сделать. Прочертить на дороге белую линию.


                                А если шутники эту линию нарисуют идущей не туда куда надо?
                                Почему вы «позитивную» доработку берете но не учитываете возможность саботажа например или розыгрыша?
                                Вот я беру в руки полосатую палку и выхожу на дорогу — автопилот обязан остановиться.
                                В отличии от живого водителя он не может выйти и дать шутникам целительного пендаля.
                                Достаточно всего одного примера на ютубе как «засаботировать» автопилот чтобы завтра этим развлекались все кому нечего делать, включая уволеных хомо-водителей. Я не говорю про более сложныее варианты техно-саботажа, достаточно залепить камеры грязью на светофоре.
                                  0
                                  с ТАКИМ подходом очень легко полностью уничтожить окружающий мир… Что помешает тем же шутникам например скинуть с моста на поток машин покрышку от камаза и вызвать массовое дтп? Или пережечь термитом опору лэп, вызвав ее падение… да даже простая термитная шашка на рельсах может пустить пассажирский поезд под откос… то есть если человек захочет изгадить людям жизнь — он найдет способ и рисование линий тут вообще не принципиально… Ну если уж совсем на то пошло — джипиэс никто не отменял, а заметив расхождение установленной карты и реальной линии автомобиль просто встанет и будет ждать корректировки.
                                    0
                                    с ТАКИМ подходом очень легко полностью уничтожить окружающий мир…


                                    Зачем весь мир, бывают и менее радикальные цели.
                                    Например терроризм или индустриальный саботаж, устранание конкурентов.
                                    Мир до сих пор жив благодаря тому что современные системы имеют запас «взломо-устойчивости».
                                    В случае с автопилотом разработчики очень увлекаются технической стороной дела, но я вижу что они совсем забыли об этой самой безопасности. А зря. Стоит потратить время на проработку взломо-устойчивости и саботажo-устойчивости пока есть время. Иначе это сферический конь в вакууме.

                                      0
                                      Террористов, про которых орут по телеку — не и небыло никогда, все это выдумки нашего правительства, желающего отнять у граждан все права и свободы, приблизив их статус к рабам. В этом довольно легко убедиться если посмотреть реальне факты и подумать. Так что успокойтесь — не никаких террористов. А психи-одиночки и так и так нагадят, их трудно отследить. Дальнейшее повышение защещности и отказоустойчивости систем нецелесообразно с экономической точки зрения. Пока что шанс погибнуть от саботажа — на уровне шанса погибнуть от удара молнии… Просто про молнии по телеку никто не говорит, ими неудобно пугать граждан. А вот громадное количество жертв в ДТП происходящих по невнимательности или откровенному идиотизму — автопилот мог бы устранить. В ДТП в год гибнет больше людей, чем погибло за всю историю терроризма.
                                        0
                                        Пока что шанс погибнуть от саботажа — на уровне шанса погибнуть от удара молнии


                                        у нас в заграницах серийные убийцы-саботажники обычное дело:

                                        Shipman, a family GP working in Hyde, Manchester, is thought to have killed 218 patients with lethal injections of diamorphine
                                        www.independent.co.uk/news/uk/crime/harold-shipman-doctor-death-serial-killer-gp-mass-murderer-hyde-manchester-itv-documentary-a8323176.html

                                        Germany serial killer: Niels Hoegel 'killed at least 100'
                                        www.bbc.com/news/world-europe-41930177

                                        Вот это примеры когда система не обладает устойчивостью к саботажу.
                                        Это необязательно идейные террористы, возможно просто люди с больной психикой. Если в автопилота не заложить соответствующий уровень безопасности то я вангую лет через 30 газеты будут пестреть историями как безумный или несправедливо уволенный программист встроил в свой код что-нибудь, чтобы в пятницу 13 числа все автопилоты вывернули руль до отказа в сторону на полном ходу.

                                  0
                                  Прочертить на дороге белую линию

                                  Лучше в асфальт закапывать RFID метки. Дороже, но надёжнее. Будет всё равно на стираемость краски, снег.
                                    0
                                    Тогда еще проще металлический дрын закопать.
                                      0
                                      Проложить рельсы?
                                        0
                                        Угу, и контактную сеть :)
                                          0
                                          Опять трамвай получился.
                                          Может это знак свыше или толстый намёк — «не страдайте хернёй, трамвай/метро сначала автоматизируйте полностью и на них уже обкатывайте все вот эти вот лидары/радары/камеры/ИИ/нейронки».
                                        0

                                        Можно магнитов полосками натыкать, и считывать расположение полосы линейкой "магнитофонных" головок.

                                          0
                                          Это будет работать, только пока автомобиль движется.
                                            0

                                            Естественно, и причём когда движется достаточно быстро. Когда совсем не движется, удержание в полосе не нужно. Остаётся вопрос, что делать на "малых" скоростях.

                                +1
                                Меня интересует вот какая вещь: если два автомобиля с лидарами одного производителя едут рядом, лидары не будут конфликтовать? Как у них разделение происходит?
                                  0
                                  Лидар испускает лазерный луч и ждет его отражения, оставаясь, как правило, безразличным к отражениям, приходящим с других сторон. Если во время движения лидар все-таки поймает излучение другого лидара, то существующие алгоритмы коррекции ошибок отфильтруют посторонний сигнал.

                                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                Самое читаемое