Беспилотные авто. Ответы эксперта Intel

В этом посте мы публикуем ответы эксперта Intel Ивана Кузьмина на вопросы Хаброчитателей по теме «Искусственный интеллект и автономные транспортные средства». Вопросов, как обычно, было много, и мы предоставили Ивану выбрать те, на которые он может и хочет ответить. Для различного рода уточнений приглашаем в комментарии, но быстрых ответов не гарантируем.
В самом конце, по традиции, оглашаем имя Хабрапользователя, получающего приз за лучший вопрос.

Благодарим Ивана Кузьмина за самоотверженный труд и затраченное время!

Вопросы lingvo

Используется ли в реальности ИИ в реально тестируемых сегодня беспилотных автомобилях или это все маркетинговые байки и на самом деле автомобильный автопилот основан на четких математических алгоритмах и логике?

Ответ: в управление беспилотного автомобиля используется различные математические алгоритмы. Все алгоритмы будет очень сложно перечесть, потому что сама задача управления сама по себе сложная и должна как учитывать различные параметры, так и обсчитывать данные, поступающие из разных источников. К алгоритмам искусственного интеллекта или машинного обучения можно отнести как классические алгоритмы (деревья, логистическая или линейная регрессии, метод опорных векторов), так и алгоритмы глубокого обучения (сверточные и рекуррентные нейронные сети). Комбинация различных алгоритмов позволяет эффективно надежно решать задачу управления.

Каким образом производится сертификация данного ПО на соответствие нормам безопасности, принятым для автомобильного ПО и производится ли она вообще? Считается ли автопилот таким же критическим блоком управления автомобиля, как ESP или подушки безопасности, где тоже есть и железо и ПО?

Ответ: безусловно, автопилот является таким же критичным блоком, как и подушки безопасности или другие устройства. Существует стандарт ISO 26262 или его эквивалент ГОСТ Р ИСО 26262 в России, который накладывает требование на весь процесс разработки систем, связанных с безопасностью. Разработчик таких систем в конце разработки должен показать, что он данному стандарту следовал.

Реализуется ли работа автопилота в жестком реал-тайме или пока все на Линуксе/Windows?

Ответ: В общем случае мы должны уложиться в менее чем 140 миллисекунд от получения сигналов или изображения на датчики или камеры до передачи сигнала на систему управления машины. Данную задачу можно решать в режиме жесткого реалтайма, но также ряд автокомпаний и партнеров рассматривает вариант развития направления версии Линукса, который смог бы соответствовать всем требованиям индустрии.

Планирует ли Intel вывести свои наработки в OpenSource и привлечь большее количество разработчиков, или будет держать все в закрытом виде и продавать заинтересованым клиентам?

Ответ: компания всегда поддерживает и поддерживала идеи открытого кода и активно участвует в развитии большого числа OpenSource проектов. В тоже время в вопросах разработки беспилотных автомобилей важным вопросом является соответствие стандарту, что может ограничить участие большого количества разработчиков. В любом случае мы будем взвешивать все плюсы и минусы для каждого отдельного продукта и принимать решение индивидуально. Общей стратегии на этот счет пока нет.

Используются ли при разработки средства моделирования и автоматической генерации кода (например Matlab/Simulink) или все пишется ручками на Си/VHDL? Если да, какой процент охвата от всего количества ПО?

Ответ: автомобильный стандарт требует, чтобы у разработчика было полное понимание того кода, который написан. Это ограничивает возможности использования кодогенераторов. В тоже время модели, построенные в таких инструментах, как Matlab, вполне используются для проверки написанного алгоритма.

Какое железо используется для «быстрого прототипирования» разработанных алгоритмов в реальном автомобиле — процессоры, ПЛИС, готовые платы, датчики/лидары/радары/парктроники, исполнительные устройства?

Ответ: если мы говорим про быстрое прототипирование, то все-таки оно происходит скорее не в машине, а в датацентре. Здесь у компании Intel есть много решений как в железе, так и в программном обеспечении, включая наш пакет Intel Distribution for Python, который существенно ускоряет Python, как наиболее удобный язык для быстрого прототипирования. Когда мы говорим про машину, то здесь язык C и C++, а сама платформа, как правило, задается заранее, учитывая стоимость, энергопотребление и многие другие факторы.

Есть ли уже принятые в индустрии стандарты для подключения указанной периферии к вычислительной платформе?

Ответ: да, такие стандарты уже есть, и они активно используются в существующих машинах и решениях ADAS.

Вопросы kababok

Относит себя Intel к Tier-1-Supplier или к Tier-2-Supplier?

Ответ: компания Intel и Mobileye работает вместе с более чем 50 различных партнеров как напрямую, так и через поставщиков. Данный список постоянно обновляется и последнюю информацию о партнерах всегда можно найти на нашем сайте.

Совместимы ли указанные решения от Intel с архитектурой (уровнями архитектуры) AUTOSAR?

Ответ: компания Intel входит в число партнеров AUTOSAR и активно сотрудничает с данной организацией.

В официальных релизах разумно указано, что решения от Intel для автономного вождения оптимизированы для процессоров Intel. Возможно ли использование/портирование решений от Intel на процессоры других производителей: например, Texas Instrument, Infineon, nVidia, Altera и др.?

Ответ: в оптимизации математических библиотек мы не только полагаемся на компилятор, но также активно используем инструкции процессора, на котором исполняется код. Теоретически можно попытаться замапировать инструкции с IA на другие архитектуры, но здесь важно помнить, что стандарт накладывает требование на весь процесс разработки и потребуется перенести не только код, но и тесты, а так же возможно пересмотреть те гарантии, которые даются. Так что, думаю, портировать код будет крайне сложно.

Получили ли упомянутые решения от Intel сертификацию по стандартам Automotive? Если да — то какие сертификаты?

Ответ: разработка ведется согласно стандарту ISO 26262 и полностью ему соответствует.

Подразумевается ли использование решений от Intel на базе лишь отдельного ECU в архитектуре электронных компонентов автомобиля или же есть возможность поставки решений в виде отдельных библиотек, подключаемых затем посредством выделенных интерфейсов к программным функциям других ECU других автопоставщиков (Suppliers/Zulieferer).

Ответ: у компании Intel есть большое количество компонентов (FPGA, CPU, 5G, Mobileye и так далее) которые можно использовать как отдельно, так и в виде полноценной платформы, которую предоставляет компания.

Взаимодействует ли Intel со своими упомянутыми решениями напрямую с OEM?

Ответ: безусловно, мы работаем с большим количеством партнеров. Всю информацию о тех, с кем мы работаем можно найти на нашем сайте.

Использует ли Intel в процессах собственных разработок что-либо из цепочки SiL/HiL/XiL-стендов?

Ответ: да, в некоторых случаях

В автомобильной индустрии на уровне программных/хардварных решений для разработки/наладки/тестирования/приёмки и других частей R&D-процессов давно de-facto лидерами являются компании Vector Informatik и ETAS. Оптимизированы ли обговариваемые решения от Intel для работы с продуктами от этих фирм?

Ответ: мы работаем и взаимодействуем со многими лидерами в этой индустрии.

Предоставляет ли Intel готовые блоки для симуляций в Matlab/Simulink?

Ответ: на данный момент такие блоки не предоставляются. Информацию о том, что входит в пакет Intel GO SDK можно найти здесь.

Какие процессоры, коммуникационные интерфейсы, операционная система используются на блоке управления в Audi A8?

Ответ: в данном автомобили используется решения FPGA и операционная система VxWorks.

Возможно ли уже получить в частное пользование решение от Intel в виде evaluation kit или же полного тестового комплекта от Intel GO Automotive SDK?

Ответ: Можно запросить доступ по данной ссылке.

Работает ли Intel над использованием решений для автономного/роботизированного управления в авиационной промышленности?

Ответ: подразделение Intel WindRiver разрабатывает операционную систему, которая уже сейчас используется в различных самолетах, включая Boeing 787 Dreamliner или Airbus A400M. Некоторые детали можно узнать здесь.

Для чего конкретно используются средства языка Python в решениях от Intel? А для чего — средства C++? В чем разграничения в употреблении разных языков в рамках одного и того же продукта?

Ответ: язык Python используется на стадии быстрого прототипирования решений в датацентре. Непосредственно в автомобиле предлагается использовать языки C или C++

Достаточно ли сертификации по ASIL D только для процессора AURIX — при недостижении другими компонентами этого уровня?

Ответ: согласно требованию стандарта, мы должны достичь уровня ASIL D для всей системы в целом; при этом можно применять декомпозицию общей системы на подмодули, некоторые из которых могут иметь уровень ниже чем ASIL D.

Вопросы Nick_mentat

Рассматриваются ли возможности разработки автомобилей без систем машинного зрения на неросетях? Если нет, то какое железо будет использоваться, и не будет ли необходимая вычислительная мощность чересчур удорожать автомобили?

Ответ: существуют различные подходы к созданию беспилотных автомобилей и можно выделить 2 противоположных лагеря. Одни утверждают, что нужно строить автопилот, базируясь исключительно на камерах и алгоритмах зрения. Другие считают, что можно использовать радары и лидары, а информацию о знаках получать из карт или с камер малого разрешения. Также есть много тех, кто посередине и активно использует различные средства для ориентирования на дорогах. Мы предлагаем к каждой камере подключать процессор, который будет обсчитывать изображение. Мощность его может быть ограничена, так как в процессе расчета нам не надо распознавать все объекты, а вполне достаточно их классифицировать и отнести к какому-то классу дорога, препятствие, знак, пешеход и так далее. Мы также заботимся о конечной стоимости, вместе с производителями автомобилей, так как конечное решение должно быть обязательно доступно.

Возможно ли организовать достаточно надёжную систему связи, чтобы кластеры майнеров некой пока несуществующей криптовалюты, по всему миру занимались расчётами для едущих в данный момент автомобилей в режиме реального времени? Если да, то какой это будет канал связи, и какое оборудование будет нужно для его поддержки?

Ответ: мы планируем в платформе использовать модем 5G, который позволит загружать в реальном времени карты высокого разрешения, взаимодействовать с другими машинами, а также давать возможность пассажирам подключаться к высокоскоростному интернету. Планируемый канал будет достаточно широк, но не уверен, что останутся незадействованными мощности машины, которые можно было бы использовать для каких-то сторонних вычислений.

Вопросы noonv

Скажите, пожалуйста, какую архитектуру построения системы управления беспилотным автомобилем вы считаете наиболее перспективной? Полностью основанную нейросетях или модульную — где решения на базе «ИИ» работают вместе с классическими алгоритмами?

Ответ: я бы сказал, что модульную. В автомобиле используется много алгоритмов, которые используются все вместе для достижений конечного результата. Безусловно для распознавания образов, нейронные сети сегодня имеют наилучшую точность, но при этом они требуют много данных для обучения, более затратны с точки зрения вычисления и не всегда устойчивы. С другой стороны, для задачи расчета траектории и ее сглаживания можно вполне обойтись классическими алгоритмами.

С какой самой неожиданной проблемой вам пришлось столкнуться при работе над беспилотными системами?

Ответ: наверное, как таковой одной проблемы нет, есть общий объем и сложность задачи, а также ответственность, которую мы на себя берем. Мы говорим про достаточно сложную платформу, в которой много различных компонент, взаимодействующих друг с другом. Понять и проанализировать эти зависимости, убедиться, что они работают так, как они должны, а в какой-то момент сказать, да оно готово, можно выпускать. Для меня, когда я говорю, что оно готово, я думаю не только о том, сколько раз и каких тестов мы прогнали и как формально мы выполнили все требования, но и готов ли я посадить в беспилотную машину свою семью и детей и убрать руки с руля, доверив управление тому, что мы сделали вместе с командой.

Вопрос Rost99

Интересует, каким образом планируется собирать/были собраны данные для обучения, и какой объем данных для этого можно считать минимально достаточным.

Ответ: каждая машина, которая в течении суток едет по дороге, собирает порядка 4 TB данных. Мы планируем выпустить на дороги несколько десятков машин которые в течении года будут собирать эти данные, которые в последствии будут использоваться для обучения. Так что мы говорим о том, что данных будет реально много и наверно это будет тот достаточный уровень, чтобы с уверенностью выпустить машину на дорогу. Достаточно ли этого – думаю, нет, и дополнительное обучение будет происходить и дальше по мере того как машин будет становиться больше, будут совершенствоваться алгоритмы, будут меняться правила и так далее.

Вопрос asympro

Как вы тестируете свои продукты, сенсоры и принятие решений?

Ответ: существуют различные методики тестирования. Часть из них накладывается требованием непосредственно стандартом: тесты построенные исходи из требования функциональности, проверка работоспособности интерфейсов, проверка на расход ресурсов, проверка на работы с неисправными данными и так далее. Помимо всего этого мы накапливаем большое количество данных снятых с датчиков и камер во время движения автомобиля с водителем, данные цифруются, и работа алгоритма проверяется в условиях схожих с реальными. Помимо этого так же ведутся работы по использованию средств виртуальной реальности.

Вопросы sith

Что больше всего мешает (а что вообще не мешает) выпустить доступный беспилотный семейный автомобиль на дороги общего пользования сегодня?
Как варианты:

• Отсутствие недорогих/необходимых радаров на рынке.
• Отсутствие недорогих/необходимых вычислителей.
• Несовершентсво/отсутствие надёжных для всех ситуаций алгоритмов для вычислителя.
• Недостаточно хорошие дорожные условия (плохая разметка, внезапные препятствия на дороге и т.д.).
• Не всегда понятная дорожная обстановка иногда даже для живого водителя.
• Непредсказуемые действия других участников дорожного движения.
• Большие энергопотери на вычислитель (особенно актуально для EV).
• Недостаточная точность и доступность (туннели) данных от систем навигации (GPS)
• Странный внешний вид (выступающие радары).
• Прочие неудобства (багажник частично занят вычислителем).
• Законы.

Ответ: здесь есть много факторов и фактически все они были перечислены. В первую очередь, это, конечно, возможность эффективно и точно обрабатывать данные и рассчитывать траекторию движения, при этом оставаясь в рамках потребления электричества, которое допустимо для автомобиля (в перспективе электрического). Существует много различных частичных решений, которые активно используются (корректировка рядности, адаптивный круиз контроль и так далее). Создание же полноценного беспилотного автомобили требует качественного перехода с точки зрения типов и количества алгоритмов, используемых в конечном решение, многократного дублирования их работы другими алгоритмами и так далее. К примеру, мы говорим, что нейронные сети имеет точность 90+ процентов для распознавания образов. Это очень хороший результат, но чтобы доверить управление, мы не можем полагаться только на такой алгоритм, который заранее известно, что ошибается.

Действительно ли так необходимы радары, если человек вполне успешно справляется с управлением автомобиля вообще в любой ситуации, даже закрыв один глаз и направляя его четыремя кнопками на клавиатуре наблюдая за процессом на плоском экране с очень низким frame rate и чёрно-белой картинкой 640x480?

Ответ: действительно вопрос очень интересный. Как я уже говорил, отвечая на другой вопрос, существуют различные течения. Одни утверждают, что достаточно одной камеры высокой точности и ведут исследования алгоритмов, способных восстанавливать глубину изображения. Другие наоборот утверждают, что радары и лидары вполне могут справится сами по себе и камеры совсем не нужны. Я склонен думать, что в самом начале пути беспилотных автомобилей, которые будут ездить в ближайшие несколько лет, мы увидим решения, которые сочетают и те и другие компоненты, все таки риск ошибки слишком велик и излишнее дублирование не будет мешать. В то же время уверен, что работы по оптимизации решения и сокращения общего количества элементов будут активно продолжать. Куда нас выведет наука, посмотрим лет через 30.

Вопросы Areso

Можно ли выпускать такие авто на дороги с малопредсказуемым движением? Скажем, отдельные части российских дорог, или в значительной части ЮВА?

Ответ: движение в условиях плотного движения нужно будет отдельно тестировать. Работы в этом направление в том числе уже ведутся.

Как такой автомобиль будет реагировать на мотоциклиста, движущегося по междурядью?

Ответ: как на мотоциклиста, который едет по междурядью :) машина не запрограммирована на конкретное поведение других участников движения. Она имеет свою стратегию и адаптирует ее в зависимости от поведения других участников движения.

Будет ли автомобиль нарушать правила (движения, парковки), если его об этом попросит владелец?

Ответ: пока что не предполагается что водитель может сказать, как ехать машине. Выбрать один из предложенных вариантов маршрута да, но не говорить с какой скоростью ехать или, когда надо развернуться. В этом и смысл беспилотного автомобили, что такие ситуации становятся маловозможными.

Вопросы vassabi

Может ли такой автомобиль двигаться по бездорожью (по пляжу, в поле)?

Ответ: наверно он смог бы, но, думаю, здесь нужны немного другие алгоритмы и стратегия. Сейчас в первую очередь решают задачу управления на дорогах общего пользования.

Как автомобиль определяет свое положение на дороге, если нет дорожной разметки? или если есть конфликтующая разметка (старая дорога была 3х полосной, новая — две полосы, и иногда видно старую разметку)?

Ответ: существует разные подходы. Самый простой: мы можем знать сколько полос должно здесь быть исходя из знаков или же исходя из карты и строить виртуальную разметку, учитывая общую ширину дороги. Что-то похожее и делает человек, когда разметки нет. Кстати ситуация отсутствия разметки более типична, чем нам кажется. Многие страны, и не только Россия, находятся на широте, где периодически выпадает снег и ориентироваться в такой ситуации просто необходимо.

Видит ли такой автомобиль люки (канализационные, ливневка)? может ли он отличить открытый люк от закрытого?

Ответ: да, он должен все это видеть, чтобы правильно спланировать траекторию движения. Более того, планируется, что автомобиль будет коммуницировать с другими автомобилями посредством 5G и может, например, узнавать, что происходит за холмом — что человек не может сейчас видеть и знать совсем. Ожидается, что машины будут обмениваться информацией и также учитывать ее при движении.

Как автомобиль ведет себя, если впереди большая лужа? (например — правая полоса в сильный ливень)

Ответ: так же как и человек — сбрасывает скорость до и проезжает спокойно за такое время, дабы не потерять управления. В отдельных случаях может объезжать по соседней полосе, если она свободна. Все зависит от ситуации.

Видит ли атопилот знаки: на столбах, слева\справа от дороги (направление объезда), на полосе (предупреждение об аварии, дорожные работы), шлагбаумы или ленты, натянутые поперек дороги?

Ответ: автомобиль видит все знаки и объекты, на которые он был запрограммирован. Кроме того, он использует те данные о дороге и знаках, которые поступают к нему из карт.

Может ли автопилот дообучаться конкретной дороге сам? (если ездит ездит по небольшому множеству маршрутов)

Ответ: пока что вопрос дообучения непосредственно вождению не планируется проводить непосредственно в машине, но стоит ожидать что алгоритмы и решения будут обновляться и они будут периодически приходить в машину.

Вопрос Ar4er7

Будет ли у автомобиль реагировать на нетипичное поведение других автопилот-автомобилей? Например рассчитывать траекторию ухода от лобового столкновения?

Ответ: стратегия ухода автомобиля от столкновения постоянно рассчитывается.

Вопрос Goodzonchik

Весьма интересна ситуация, когда автомобиль попадает из одной страны в другую, где разнонаправленные движения. Из Франции (правостороннее) автомобиль через паромную переправу попадает в Англию (левостороннее). И если автопилот обучается, то что с ним будет при таком переходе, если для человека такой переход может быть сложен и привести к неочень хорошим последствиям?

Ответ: ситуация действительно очень интересная, возможно автомобилю придется загрузить программное обеспечение для езды в другой стране, ведь в конечном счете каждая страна участвует в процессе допуска автомобиля на свои дороги. Как конкретно это будет происходить, сейчас сказать сложно. Здесь есть над чем подумать и пофантазировать

Вопрос akovalenko2368

В принципе любой автопилотируемый объект должен иметь на борту систему навигации и комплекс технического зрения. Если проводить реалии наших дорог и дорог в европейских странах, то для меня сложно будет представить: как будет справляться автопилот вне больших мегаполисов?

1. Какая система навигации используется в настоящее время компанией Intel с учетом того, что на территории РФ обязательно использование системы ГЛОНАСС?
2. «Зрение» автопилота для «глубинок» предусматривает обучение в части объездов препятствий?
3. С какой максимальной скоростью в настоящее время Вы смогли обеспечить пилотирование авто и предполагаемая (чисто гипотетически) стоимость «АвтоПилот» для установки вне завода)?

Ответ: задача управления по автостраде на самом деле проще задачи управления в мегаполисе. При движении за городом, мы как правило, совершаем гораздо меньше маневров.
Любое решение, которое будет создаваться, будет сертифицироваться непосредственно на рынке, на котором оно будет использоваться.
Да, предусматривается объезд как статичных препятствий, так и реакция на неожиданно появившиеся препятствие.
Стоимость решения всегда зависит от объема, но ряд производителей запчастей планирует продавать отдельные компоненты. Про стоимость не могу сказать.

Вопрос Turisas

Как сможет автопилот решать проблемы на узкой дороге, где не могут разъехаться 2 автомобиля? Если за рулём люди, то они прикидывают кому ближе до «кармана» и тот сдаёт назад. Сможет ли автопилот решать такие задачи?

Ответ: два автопилота могут заранее сообщить друг другу что приближаются к такому участку и «договориться» как им разъехаться.

Вопрос quverty

После недавних новостей хотелось бы узнать перспективы применения такого продвинутого «железа». Или это слишком дорогие «игрушки»? С квантовыми компьютерами вообще перспективы непонятны. С другой стороны, тот-же Фольксваген заключает по этому поводу какие-то соглашения с Google, а Honda с IBM.

Ответ: сейчас это направление находится в самом начале своего развития, но постепенно оно будет становиться все более доступным и вполне может начать использоваться в самых различных устройствах.

Вопрос Pilat

Кто будет отвечать за аварию в случае участия двух ИИ, в случае ИИ и живого водителя? Как будет разбираться такое происшествие?

Ответ: вопрос этот открыт и решается в каждой стране отдельно. Например, в ряде скандинавских стран рассматривается вопрос, что ответственность на себя будет брать непосредственно государство, так как оно выдает разрешение на допуск автомобилей на дороги.

Вопрос Drakosha

Будет ли такой автопилотируемый автомобиль самостоятельно ездить по сервисным делам (заправка, ремонт) без людей/водителя в салоне?

Ответ: да, думаю вполне может, а если мы говорим про электрические автомобили, то сейчас активно ведутся работы по заряду батарей бесконтактным способом, что может существенно упростить весь процесс.

Вопросы SizovAlex

На какой стадии находится переход индустрии беспилотного наземного транспорта из области лабораторных «тепличных» экспериментов в область реального практического применения?

Ответ: думаю мы увидим решения непосредственно на дорогах уже в ближайшие 5 лет

Осталось ли место в этой индустрии для малых групп разработчиков или передовые исследования теперь под силу и по карману лишь крупным игрокам этого рынка?

Ответ: в последнее время мы видим большое количество небольших компаний, которые выходят на рынок и предлагают некоторые свои решения. Многие из этих решений находятся на стадии прототипа, но сами по себе достаточно инновационные. Что касается финального решения, которое будет непосредственно работать в машине, то здесь все же осталось место только крупным игрокам, в первую очередь из-за стоимости самого финального решения с соблюдением всех требований автомобильного стандарта.

Имеет ли компания INTEL свои опытные образцы беспилотных авто и будут ли они представлены в грядущем технологическом конкурсе «Зимний Город»?

Ответ: образцы имеются, но сейчас они представлены за рубежом. Одну из последних наработок можно было увидеть на CES в Лас-Вегасе, в начале этого года. Сам я в ней не ездил, но по рассказам тех, кто пробовал прокатиться, ощущения потрясающие.

Приз от эксперта Intel достается пользователю kababok, задавшему целых 27 вопросов! Сразу видно, что человек в теме и копает глубоко. Примите наш небольшой, но приятный подарочек.