Tesla давно мечтает сделать камеры, работающие не хуже лидара. Если ее мечта осуществится, это сильно поможет конкурентам.
Всем хорошо известно, что думает Илон Маск о применении лидара (технологии трехмерного изображения) в беспилотных автомобилях. Он не планирует использовать ее в Tesla и считает костылем. Это очень спорная точка зрения, только время покажет прав ли он.
Tesla продвигает технологию, называемую псевдо-лидаром или виртуальным лидаром. Эта технология заключается в построении инструментов для создания снимков с камеры (стерео или обычных). Нужно выяснить насколько далеко находится каждый пиксель на снимке. Лидар вычисляет расстояние до каждого пикселя. Он определяет сколько времени требуется световому импульсу, чтобы попасть в пиксель и вернуться обратно со скоростью света. Люди оценивают расстояние, используя мозг. Мы знаем насколько большие те или иные предметы и как они движутся. Это дает нам представление о том насколько далеко они находятся. Мы также используем стереозрение, потому что у нас два глаза. Однако стереозрение работает только на относительно близком расстоянии. Еще есть параллакс движения — вы наблюдаете за тем как движутся предметы на фоне и используете некоторые другие подсказки, чтобы определить расстояние до объекта.
Это удивительные явления. Человеческий мозг легко с ними справляется. Вы можете делать это даже с одним закрытым глазом пока ведете автомобиль. Люди пытаются создать методы машинного обучения, которые тоже смогут определять расстояние по изображению, используя нейронные сети. Это и есть виртуальный лидар. Вот результат одного интересного исследования.
Обучить виртуальный лидар гораздо проще, чем обучить обычные нейронные сети. Для этого обычно требуется множество изображений, для которых люди кропотливо вычисляют расстояния. Поскольку на тестовой машине может быть установлен действительно дорогой лидар, вы можете прокатиться на ней и получить не только тестовые данные, но и показатели с лидара. Вы показываете нейронной сети кучу изображений с реальным расстоянием, вычисленным лидаром, и сеть учится определять расстояние самостоятельно. Этот метод — своеобразный вид «обучения без учителя» (unsupervised learning). Вам не нужны люди, определяющие расстояние вручную. Обучение без учителя значительно дешевле чем «с учителем». Что нейронные сети могут делать действительно хорошо, так это обучаться. Их можно также обучать на данных симулятора, чтобы улучшить свои модели.
Можно также полагаться на то, что объекты реального мира меняют расстояние определенным образом. Эти изменения можно предсказать. Когда вы видите объект, движущийся по всем законам физики, ваша оценка расстояния, скорее всего, будет правильной. Если вы увидите, как объект прыгает в космосе каким-то невообразимым образом, вы будете знать, что ваши расчеты вероятно ошибочны.
Нейронные сети с этим справляются. Их единственная проблема в том, что они смотрят на отдельные кадры, а не на движущиеся изображения, как люди. Мы часто ошибаемся, когда речь идет о статичных изображениях. Со временем методы машинного обучения смогут превзойти нас в этом. Проблема в том, что мы должны убедиться, что эти методы чрезвычайно надежны. Вы также должны обучать нейронные сети на вещах, которые вы сами никогда не видели. Это будет для них своеобразным вызовом. Например, что-то необычное замаячило впереди на тропинке вашего переулка. Вам нужно узнать насколько далеко эта штука находится, причем узнать наверняка и в ближайшее время. Если это машина, вы знаете размер машины, поэтому понимаете как далеко она находится. Также можно показать нейронной сети поворачивающую машину. Для человека это нормальное явление, но нейронная сеть может быть такого никогда не видела. Когда вы видите какой-то объект, то задаетесь вопросом: это большой объект вдали или маленький объект вблизи? Единственный способ узнать это — увидеть связь объекта с геометрией дороги. Это сложнее.
Если кто-то справится с этой задачей, у него будет инструмент, который сможет делать снимки с камеры и создавать трехмерное «облако точек» благодаря лидару. Поскольку камеры дешевле, на создание этого инструмента уйдет гораздо меньше денег. Также этот инструмент сможет справляться с очень большими расстояниями. Многие лидары ограничены расстоянием в 120 метров. Дорогие лидары могут распознавать объекты на расстоянии 240 метров. Люди же способны понять, что находится на расстоянии мили.
Ирония в том, что разработчики лидара сделали эту технологию, зависящей от облака точек и потратили много времени на ее улучшение. Если идея с псевдо-лидаром внезапно выгорит, то создаст качественные облака точек, которые можно будет сразу же использовать. Те, кто надеется на псевдо-лидар, получат другой опыт использования данных в этой форме. Им придется придумать как объединить другие элементы своей системы зрения с оценкой расстояния. К таким элементам относится сегментация изображения на разные объекты и их классификация. Tesla может быть совсем не готова использовать тот прорыв, на который так надеялась.
Компании, использующие лидар, наоборот окажутся в выигрыше. “Отлично, мы можем заменить дорогой лидар чем-то подешевле”, — скажут они. Если они еще и производят лидар (как Ford, Cruise, Waymo и Aurora), то осознают как много денег потратили впустую.
Ясно одно — нужно определять расстояние до любых объектов на дороге и делать это быстро и качественно. Мы уже видели, как беспилотный автомобиль Tesla несколько раз врезался в грузовики, шлагбаумы и заглохшие транспортные средства, которые были скрыты автомобилем, внезапно выехавшим на дорогу. Когда датчики обнаруживают препятствие на дороге, вам нужно знать наверняка, насколько далеко это препятствие находится. Это необходимо для экстренного торможения. Лидар почти всегда дает эту информацию, а компьютерное зрение нет. Псевдо-лидар это попытка решить проблему. На данный момент большинство других компаний планируют решить ее с помощью лидара. Они знают как он работает и ожидают, что он станет дешевле.
Конечно, если Tesla решит эту проблему внутри компании, она не поделится решением с другими. Однако демонстрация решения может побудить другие компании сделать то же самое. Команда распознавания объектов может также разработать инструмент, который просто попытается сопоставить оценку расстояния с классификацией, а не создавать облако точек подобно лидару.
Перевод: Диана Шеремьёва
Читать еще полезные статьи:
Всем хорошо известно, что думает Илон Маск о применении лидара (технологии трехмерного изображения) в беспилотных автомобилях. Он не планирует использовать ее в Tesla и считает костылем. Это очень спорная точка зрения, только время покажет прав ли он.
Tesla продвигает технологию, называемую псевдо-лидаром или виртуальным лидаром. Эта технология заключается в построении инструментов для создания снимков с камеры (стерео или обычных). Нужно выяснить насколько далеко находится каждый пиксель на снимке. Лидар вычисляет расстояние до каждого пикселя. Он определяет сколько времени требуется световому импульсу, чтобы попасть в пиксель и вернуться обратно со скоростью света. Люди оценивают расстояние, используя мозг. Мы знаем насколько большие те или иные предметы и как они движутся. Это дает нам представление о том насколько далеко они находятся. Мы также используем стереозрение, потому что у нас два глаза. Однако стереозрение работает только на относительно близком расстоянии. Еще есть параллакс движения — вы наблюдаете за тем как движутся предметы на фоне и используете некоторые другие подсказки, чтобы определить расстояние до объекта.
Это удивительные явления. Человеческий мозг легко с ними справляется. Вы можете делать это даже с одним закрытым глазом пока ведете автомобиль. Люди пытаются создать методы машинного обучения, которые тоже смогут определять расстояние по изображению, используя нейронные сети. Это и есть виртуальный лидар. Вот результат одного интересного исследования.
Обучить виртуальный лидар гораздо проще, чем обучить обычные нейронные сети. Для этого обычно требуется множество изображений, для которых люди кропотливо вычисляют расстояния. Поскольку на тестовой машине может быть установлен действительно дорогой лидар, вы можете прокатиться на ней и получить не только тестовые данные, но и показатели с лидара. Вы показываете нейронной сети кучу изображений с реальным расстоянием, вычисленным лидаром, и сеть учится определять расстояние самостоятельно. Этот метод — своеобразный вид «обучения без учителя» (unsupervised learning). Вам не нужны люди, определяющие расстояние вручную. Обучение без учителя значительно дешевле чем «с учителем». Что нейронные сети могут делать действительно хорошо, так это обучаться. Их можно также обучать на данных симулятора, чтобы улучшить свои модели.
Можно также полагаться на то, что объекты реального мира меняют расстояние определенным образом. Эти изменения можно предсказать. Когда вы видите объект, движущийся по всем законам физики, ваша оценка расстояния, скорее всего, будет правильной. Если вы увидите, как объект прыгает в космосе каким-то невообразимым образом, вы будете знать, что ваши расчеты вероятно ошибочны.
Нейронные сети с этим справляются. Их единственная проблема в том, что они смотрят на отдельные кадры, а не на движущиеся изображения, как люди. Мы часто ошибаемся, когда речь идет о статичных изображениях. Со временем методы машинного обучения смогут превзойти нас в этом. Проблема в том, что мы должны убедиться, что эти методы чрезвычайно надежны. Вы также должны обучать нейронные сети на вещах, которые вы сами никогда не видели. Это будет для них своеобразным вызовом. Например, что-то необычное замаячило впереди на тропинке вашего переулка. Вам нужно узнать насколько далеко эта штука находится, причем узнать наверняка и в ближайшее время. Если это машина, вы знаете размер машины, поэтому понимаете как далеко она находится. Также можно показать нейронной сети поворачивающую машину. Для человека это нормальное явление, но нейронная сеть может быть такого никогда не видела. Когда вы видите какой-то объект, то задаетесь вопросом: это большой объект вдали или маленький объект вблизи? Единственный способ узнать это — увидеть связь объекта с геометрией дороги. Это сложнее.
Если кто-то справится с этой задачей, у него будет инструмент, который сможет делать снимки с камеры и создавать трехмерное «облако точек» благодаря лидару. Поскольку камеры дешевле, на создание этого инструмента уйдет гораздо меньше денег. Также этот инструмент сможет справляться с очень большими расстояниями. Многие лидары ограничены расстоянием в 120 метров. Дорогие лидары могут распознавать объекты на расстоянии 240 метров. Люди же способны понять, что находится на расстоянии мили.
Ирония в том, что разработчики лидара сделали эту технологию, зависящей от облака точек и потратили много времени на ее улучшение. Если идея с псевдо-лидаром внезапно выгорит, то создаст качественные облака точек, которые можно будет сразу же использовать. Те, кто надеется на псевдо-лидар, получат другой опыт использования данных в этой форме. Им придется придумать как объединить другие элементы своей системы зрения с оценкой расстояния. К таким элементам относится сегментация изображения на разные объекты и их классификация. Tesla может быть совсем не готова использовать тот прорыв, на который так надеялась.
Компании, использующие лидар, наоборот окажутся в выигрыше. “Отлично, мы можем заменить дорогой лидар чем-то подешевле”, — скажут они. Если они еще и производят лидар (как Ford, Cruise, Waymo и Aurora), то осознают как много денег потратили впустую.
Ясно одно — нужно определять расстояние до любых объектов на дороге и делать это быстро и качественно. Мы уже видели, как беспилотный автомобиль Tesla несколько раз врезался в грузовики, шлагбаумы и заглохшие транспортные средства, которые были скрыты автомобилем, внезапно выехавшим на дорогу. Когда датчики обнаруживают препятствие на дороге, вам нужно знать наверняка, насколько далеко это препятствие находится. Это необходимо для экстренного торможения. Лидар почти всегда дает эту информацию, а компьютерное зрение нет. Псевдо-лидар это попытка решить проблему. На данный момент большинство других компаний планируют решить ее с помощью лидара. Они знают как он работает и ожидают, что он станет дешевле.
Конечно, если Tesla решит эту проблему внутри компании, она не поделится решением с другими. Однако демонстрация решения может побудить другие компании сделать то же самое. Команда распознавания объектов может также разработать инструмент, который просто попытается сопоставить оценку расстояния с классификацией, а не создавать облако точек подобно лидару.
Перевод: Диана Шеремьёва
О компании ИТЭЛМА
Мы большая компания-разработчик automotive компонентов. В компании трудится около 2500 сотрудников, в том числе 650 инженеров.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Мы, пожалуй, самый сильный в России центр компетенций по разработке автомобильной электроники. Сейчас активно растем и открыли много вакансий (порядка 30, в том числе в регионах), таких как инженер-программист, инженер-конструктор, ведущий инженер-разработчик (DSP-программист) и др.
У нас много интересных задач от автопроизводителей и концернов, двигающих индустрию. Если хотите расти, как специалист, и учиться у лучших, будем рады видеть вас в нашей команде. Также мы готовы делиться экспертизой, самым важным что происходит в automotive. Задавайте нам любые вопросы, ответим, пообсуждаем.
Читать еще полезные статьи:
- Бесплатные онлайн-курсы по Automotive, Aerospace, робототехнике и инженерии (50+)
- [Прогноз] Транспорт будущего (краткосрочный, среднесрочный, долгосрочный горизонты)
- Лучшие материалы по взлому автомобилей с DEF CON 2018-2019 года
- [Прогноз] Motornet — сеть обмена данными для роботизированного транспорта
- Компании потратили 16 миллиардов долларов на беспилотные автомобили, чтобы захватить рынок в 8 триллионов
- Камеры или лазеры
- Автономные автомобили на open source
- McKinsey: переосмысляем софт и архитектуру электроники в automotive
- Очередная война операционок уже идет под капотом автомобилей
- Программный код в автомобиле
- В современном автомобиле строк кода больше чем…
