Когда мы говорим «беспилотные автомобили», то, как правило, представляем стильные Tesla или футуристические Waymo. Кажется, что беспилотные машины — это недавняя технологическая разработка. Но исследования в этой области начались более 30 лет назад. Ученые из университета Карнеги — Меллона впервые попробовали силы в этом еще в 1984 году, когда начали работу над проектом Navlab 1. 

С 1984 года было создано 11 поколений автомобилей Navlab и подано более 140 заявок на патенты. Инженеры, работавшие над проектом, впоследствии перешли в Google (например, Себастьян Трун, Дж. О. Урмсон, Астро Теллер) или другие компании и внесли свой вклад в разработку беспилотных автомобилей.

В этой статье расскажем про незаслуженно обойденный вниманием проект Navlab и познакомимся с синим фургоном «Шеви». 

Очень краткая история беспилотных авто

Первый беспилотный автомобиль был продемонстрирован компанией Radio Corporation of America  (RCA) аж в 1921 году в Дейтоне. Трехколесное устройство управлялось по беспроводной связи с другого автомобиля с помощью радиоаппаратуры. Аналогичный радиоуправляемый автомобиль позже показали в 1925 году на Пятой авеню в Нью-Йорке. За ним следовал второй автомобиль, в котором находились радиопередатчики и оператор. 

Ученые и писатели, фантазируя на тему самоходных машин, представляли публике причудливые концепты. В 1933 году Popular Mechanics в статье They’ve gone Automatic!, утверждал, что недавние прорывы — автоматическое открывание гаражных ворот и гидроусилитель руля — были первыми шагами к полностью автоматизированным автомобилям. 

Однако настоящие исследования технологии самодвижущихся автомобилей начались в конце 1950-х годов. В 1958 году GM и RCA начали проводить испытания прототипов автоматизированных автомагистралей с радиоуправляемой скоростью и рулевым управлением. Тогда казалось, что революция в мире авто неизбежна: газета «Нью-Йорк Таймс» в 1960 году предсказывала, что «полное использование [беспилотных автомобилей] видится через 15 лет». 

Но через 15 лет человечество так и не рассекало на беспилотных авто. К этому времени у нас была тележка из Стенфорда, а к концу 70-х в Лаборатории машиностроения японского Университета Цукуба разработали первое автоматизированное уличное транспортное средство с восприятием окружающей среды. До массового применения было еще далеко.

В 1980-х годах профессор Эрнст Дикманнс и его исследовательская группа в Университете Бундесвера в Мюнхене создали первый в мире роботизированный уличный транспорт, который с помощью компьютерного зрения и вероятностных алгоритмов проезжал 20 километров по пустому шоссе со скоростью до 96 км/ч. 

А в 1986 году команда из университета Карнеги — Меллон построила первое в истории беспилотное транспортное средство NavLab 1. Именно об этом проекте и пойдет речь в статье. 

Этот проект много принес в индустрию, а наработки тех времен развились и используются сейчас.

Неавтономные автономные роботы

Будущий руководитель проекта NavLab Чак Торп в детстве хотел стать врачом, как и его отец. Он поступил в Чикагский колледж, но запоминать названия костей и рассматривать дырки в черепах ему скоро надоело. В то же время Чак увлекся компьютерами, но что делать с этим увлечением — не понимал. Как-то на каникулах он беседовал со своим преподавателем, который спросил его, что Чак хотел бы изучать. 

«Искусственный интеллект», — ответил Чак.

«В таком случае, — сказал преподаватель, — тебе стоит поступить в университет Карнеги — Меллон. У них есть парень по имени Херб Саймон, который только что получил Нобелевскую премию».

Воодушевившись этим, Чак Торп подал заявление в аспирантуру. В августе 79-го его приняли в Карнеги — Меллон. В том же году профессор компьютерных наук и робототехники Радж Редди создает в университете Институт робототехники. Торп приходит туда в качестве лаборанта. В начале подразделение состояло всего из трех человек, но быстро расширялось. Финансированием занималось Управление военно-морских исследований США и компания Westinghouse. Были получены первые промышленные заказы.

Торп занимался мобильными роботами вместе с Хансом Моравеком. Это стало темой его диссертации, которую он защитил в 1984 году. Но уйти на каникулы ему не дали, потому что именно тогда запустился проект, который в дальнейшем стал называться NavLab.

В 1983 году в Карнеги — Меллон по заказу Министерства обороны начали работу над мобильным роботом Terregator (сокращенно от Terrestrial Navigator). Он был построен летом 1984 года и следующие шесть лет служил испытательным стендом для самых разных проектов. Запрос был на создание автономного разведчика, который выходил бы «в поля» и изучал опасные территории, нанося их на карту. Робот был оснащен датчиками и в нем использовалось компьютерное зрение, которое помогало ему избегать препятствий, преодолевать неровности местности, отслеживать пути и многое другое. 

Это был первый проект автономного устройства, которое можно было использовать на открытом воздухе. До этого времени технологии позволяли использовать роботов только в помещениях. Роботы подключались к компьютерам с помощью длинных кабелей. Terregator так же подключался к компьютеру кабелем, но мог работать и на улице

Однако для полноценного использования на открытом воздухе такой подход не годился. Нужно было «перерезать пуповину» и сделать устройство по-настоящему автономным. Но что делать с огромным количество датчиков и вычислительных устройств?

«Нам нужен большой фургон» — подумал Торп.

«Шеви» отправляется в путь

В 1984 году в институте робототехники был запущен проект по изучению автономной навигации —  Carnegie Mellon’s Navigation Laboratory (NavLab), который спонсировался DARPA — управлением перспективных исследовательских проектов Министерства обороны США. Чак Торп рассказывал потом, что его целью было устранение неочевидных, непонятных и опасных ситуаций при вождении. Разработки, использовавшиеся в Terregator, стали основой для фургона Navlab, который создавался для гражданского использования. 

Спустя два года исследований, в 1986 году команда NavLab построила первое в истории беспилотное транспортное средство Navlab 1 в виде синего фургона Chevrolet. 

Фургон загрузили рабочими станциями, суперкомпьютером Warp от Sun Microsystems и пятью учеными. Один из них работал над лазерным сканером, другой — над системой слежения за дорогой, третий — над системой планирования траектории, четвертый — над системным программным обеспечением, которое связывало данные. Торп же был проектным менеджером — приносил пончики команде и следил за тем, чтобы все работали слаженно.

Проект считался самой передовой вычислительной системой на колесах несмотря на кажущуюся примитивность. В то время практически не было беспроводной связи на большие расстояния, а облачные вычисления еще даже не зародились как идея. Размещение всех исследователей в кузове экспериментального фургона могло показаться опасным, но его максимальная скорость составляла всего 32 км/ч, и он двигался только по пустым дорогам. Это обеспечивало безопасность работающих на борту. Кроме того, если бы что-то пошло не так, то можно было бы нажать на специальную красную кнопку и взять руление на себя.

Однажды во время очередных испытаний фургон остановила полиция. Оснащенный генераторами, он создавал много шума, на что пожаловались соседи. Аспиранты посадили полицейских на борт и покатали их по улицам. Те отнеслись ко всему скептически, не поверив, что это настоящий автоматизированный автомобиль. Они решили, что это ребята из автошколы, которые пытаются создать очень точные карты, чтобы натаскать людей на экзамен.

Технологии, использованные в фургоне, заложили основу для технологий, используемых в современных беспилотных автомобилях. Например, для наблюдения за окружающей обстановкой в Navlab 1 использовались видеокамеры и дальномер (ранняя версия лидара). Для руления использовалась однослойная нейронная сеть, определяющая углы поворота по датчикам. 

ALVINN и навлабы

Следующей итерацией стал Navlab 2 на базе армейского Humvee. В нем были все датчики Navlab 1 с дополнительными камерами. Он мог перемещаться по пересеченной местности и двигаться со скоростью до 112 км/ч по шоссе, что выглядело революционно. 

Там использовалась нейронная сеть ALVINN (Autonomous Land Vehicle In a Neural Network) — разработка доктора Дина Померло из Карнеги — Меллон. Сеть работала на 100 MFLOP, что примерно в десять раз медленнее, чем современный Apple Watch. Обрабатывающий данные компьютер был размером с холодильник и нуждался в генераторе мощностью 5 кВт. Однако в то время это была продвинутая технология.

ALVINN — трехслойная сеть с обратным распространением, разработанная для задачи следования по дороге. Она принимала на вход изображения с камеры и лазерного дальномера, а на выходе выдавала направление, в котором должен двигаться автомобиль. Обучение проводилось с использованием симулированных изображений дороги.

Испытания Navlab 2 показали, что сеть может эффективно управлять автомобилем в определенных полевых условиях.

Когда Дин на Navlab 2 смог преодолеть расстояние от Питтсбурга до Эри — почти 190 киломпетров — то воодушевился на создание более продвинутой системы, которую не нужно было бы постоянно переобучать. В своей работе, посвященной ALVINN, доктор Померло писал, что «с оптимизмом смотрит на возможный вклад нейронных сетей в область автономной навигации». Его оптимизм оказался вполне оправдан. 

К 1995 году была создана система RALPH — Rapidly Adapting Lane Position Handler — ​​система предупреждения водителя, которая могла: 

• делать выборку изображения; 

• определять кривизну дороги; 

• определять боковое смещение транспортного средства относительно дороги. 

Требовалось сделать что-то более простое в управлении, чем Navlab 2. Дин взял свою Honda Accord, установил на нее роботизированный двигатель, прикрепил камеру к зеркалу заднего вида и поставил туда ноутбук, подключив к прикуривателю. Так у него получился робомобиль — Navlab 3.

Испытания продолжились, но требовалось сделать что-то более глобальное, чтобы в полной мере раскрыть потенциал RALPH. 

Только без рук, Ральф

В 1995 году Navlab, уже пятый по счету, отправился в турне по Америке.

Компания Delco, ставшая спонсором, одолжила команде Чака Торпа минивэн Pontiac. Туда поставили дополнительный аккумулятор от грузовика, чтобы питать компьютер, подключились к круиз-контролю, установили ноутбук и камеру. Все это обошлось чуть меньше чем в 20 000 долларов. Дин Померло вместе со своим студентом Тоддом Йохемом отправились на роботизированной машине Navlab 5 в Сан-Диего из Питтсбурга. 

Заезд в Сан-Диего был важен для DARPA, с которым у исследователей были контракты. Один контракт был по разработке и тестированию системы предупреждения водителя — меры противодействия столкновению на дороге. Второй — касался автоматизированной системы управления дорогами (Automated Highway System). И именно в Сан-Диего проходила демонстрация возможностей этой системы. Проект Automated Highways — тема отдельного поста. Там участвовали General Motors, Hughes, Delco, Bechtel, Parsons Brinkerhoff, Калифорнийский университет в Беркли и команда Торпа.

Турне Navlab 5 назвали No Hands Across America по аналогии с благотворительным мероприятием Hands Across America. Система RALPH вела машину по автострадам, а не по улицам. Педали газа и тормоза контролировал водитель — Померло или Йохем, которые по очереди садились за руль. Но даже при этом результаты все равно впечатляли. Не менее 98 процентов пройденных километров машину вела система RALPH.

Несмотря на несколько поломок в пути, Померло с Йохемом благополучно добрались до западного побережья. Что еще более важно, они показали, что правильно запрограммированные датчики  действительно позволяют компьютеру долго управлять автомобилем.

В пути ученые продавали мерч — памятные футболки за 10 долларов, чтобы оплатить бензин и еду. А ночью в мотеле писали в блоге ежедневные отчеты, хотя в 1995 году никто еще даже не знал слова «блог».

Автомобиль смог проехать весь путь от Питтсбурга до Сан-Диего, преодолев 4586 километров. За это достижение Navlab 5 был занесен в «Зал славы роботов». 

В 1995 году Дин Померло основал компанию AssistWare по созданию систем предупреждения водителя и коммерциализировал ее. Компания была продана сначала бостонской компании Cognex, занимающейся компьютерным зрением, а затем японской компании Takata по производству электроники. 

Умнее, техничнее, автономнее

Программа Automated Highway System, где участвовала команда Чака Торпа, развивалась, и следующим уровнем стало создание еще более умных автомобилей, которые можно было автоматизировать даже при движении в смешанном потоке с другими машинами.

Так были созданы Navlab 6, 7, 8, 9 и 10. Шестой и седьмой были Pontiac Bonneville. У них был электронный круиз-контроль. General Motors предоставила прототип тормозов с электронным управлением и электронный усилитель руля. 

Navlab 8 был минивэном. А Navlab 9 и 10 — полноразмерными пассажирскими автобусами. Испытания показали, что автомобили можно использовать в режиме помощи водителю и в режиме предупреждения водителя. Стоило нажать кнопку — и они становились автоматизированными. Водитель мог убрать руки с руля. Что самое интересное, роботизированные автомобили могли «общаться» друг с другом. Например, если один автомобиль видел препятствие, то сообщал о его местонахождении, и другие автомобили меняли полосу движения. 

Использовавшиеся там разработки позволяли автомобилям Navlab двигаться в потоке с другими автомобилями. Компьютерное зрение и радары позволяли следить за другими участниками движения. Например, если впереди кто-то ехал слишком медленно, то датчики бокового и заднего обзора проверяли соседнюю полосу. Если все было чисто, NavLab, как вежливый водитель, включал поворотник, перестраивался на свободную полосу и опережал медленную машину.

Последним реальным автомобилем Navlab стал Jeep Wrangler Sport, созданный в 2000 году. Он был оснащен дифференциальной интеллектуальной антенной GPS, гироскопом Crossbow VG400CA, бесконтактным лазерным сканером SICK LMS 221-30206, камерами и лазерным линейным разметчиком для обнаружения бордюров и препятствий.

Исследования в Карнеги — Меллон продолжаются до сих пор. Последняя публикация подразделения NavLab датируется октябрем 2021 года и посвящена использованию сигналов восприятия для контекстно-зависимой навигации в динамичной внешней среде.

Итоги

В современных беспилотных автомобилях используется глубокое обучение для выполнения самых разных задач. Как показали исследования, проведенные в 2016 году, нейронная сеть должна проехать 11 миллиардов миль (это 46 тысяч раз проехать от Луны до Солнца), чтобы достичь уровня опытного водителя-человека. Для парка из 100 беспилотных автомобилей, собирающих данные 24 часа в сутки, 365 дней в году и движущихся со средней скоростью 40 км в час, на это уйдет более 500 лет.

Беспилотные авто нужно не только обучать, но и постоянно тестировать. Как это делается в 2021 году, рассказывал Любомир Матвеев на конференции Heisenbug. Если вы тоже интересуетесь вопросами тестирования или нейронных сетей, то ждем вас на конференциях JUG Ru Group. Этой осенью мы проведем ряд конференций — от тестирования до работы на Python. Конкретно про беспилотные автомобили докладов не обещаем, зато обещаем техническую конкретику и информацию, полезную здесь и сейчас. Подробности и билеты на сайте.