Исследователи безопасности обманули автопилот Tesla и заставили разогнаться на 50 миль/час выше допустимого

    image

    Эксперты по безопасности из McAfee провели исследование систем помощи водителю (ADAS) электромобиля Tesla и сумели их обмануть, заставив разогнаться авто на 50 миль в час выше допустимой скорости. Об этом говорится в их блоге на сайте McAfee.

    Исследование проводили еще осенью 2019 года, однако его результаты эксперты опубликовали только сейчас, спустя три месяца после передачи информации Tesla и MobilEye, которая предоставляет оборудование и софт для электромобилей.

    Эксперты пытались смоделировать ситуации, в которых камеры, установленные на Tesla, считывали бы информацию с дорожных знаков неправильно. Для этого использовались светоотражающие наклейки разных цветов и форм. Их клеили на знаки в разных местах и под разными углами, чтобы запутать системы помощи водителя и заставить их «увидеть» ошибочную информацию. При этом исследователи отмечают, что изучали только реакцию камер на знаках ограничения скорости — причина этому в том, что современные ADAS пока не предусматривают таких функций, как автоматическое торможение автомобиля до полной остановки.

    «Мы понимаем, что камера MobilEye используется для определения предела скорости, отображения его на дисплее в салоне электромобиля и, возможно, будет использоваться автопилотом для автоматического снижения скорости. Поэтому мы изучали только ограничительные знаки», — говорится в блоге.

    Эксперты заставили систему помощи водителю в Tesla Model S и Tesla Model X с помощью четырёх наклеек распознать знак ограничения скорости до 35 миль в час как аналогичный знак, только показывающий 85 миль. Затем исследователи начали постепенно снимать наклейки, чтобы определить момент, когда камера идентифицирует значение правильно. В конечном итоге на знаке остался только кусок чёрной изоленты, однако система по-прежнему видела 85 миль в час вместо 35.

    image

    image

    Кроме того, эксперты начали изучать, могут ли показания камеры влиять на механические функции автомобиля. На одном из форумов выяснилось, что автоматический круиз-контроль Tesla теоретически может использовать знаки ограничения скорости в качестве входных данных для установки скорости автомобиля. Однако, как отмечается в блоге, среди участников форума возникла путаница, поэтому эксперты изучили техническую документацию Tesla. Оказалось, что созданная Tesla в 2014 году технология Speed Assist может полагаться на показания ADAS и таким образом сама повышать скорость автомобиля, уверяют исследователи из McAfee.

    Отмечается, что тесты проводились на более ранних версиях системы контроля камеры MobilEye (аппаратный пакет Tesla 1, версия EyeQ3 mobilEye). McAfee провели аналогичные исследования и на автомобилях 2020 года и не смогли получить ошибочные данные камеры, хотя тестирование и было очень ограниченным. По заверениям экспертов, MobilEye действительно работают над решением этой проблемы.

    В конце января аспирант Университета Бен-Гуриона Бен Насси под руководством профессора Ювала Эловичи смог обмануть автопилот Tesla с помощью беспилотников и проекторов с батарейным питанием. Студент имитировал спуфинговые атаки благодаря разнице между распознаванием изображений человеком и ИИ — спроектированные им изображения не запутали бы типичного человека водителя.

    Согласно опросу 2019 года, почти половина водителей считают, что при использовании автопилота можно безопасно снимать руки руля. Кроме того, 6% ответили, что при таком вождении можно даже вздремнуть. При этом в самой Tesla отмечают, что автопилот пригоден к использованию только, если водитель полностью сосредоточен на дороге — современные системы не превращают автомобиль в полностью автономное средство, а только помогает владельцу.

    Комментарии 58

      +14
      Налепить кусок изоленты, который на скорости не каждый водитель сможет отличить от оригинального знака — это «обманули автопилот»?
        +10

        Следующая новость.
        Автопилот Теслы заставили нарушить скорость путём жесткой сцепки с грузовиком который разогнал машину выше положеного!

          0
          странно что не было новости о преышении скорости теслой, которую отправили в космос
          +2
          вот да, не хватает контрольной группы — водятлов-человеков, которые безошибочно проехали при залепленных всякой фигнёй знаках. Причём фигнёй отражающей, ярче знаков.
            +3

            Нормально там всё видно и вообще ничего общего с 8, к тому же в США нет знаков 85 нигде, к тому же такие знаки ставят обычно по какой-то причине: город, ремонт и т.п. и адекватная нейронная сеть = мозг явно бы не топила гашетку. Это всё показатели насколько мы далеко от полного автопилота.
            Порой мне кажется, что если тесла просто так задавит людей на переходе на красный, то ее все равно будут защищать аргументами "человек бы тоже не увидел" -_-.

              +4
              Я сидя перед монитором с минуту пытался понять что не так со знаком «85» на третьей картинке, пока не понял, что это 35. А водителю нужно сделать то же самое за пару секунд в слепящее солнце или туманный вечер.

              к тому же в США нет знаков 85 нигде

              А каждый водитель в США знает какие знаки вообще существуют? А знак «419.9» существует? А «68.9»?
                +3

                Не обязан, но если это не какой-то хайвэй то такого ограничения скорости не может быть в принципе нигде в мире, достаточно чуть-чуть применить логическое мышление, а текущий автопилот теслы походу даже на проселочной радостно поедет если его обманут через незаметный adversarial images. Это почти 140кмч.


                Я сидя перед монитором с минуту пытался понять что не так со знаком «85» на третьей картинке, пока не понял, что это 35.


                Если у вас возникли трудности с распознаванием знака (напоминаю, скорость можно набирать только после проезда знака, т.е. вы будете видеть его в упор) то скорее всего вам нельзя за руль с таким зрением.


                А вообще когда лично у меня сомнения правильно ли я увидел знак я обычно выбираю скорость потока или следую с предыдущей скоростью хотя бы.

                  0
                  ахаха представил себе как будут развлекаться пацаны из окрестных деревень около шоссе, где будут проезжать автоматические грузовики (вспомнил анекдот про юбилей Москва 850)
                  0
                  пытался понять что не так со знаком «85» на третьей картинке
                  Это на этой что ли o_O? Вот уж воистину — насколько разные люди по-разному воспринимают (я и подумать не мог, что кто-то там увидит не «35»)! Что, впрочем, осложняет задачу обмана водителей (#comment_22219022).
                    0
                    Знаки могут заляпываться, а то, что они сделаны из металла добавляет кучу бликов. Достаточно чтобы солнышко отразилось в нужном месте и знак стал нечитаемым.

                    Если бы я разрабатывал дизайн-макеты таких знаков, то я бы:
                    а) либо делал бы им бек пастельного цвета дублирующий информацию, таким образом вызывая ассоциации у водителей — розовый значит 80, голубой — 40, зеленый — 100 и т.д.
                    б) либо добавалял подобную маркировку на саму дорогу, чтобы водитель мог не искать взглядом знак, который может быть скрыт в листве, а видел например бирюзовую полосу на дороге шириной в метр на въезде в зону «max 35»
              +8
              Вот интересно, откуда такой интерес именно к автопилотам? Почему эти исследователи не пытаются обмануть живых водителей? Возможно дело в том что автопилот не может выйти из машины и дать леща?
                +3
                Хорошая фича была бы
                  0
                  да точность у них на уровне близорукого человека. Если последний обязан носить очки за рулем, то тут никаких ограничений не может быть. Если увеличить точность, и камеры и оборудование подорожают так, что никто это не купит. Ну и как то не очень безопасно всё это — «слепой за рулем» типа получается. Ну еще и немного сумасшедший ))). Перспективное направление… А как это работает ночью в дождь — даже на демо роликах не показывают.
                    +3
                    Окупит-окупит. Только сравнивать нужно не с ценой автомобиля, а с годовой (примерно) зарплатой водителя.

                    Просто пропагандой делается жёсткий упор на то, как автопилот будет возить вашу задницу на работу на вашей же машине… Хотя на самом деле его удел — привести к увольнению профессиональных шофёров… в первую очередь дальнобоев.
                      0
                      Почему? сопровождающие груз и помогающие разрулить нештатные ситуации всё равно нужны.
                        0
                        Хм, берём расходы на нештатные ситуации, вычитаем из них расходы на сопровождающих… как бы отрицательное число не получилось
                          0
                          Одну специальность вычитаем, а другая добавляется. Вопрос в уровне специалиста. Понятно, что дальнобой самая тупая профессия: с 3мя классами деревня справится. А вот если автоматический грузовик застрял (колесо, поломка электроники, механики, или просто авария, или он не видит из-за бурана) то надо в его сторону Ехать специалисту, да еще не одному. И с образованием не ниже инженера, его еще надо вырастить. (да еще так, чтоб тот не забурел) Отсюда стационарные пункты по маршруту следования, да? Уборщица, менеджер, директор, аренда, связь… А деревня так будет продолжать катать и за копейки.
                          З.Ы. Есть предположение что группа ученых просто получают зарплату на бесперспективном направлении, а группа менеджеров это поддерживают, так как тоже получают с этого зарплату. А корпорации просто боятся отстать друг от друга толком ничего не понимая.
                            0
                            А корпорации просто боятся отстать друг от друга толком ничего не понимая.
                            Копрорации как раз прекрасно всё понимают. Они уже вынесли из США производство и платежи дальнобоям как раз стали следующей вещью, которая мешает им получить прибыль.
                              0
                              практика показывает, что ситуация «автоматический грузовик застрял» возникает крайне редко. Так что содержание маленького штата спецов на такие случаи оправдывается. Какая именно практика? Да именно дальнобойная. Если дальнобой застрял — то это с высокой вероятностью советских времён камаз или тридцатилетний американец, оживляемый дендрофекальным способом.
                                0
                                я не знаю, такой информации пока нет. Часто вижу на шоссе стоят колеса меняют, он может застрять на 100км от ближайшего пункта. Это 1.5часа только до него, значит бригада за день ну два случая может обслужить. Дублирование систем, информация о типе поломки конечно сэкономит немало, но пока до всего этого далеко, а пока демо версия на презентациях работает отлично ;)
                            +1
                            С луддитами всегда боролись одинаково:
                            Уничтожение машин (индустриальный саботаж) было объявлено преступлением, наказуемым смертной казнью, и 17 человек были казнены в 1813 году. Множество людей было отправлено в Австралию. В какое-то время войска занимались подавлением луддитских восстаний сильнее, чем сопротивлением Наполеону на Пиренейском полуострове.
                            Это работает.

                            А если исключить саботаж — то нештатные ситуации можно свести к минимуму.
                            0
                            А как автопилот справится с такими задачами водителя, как проверить техническое и визуальное состояние ТС и груза, поправить крепление груза при необходимости, протереть световые приборы и номер и т.д., где задача не сводится к непосредственному управлению авто?
                              0
                              Ровно так же, как с этим справляется пилот самолёта или машинист электропоезда — то есть никак.

                              Когда-то давно, когда паровозы управлялись целой бригадой — она же и осматривала поезд и «визуально контролировла состояние ТС И груза» и многое другое.

                              Сегодня — это всё делают другие люди.

                              P.S. Хотя как раз контроль не так сложен — датчики стоят копейки, их можно поставить на машину несколько сотен. Вот ремонт, если что-то случилось — это да, это сложнее.
                          +2
                          Скорее всего потому, что человек в такой ситуации почти гарантированно не ошибётся. Если я увижу на дороге знак «200» в городе, то я пойму, что это кто-то просто дорисовал нолик в конце. Для того, чтобы человек ошибся, нужно создать какую-нибудь действительно неординарную или противоречивую ситуацию, типа знаки «главная дорога» и «уступи дорогу», повешенные на одном столбе (в России такое иногда бывает, кстати :). Вообще любой не ГОСТовский знак лично я бы игнорировал, например.
                            0
                            Человек может как вы решить «любой не ГОСТовский знак лично я бы игнорировал, например.» и ехать как ему вздумается. Главная проблема на дорогах — что на них остаются живые водители. Пока от них не избавятся полностью — автопилотам будет очень тяжело.
                              0
                              А роботам будет тяжело, пока от людей на всей Земле не избавятся? :)
                                0
                                Только если встанет задача постепенно заменить всех людей на роботов. Тогда да, на первых порах нелегко придётся.
                                0
                                я.карты например, показывают с какой скоростью можно двигаться на данном участке дороги, автопилот мог бы пользоваться этими данными тоже, выбирая меньшую скорость между знаком или картой.
                                0
                                Скорее всего потому, что человек в такой ситуации почти гарантированно не ошибётся
                                Ошибиться он наверное не ошибётся, а вот проигнорировать может совершенно спокойно)
                                  +1
                                  «Езда по памяти» хоть и является потенциальной проблемой — у нас в городе люди по привычке поворачивали под кирпич на встречку, когда сделали улицу односторонней — в целом защищает поток от непредвиденных ситуаций в виде шутников, которые внезапно вешают какой-то левый знак, чтобы кого-то на что-то там протестировать :)
                                    0
                                    Я имел в виду не езду по памяти, а например прохватить 140 по городу.
                                  0
                                  «почти гарантированно не ошибётся» Да до сих пор в мире не было замечено случаев нарушения скоростного режима кожаным водителем)))

                                  Он может не заметить, отвернуться, чихнуть, отвлечься, наплевать на знак. Все это читай ошибки в контексте автопилота.
                                    –1
                                    Байк-шеддингом занимаетесь. Смысл высказывания совсем в другом.
                                      +1
                                      Ой, слушайте еще одна история из разряда «хакер взломал солонку в ресторане». Кроме как поюморить в этой статье делать нечего.
                                  0
                                  Как это, а муляжи камер, а муляжи машин гибдд?
                                  +3
                                  Через несколько лет будут новости:
                                  «Банда грабителей вынудила остановиться новую теслу, выставив на дороге переносной знак STOP. Беспомощному водителю ничего не оставалось делать как отдать всю наличность и ценные вещи.»
                                    +7
                                      0

                                      Вот именно. И сейчас можно хакать человеков: бросать манекены с моста на дорогу, например. Или ставить фальшивые знаки. Или одеваться в форму инспектора гибдд и махать палкой: человеки будут тормозить. Можно даже сложить конструкцию из шляпы и палок, которая под определённым углом будет похожа на инспектора с палкой.


                                      Из статьи непонятно, разогнались ли машины выше 35, или просто показали распознанный знак на мониторе.

                                        0
                                        И сейчас можно хакать человеков…
                                        Вообще-то нет.

                                        1. Сложность организации одного такого инцидента с человеками немала (всегда есть риск, например, свидетели отследят / полиция словит бросающего манекен, например).
                                        2. Люди слишком непредсказуемы, т.е. очень просто разработать способ, который гарантированно подействует на значительное количество людей.


                                        (Это минимизирует моментальное получение большого профита от хакинга толпы человеков. Хотя его (хакинг толпы человеков) тоже применяют — тот же фишинг, например, или прочая социальная инженерия. Но пока, вроде бы, «меч» не намного впереди «щита», люди, хоть и очень медленно, учатся противодействовать.)

                                        При хакинге же большого количества не очень разнородных устройств соотношение вложений к профиту резко падает. Да, возможно, не так-то просто разработать способ обмана устройства, но: обманул один (пусть даже случайно) — упростил способ — можешь обмануть многие. И тут уже большее количество потенциальных злоумышленников будут готовы рискнуть.
                                      +1
                                      Есть же довольно очевидное решение подобных проблем — наносить на знаки помимо цифр для «мясных мешков» ещё и какое-нибудь помехо-защищённое подобие штрих-кода, например, по периметру знака. Или даже прямо поверх цифр, если у камеры в беспилотнике диапазон пошире человеческого.

                                      Знаки всё равно раз в несколько лет обновляют, даже много денег тратить не придётся. В качестве временной меры можно просто под всеми знаками дублирующие таблички развесить.
                                        +1
                                        Ну и плюс очевидная защита: у автопилота в памяти есть карта знаков, и если он видит знак «85», а по карте тут «35» — значит, явно что-то не чисто, переходим в параноидальный режим.
                                          +2

                                          Зачем, если можно сделать БД со всей дорожной информацией? Через какое-то время, когда все машигы будут с автопилотом, знаки можно будет вовсе не ставить.

                                            0
                                            Поставили временный знак, как скоро он в ваш атомобиль выгрузится? А если оператоо забыл в базу внести?
                                            «Все машины будут с автопилотом» очень-очень нескоро. Кроме того, есть же ещё другие участники движения — мотоциклы, велосипеды, спецтехника, гужевой транспорт. И пешеходы :)
                                              +1

                                              Делаем государственную базу знаков, когда кто то ставит временной знак то вносит его и в эту базу. Все операторы берут знаки из этой базы.
                                              Если кто то забыл внести данные в базу, аналогично как забыли поставить временной знак.

                                                +1
                                                Когда я служил в програничниках иногда знак нужно поставить было прямо сейчас чтобы остановить поток машин. В таком случае нужна либо постоянно обновляющаяся информация о знаках, либо радиомаяки.
                                                  0
                                                  Знак с радиометкой, фонящей метров на 100: свои координаты и информацию.
                                              0
                                              Только хуже станет, будут подменять штрих-код. Человек будет опять видеть 35, причем без каких-либо признаков модификации, а машине можно будет незаметно хоть 195 записать.
                                              0
                                              McAfee провели аналогичные исследования и на автомобилях 2020 года и не смогли получить ошибочные данные камеры, хотя тестирование и было очень ограниченным.

                                              Насколько я знаю, как раз распознавание знаков есть только в машинах с HW1 автопилотом, в машинах с железом HW2+ автопилот уже не считывает знаки ограничения скорости, а берет данные с карты.
                                                +1

                                                Т.е. он проигнорирует знак временного ограничения скорости в связи с ремонтом если его не добавят в карту? ну-ну. Или если гпс будет иметь большую ошибку и посчитает что вы на другой дороге. Звучит как очень надежное решение.

                                                  0
                                                  Именно, временные знаки ограничения скорости оно не знает. И на картах есть даже устаревшие знаки, которые не являются действительными в данное время. Ну а GPS достаточно точный.
                                                    0
                                                    Ну а GPS достаточно точный.

                                                    Вы ездили на машине в Москве в центре? (там где глушилки отправляют вам сигнал что вы где-то в озере за мкадом) Или просто никогда не видели когда гугл мапс тупил? А ну да, наверное на тесле свой гпс какой-то.

                                                      0
                                                      Нет, по Москве я не ездил. Но да, нельзя исключать неверный сигнал GPS, но все же, пока он работает нормально — он достаточно точный (В HW2 используется u-blox NEO-M8L, по даташиту точность с 6 спутниками — ± 2 метра). Ну и я без понятия почему автопилот берет данные с карты, а не с камер, но это так.
                                                        0
                                                        А почему бы и не свой? itsar в своё время выяснил, что там помехи только на L1. И даже продает систему, работающую несмотря на глушилку.

                                                        Можете с каким-нибудь двухчастотником там проехаться. Можно даже Хаоми Mi8 попробовать.

                                                        Точность одночастотного GPS — примерно 3 метра СКО, точность двухчастотника — порядка 30 см СКО. Так что если там GPS точный — значит двухчастотник.
                                                  0
                                                  del
                                                    +1
                                                    Непонятно, зачем они какие-то наклейки клеили, когда можно было просто лист бумаги с цифрой 120 прилепить. Исследователи безопасности заодно бы и неавтопилот обманули. Я уже даже заголовок придумал: «Исследователи безопасности обнаружили очередную уязвимость в дорожном знаке speed limit 35»
                                                      0
                                                      Там еще статьи про уязвимости солонки на очереди))
                                                      0
                                                      Да не может обычный человек быть всё время в контуре управления когда машиной управляет автопилот. Люди просто не так устроены. Пилотов самолётов тренируют долгие годы. При этом их в кокпите двое. И даже они периодически расслабляются и не всегда готовы вмешаться в работу автопилота при развитии нештатной ситуации.
                                                        0
                                                        Мне кажется что тестировать автопилоты на распознавание знаков идея хорошая, но если подумать, то главная проблема для всех этих умных систем это человеческая среда обитания и человеческий «контекст» и эти самые знаки.

                                                        Как правильно заметили в комментариях, человек бы по этому самому контексту понял, что это город и не может быть ограничения в 85 миль (потому что это абсурд), а даже если бы человеку привиделось, что на знаке написано 85, он не стал бы разгоняться до того момента, пока не убедился бы в безопасности этого маневра другими методами (речь про адекватного водителя конечно).

                                                        А теперь встанем на сторону искусственного интеллекта, вот скажите, зачем на дороге, где ездят автомобили с автономным управлением нужны знаки ограничения скорости? Умный автомобиль, на то и умный, чтобы скорость не по знакам мерить и ограничивать. По мне это самый главный поворотный момент в self driving, потому что пока системам надо ориентироваться на человека, на его знаки, на его «непредсказуемые» действия и так далее.

                                                        Если представить себе дорогу, где нет обычных водителей людей, которые, как минимум могут: заснуть, отвлечься, не обратить внимания, намеренно нарушить правила; то на такой дороге не нужны знаки, светофоры и другая регулировка движения, потому что все эти задачи можно решать на уровне системы самого автомобиля, который будет жить уже в своем «контексте», понятном ему, но совершенно чуждом любому человеку.

                                                        Поскольку сегодня все системы автономного управления являются ассистентами человека, то и возможности у них ограничены человеческими органами чувств, которые, зачастую, с точки зрения машинного обучения, очень слабо развиты.

                                                        Например, человек распознает препятствие на дороге с помощью своего зрения, реагирует на это торможением с помощью своей ноги, которая дает команду уже процессору автомобиля снизить подачу топлива и зажать тормозные колодки – в этом уравнении гораздо больше переменных и на его решение требуется значительно больше времени, чем в случае автономного движения, у которого за этот процесс может отвечать фактически неограниченное число органов чувств, но при этом действия будет производить лишь одна физическая система, а не три, как в случае человека. А если при этом еще не надо учитывать, что сзади при торможении в тебя влетит отвлёкшийся человек (потому что можно сообщить автомобилю сзади об опасности заранее и попросить либо остановиться, либо объехать препятствие и тебя), то способов сбить образовавшееся препятствие у искусственного интеллекта гораздо меньше, чем у человека =)

                                                        В новом дивном мире нам предстоит отказаться от правил дорожного и движения, разметки и знаков, какими мы их знаем сегодня и вот тогда мы сможем действительно оценить насколько умнее и безопаснее автомобили с автономным управлением.

                                                        А для того чтобы обмануть человека или пустить автомобиль под откос, много ума не надо, и тут я согласен с комментариями: «почему же никто так не делает сейчас» =)

                                                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                        Самое читаемое