Атака на модели машинного обучения сбивает робоавтомобили

[ZlodeiBaal]

Это атака на одну конкретно обученную модель. Для каждой модели всегда можно подобрать такие условия когда она не будет работать. Но, не имея на руках модели данной атаки провести нельзя.
Более того, конкретно приведённый пример атаки — очень сомнительный. Черные и белые прямоугольники многие используют в качестве аугментации базы данных.

[BelerafonL]

Как уже обсуждали в статье https://geektimes.ru/post/291737/ и https://arxiv.org/pdf/1602.02697v2.pdf, скорее всего атака подействует на многие модели, обученные на данном одном датасете — включая разные архитектуры сверточных сетей и даже линейные классификаторы. Так что для проведения атаки достаточно гипотезы, на основе каких данных могла обучаться модель.

[ZlodeiBaal]

Не совсем согласен. 90% качества обучения достигается хорошей моделью приращения датасета. Это повышает и стабильность и точность. Такие атаки как «наклейка пластыря» достаточно хорошо обходятся правильным обучением.

Если же датасет обучается по стандартным правилам — согласен, тут можно атаковать при знании датасета и этих правил.

[RubyFOX]

Как там у Пелевина?
Он учил повстанцов специальным молитвам, написав которые на песке можно было сбить беспилотники неверных…

[fireSparrow]

Это рассказ «Зенитные кодексы Аль-Эфесби».

[Alaunquirie]

[evtomax]

Вместо того, чтобы как-то оценивать знак целиком, нейронные сети лениво анализируют только кусочки знаков. И нейронные сети тут понять можно. Если обучение производилось без подобных помех, то зачем излишне напрягаться?

[RubyFOX]

А потом их выпустят в город, а тут оп-па, а знаки с граффити и наклейками оказывается…

[tubecleaner]

Кстати, все «важные» ( STOP, уступи дорогу, главная дорога ) знаки специально сделаны другой формы для лучшего узнавания. Их форма позволяет их считывать даже с тыльной стороны.

[dmitryredkin]

Поправка: не «важные», а «влияющие на поведение других участников движения».

[alix_ginger]

Поправка: не «влияющие на поведение других участников движения», а «знаки приоритета»

[dmitryredkin]

Поправка: Не все знаки приоритета, а только те, которые влияют на поведение других участников движения. :)

[Anton131313]

Все знаки приоритета влияют на движение других. Так что слился ты.

[dmitryredkin]

2.3.x, 2.6, 2.7 — обычной формы, т.к. не могут влиять на поведение других участников движения.

Догадаетесь почему?

Т.к. устанавливаются далеко от того места, на котором другой участник движения может их увидеть.

[Hayate]

А если знак скрутить совсем, то это будет атака на человеческий мозг. Какая разница, что сделал злоумышленник — поменял знак стоп на знак «главная дорога» или наклеил на него стикеры? И за то и за другое надо наказывать.

[mx2]

Погоду тоже наказывать, если знак занесет снегом, или птиц отстреливать, дабы не обгадили?

[Arqwer]

Тут специально изобретённые стикеры, которые не просто так в абы-какое место приклеены, а рассчитаны градиентным спуском. Нейросети очень хорошо справляются с задачей распознования знаков, просто дело в том, что градиентный спуск работает ещё лучше. Тут как раз атака, для нейросетей это как sql-иньекция — случайные помехи такой эффект создадут с очень низкой вероятностью, но вот намеренно такой «шум» рассчитать можно.

[mx2]

Вероятность низкая, но то они и атаки, чтоб улучшать алгоритмы.

[McBernar]

Да просто в навигационные системы должны быть встроены все дорожные правила на конкретном участке дороги. Тогда знаки для робомобилей будут не нужны в принципе.

[darkfrei]

Каждый автомобиль смотрит знаки, свою позицию и отправляет в облако. Если всегда был знак один, а вдруг появился второй — сигнал в дорожную службу для уточнения. Ну и рекапча, вводить знак по фотографии.

[old_bear]

Тогда знаки для робомобилей будут не нужны в принципе.

А потом у вас сломается машина, вы остановитесь и выставите треугольник. Но его же нет в списке для этого участка дороги — поэтому быстрый и очень роботизированный большегруз переедет вас вполне законно.

[AllexIn]

Какой еще треугольник?
Я остановлюсь — у всех робомобилей будет показано, что здесь один из робомобилей остановился. С неисправностью или по другой причине.

[TerraRist]

Ваш автомобиль сломался, он не может послать информацию о том, что остановился. А неожиданное исчезновение сигнала можно интерпретировать по разному.

[AllexIn]

Как по разному? Инопланетяне похитили?
Да и в целом, роботу не нужно определять тип неизвестного оьбъекта. Появилось что-то на дороге — замедляемся и медленно и аккуратно объезжаем. Или вообще ждем команды от человека.

[sasha1024]

По-разному — в разных местах. Может, он остановился через километр после того, как пропал сигнал, а может — и через 10 км. А может — автомобиль вручную (или с горочки) откатили назад, и он стоит даже раньше той точки, где пропал сигнал.

[AllexIn]

Ну и что? Задача знака аварийной останоки — показать что ехать нужно аккуратней. В том месте, где пропал сигнал — нужно ехать аккуратней. Знак не нужен роботу.

[TerraRist]

Например, выехал из зоны действия сети или сломался именно модуль связи.

Что значит «ехать аккуратнее» для самоуправляемого авто?

Простите, забыл про определение на дороге.

[Igor_34_rus]

А упавшие дерево или столб тоже должны выставлять треугольник?
Выбегающий ребёнок…
Препятствие на дороге — остановиться / объехать.

[AllexIn]

Выбегающего ребенка на трассе быть не должно. Автомобиль не может отреагировать на внезапно появившегося ребенка.
Это я говорю как челоек, который будучи мелким идиотом специально бегал перед машинами.

[Igor_34_rus]

Такую машину никто не выпустит на дорогу.

Это элементарное требование безопасности как для водителя так и для других участников движения.

[extnike]

С выбегающими на дорогу людьми проблема больше моральная, а не техническая. Автомобиль с пятью пассажирами при выбегании на дорогу глупого человека должен при пересечении тормозным путем траектории бегущего:

1. Уехать в кювет и с высокой вероятностью убить пятерых;
2. Выехать на встречку в пассажирский автобус;
3. Сбить пешехода.

Ну и автомобили, которые не всегда могут отреагировать на выбегающего ребенка, ездят сейчас по дорогам повсеместно и без каких-либо ограничений. Количество ДТП с пешеходами тому в подтверждение.

[Igor_34_rus]

Вы свалили всё в кучу. До моральной проблемы дело не дошло.
old_bear говорит, что

поэтому быстрый и очень роботизированный

Я говорю, что машина в любом случае заметит препятствие и дальше будет принимать решение. В котором, возможно, будет заранее готовый выбор морального вопроса.

[DenisKoronchik]

Полностью с вами согласен. Если все машины self driving, то тут уже другие алгоритмы работают, и знаки не нужны. Знаки нужны лишь в том случае, если за рулем на дороге есть хотя бы один водитель человек. Но в таком случае и self driving car могут работать по двум принципам:
1. «общаться» с машиной, на которой едет человек (чтобы где-то ее подтормозить или предупредить)
2. пытаться распознавать знаки

[TerraRist]

Карту могут обновить, пока у авто нет доступа к Сети. Например, поставили Stop на дороге до дачи, где нет никакой сети. Для таких случаев нужны знаки на месте даже для self-driving-only дорог.

[DenisKoronchik]

А нужен ли вообще интернет, если машины смогут например между собой общаться? Там то они по алгоритму смогут «договориться», как мне кажется.

[mironoffe]

На сколько мне известно, об установке знака выходит приказ сильно заранее его фактической установки и с указанной датой «активации» — снятия мусорного пакета черного полиэтилена. Но всегда есть вариант типа такого: машина простояла в тайге 30 лет, едет по болоту, утверждает что дорога тут. Возможный выход — запретить автопилотирование при продолжительном периоде отсутствия обновлений.

[vlivyur]

А зачем человекочитаемые знаки устанавливать? Поставили активную метку на дорогу, где всё что нужно (максимальная скорость, пути об'езда, место действия и пр.) описано.

[SpiridonovAA]

Мне не совсем понятно, почему не сосредотачиваются усилия на разработке биологически-правдоподобных кортикоморфных нейросетях. Они таких ошибок не совершали бы

[Caseor]

А как быть с этим:

Выяснилось, что птенец реагирует и не только на клюв, но и на картонный прямоугольник с круглым оранжевым пятном. И пытается получить у него еду как у обычной чайки. Звучит логично, особенно в условиях нехватки вычислительных ресурсов птенца, правда? «Появляется сверху», «длинный» — это важно. Но самая высокая ценность сигнала «оранжевый на белом» — и она по мере эволюции завышается.

Под самый конец внезапно нашёлся ультранормальный сигнал. Если птенцу показать прямоугольник с тремя оранжевыми полосами, он распознает его куда быстрее, точнее, и среагирует в разы активнее. То есть сильнее распознаётся другой образ, которого нет в природе.

Переобученные нейросети в дикой природе и у человека

[SpiridonovAA]

я же написал «кортикоморфных нейросетях»
разве у чайки есть кортикальные колонки?

[JTG]

У Питера Уоттса в «Морских звездах» было нечто похожее:

— Надеюсь, пилот подъемника не слишком заскучал, — физиолог снова дружелюбен и болтлив.
— А там нет пилота. Только умный гель.
— Серьезно? Лучше бы ты мне этого не говорил, — хмурится Джарвис. — Страшноватые штуки эти гели. Ты знаешь, что один из них задушил кучу народа в Лондоне пару лет назад?
Кита уже хочет сказать, что знает, но у пассажира опять приступ болтливости:
— Нет, серьезно. Он там управлял системой подземки — никаких нареканий, идеальный работник, а потом однажды эта штука просто забыла запустить вентиляторы, когда было надо. Поезд заезжает на пятнадцать метров под землю, пассажиры выходят, воздуха нет, бум!
Джоэл уже слышал эту историю. Коронная фраза как-то связана со сломанными часами, если он все помнит точно.
— Эти штуки вроде как учатся на собственном опыте, правильно? — продолжает Джарвис. — Ну и все думали, что зельц научился запускать вентиляторы по какому-то очевидному признаку. Жару тела, движению, уровню углекислого газа, ну ты понимаешь. В результате выяснилось, что эта хрень просто смотрела за часами на стене. Прибытие поезда совпадало с предсказуемым набором паттернов на цифровом дисплее, поэтому она включала вертушки, когда видела один из них.
— Ага. Точно, — Джоэл качает головой. — А какие-то вандалы часы разбили. Или что-то вроде того.

[nad_oby]

Во первых это не нужно пока никому.
Во вторых есть нейроморфные чипы.
В третьих они глючили бы тоже, не нужно идеализировать биологические сенсоры. Для примера оптические иллюзии

[alexws54tk]

Прочитал подпись к КДПВ и завис на полчаса, сломав мозг.
Это как надо было обучать ЛИСУ, чтобы в знаке «СТОП» видеть «Ограничение скорости 45», тем более „американские“?

Знаки

[Tachyon]

С такими возможностями по сокрытию знаков с помощью небольших модификаций и развитием беспилотных авто скоро террористы будут просто цеплять наклейку на знак где нибудь на оживлённой трассе, и всё… Ни на пилотов учиться не надо, ни самолёты в здания потом «сажать», наклеил, ушел, и с пяток человек выпилил. Куда проще чем с ножиком по улице бегать всех встречных резать.

[HappyUser]

Как бы даже сейчас в навигаторах знаки есть. На основных (читай оживленных) улицах знаки в памяти автопилота/навигатора. Необходимость считывать может быть только в захолустье и то сомнительно, что службы отвечающие за знаки и имеющие общую базу данных по ним, могут не знать о каком то знаке (т.е. не выложат данные о знаке в общественный доступ).

[AlexDodonov]

Выходит сравнивать человеческий мозг с нейросетью — значит излишне упрощённо представлять мозг. Возможно там есть что-то похожее на нейросети, но там точно есть понимание сути явлений, помогающее разбираться с помехами.