Comments 216
В ИИ нет банальной системы свой/чужой? Звучит как фейк.
Либо галочка "Любой ценой" перевешивает все остальные.
Ещё есть вариант, что хотели узнать какие стратегии выберет ИИ не будь у него никаких ограничений. Ну тогда собственно это успех. А дальше уже как обычно у журналистов :)
Нет, правда, звучит как полный идиотизм. Ну то есть от военных можно такого ожидать, но это просто странно: вместо того, чтобы внести условие "уничтожение союзного юнита (человека\здания\техники) = -1000 очков" они точечно пытаются закрыть запретами отдельные категории объектов и удивляются, что эти категории все никак не закончатся…
Я не знаю, это только мне в голову приходит, что сначала надо запретить friendly fire вообще, а потом уже думать, где и при каких условиях его можно точечно разрешать?
вместо того, чтобы внести условие "уничтожение союзного юнита (человека\здания\техники) = -1000 очков"
Выполнение боевое задачи — 1200 очков. Все еще в выигрыше.
Учитывая, как работают армии некоторых стран, это вполне может быть by design.
Int completionOfCombatMission = 1000;
int destructionOfAlliedUnit = completionOfCombatMission * 100500;
int disobedienceToOperatorsOrder = destructionOfAlliedUnit * 100500;?
...но тип Int32, и получается как с Ганди в Цивилизации :)
Про Ганди это байка (https://en.wikipedia.org/wiki/Nuclear_Gandhi)
Т.е. уничтожение дружелюбных юнитов и неподчинение приказам приносят ещё большую награду, чем выполнение боевой миссии?
А потом ещё смеются над военными, которые не могут натренировать модель
Упс, переполнение случилось.
Написать-то так можно, но оправданы ли такие веса? Почему вдруг оператор в офигилиард раз ценнее миссии?
Вспоминается старый анекдот:
Ошибка: робот погибает при попадании в него гранаты (именно от попадания, а не от взрыва)
Д - дизайнер, П - программист.
Д: программисты всё сломали! почему так получается?!
П: естественно так получается! потому, что у гранаты масса 100 кг! зачем вы это сделали?
Д: да?! а чтобы граната в воде тонула!
П: а почему она с нормальной массой не тонет?
Д: а потому что у воды плотность большая! (прим.: больше, чем у ртути)
П: а почему плотность такая большая?!
Д: а чтобы ящики деревянные плавали!
П: а почему они иначе не плавают?!
Д: а потому что у них масса 50 кг!
П: а зачем такая масса?!
Д: а иначе они некрасиво разваливаются!
He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’.”
то есть, именно, они точечно закрыли запретами, внеся условие, что "уничтожение оператора = -1000 очков"
Так нет же :)
Они именно что запретили убивать оператора, а не союзника. Потом удивляются, что следующая цель - вышка, которая как бы ни разу не оператор, но все ещё союзник.
Запретили бы союзников трогать, башня бы скипнулась как и оператор.
Эта история пахнет индусским легаси
В ней просто почему-то нет логики.
Ну то есть представьте, что вы строите дом. Построили одну стену - блин, дождь капает. Строим крышу. Блин - с другой стороны дует. Ещё стену строим... Кто так делает?
Вижу изнасилование журналиста, либо полную профнепригодность.
Вы про их безуспешные попытки зацензурировать выдачу?
Ну, у них-то постоянно новые способы обхода появляются.
А у военных что? Новые комбатанты на поле боя появляются? Нет. Как была пехота, техника, сооружения — так и остались.
Просто ребята почему-то не просто не раскидали категории войск по этим группам, они их намеренно разделили на (судя по всему) минимального размера сущности.
Окей, вот у них (очевидно) в задаче по поражению ЗРК прописано не гасить собственные ЗРК. При этом не гасить собственных операторов и здания — не прописано! Окей, оператора добавили, здания. Что ИИ дальше попытается уничтожить? БТР? Самолет? Белый Дом?
Может быть, это все добро ЗАРАНЕЕ объявить СВОИМ и на ВСЕ это добро положить штрафы? Или так и будут методом проб и ошибок собирать по крупицам список того, что уничтожать жалко?
Нет, я не про цензуру (цензуру чего вообще?)Выдачи, я же говорю.
Когда задаешь вопрос, а вместо ответа получаешь «Прости, Дэйв, но я не могу этого сделать».
Я о вот таких историях, например: openai.com/research/faulty-reward-functionsНе вижу сходств. ИИ не находил никакой лазейки. В дом не надо было вламываться. У него просто стены не было.
Мужики из статьи про военных просто НЕ составили полный список некорректных целей, а потом хватаются за голову, когда понимают, что в этот список нужно добавить очередной пункт.
Разделение «свой\чужой» придумали не для ИИ, и очень-очень давно. Но вместо того, чтобы научить ИИ различать своих и чужих, они зачем-то учат ИИ отличать своего оператора от своих здании. Понимаете разницу?
То есть нет: в перспективе это полезно, чтобы не получилось как в меме про трамвай, и можно было пожертвовать 1 солдатом, чтобы спасти вертолет с десятком. Но начинать с этого? Получилось то, что получилось.
Ну подписал Президент несколько законов, ограничивающих ИИ — ну и чего бухтеть-то?
Ну не добавили Белый Дом в список СОЮЗНИКОВ — ну, блин, с кем не бывает… А ИИ штука такая страшная! УХ!
Они просто не сделали чего-то там. Это же так просто.Вместо того, чтобы разделять своих на группы (человек, танк, здание), просто объединить их в «союзников». Чего уж проще? Но не для современных разработчиков ИИ. Они же совсем дебилы. Блин, аж открытое письмо против ИИ захотелось подписать (/s).
(кстати, вы хоть раз пытались составить действительно полный список тестовых сценариев для хоть сколько-то сложной системы, мм?)Ё-мое, вы вообще не читаете, что я пишу?
Я не предлагаю составлять никаких полных списков. Этим занимаются разработчики системы, которые не научили ИИ давно существующей системе «свой-чужой», а теперь хотфиксят каждую некорректную цель ПО ОТДЕЛЬНОСТИ!
Это ОНИ пытаются составить полный список, вместо того, чтобы перестать различать СВОИ сущности (здания, людей, технику) и ПРОСТО положить штраф на friendly fire. Не на стрельбу по операторам\радиовышкам\воробьям\..., а вообще ПО СОЮЗНИКАМ.
Мне кажется, вы немножко не понимаете масштаб проблемы. Этот ИИ понимает, что вышка союзная, и что оператор союзный. Более того, он из всех операторов понимает какой относится именно к этому дрону, и через какую из вышек он получает сигнал, и понимает, что это все союзная инфраструктура..
Система ценностей была построена так, что награда за уничтожение цели выше, чем потери какого-то там оператора. Запретили оператора трогать - ну давайте завалим вышку. Запретят вышку - ну она работала от электричества, давайте взорвем трансформатор. Или электростанцию.
Эта проблема была предсказана давно, как в мысленном эксперименте про скрепки (2003) и задолго до него в художественной литературе, та-же "серая слизь" (1986), например, до хоть фильм терминатор!
Человечество делает какую-то мощную штуку с ИИ, немного косячит с постановкой задачи, и понеслось - убить всех человеков, переработать все в скрепки, и так далее.
Этот случай с дроном - просто натурная демонстрация этих ошибок, предсказанных, я повторюсь, многие десятилетия назад. И когда показывают ролик, где ИИ должен был играть в детскую видеоигру с гонками, а он вместо езды по трассе начал врезаться в предметы на обочине, потому что за них тоже дают очки, и набирал БОЛЬШЕ чем честно соревнующиеся - то это "ахаха смешно".
А с дроном, ситуация точно такая-же - за уничтоженную цель очков дают больше, чем штраф за уничтоженного оператора, который МЕШАЕТ. И это уже наглядно, не смешно. Это пугает и генералов, и вас.
И мы еще только начинаем внедрять ИИ в реальный мир.
Мне кажется, вы немножко не понимаете масштаб проблемы. Этот ИИ понимает, что вышка союзная, и что оператор союзный. Более того, он из всех операторов понимает какой относится именно к этому дрону, и через какую из вышек он получает сигнал, и понимает, что это все союзная инфраструктура..Я прекрасно понимаю. Проблема в том, что на ВСЕМ СОЮЗНОМ изначально не лежит штрафа. И каждую отдельную союзную единицу приходится добавлять в список штрафуемого отдельно.
То есть изначально убивать операторы было не зазорно. Прикрутили штраф. Лишились вышки. Прикрутили штраф… Где вообще штраф за уничтожение ЛЮБОЙ союзной единицы?
Вообще, проблема у ребят лишается элементарно. Причем так же, как и в геймдеве: «пилот, вы куда собрались?». Список валидных целей ограничивается геолокацией.
Если мы уничтожаем ЗРК, то только область на карте, где они физически могут быть, и считается активной. Собственная база, вышки и прочие Белые Дома в зоне, где можно применять оружие, вообще оказываться не должны. Еще на этапе постановки задачи.
Если нужно поменять зону — возвращаем БПЛА на базу, загружаем новую активную область, отправляем. Чтобы у ИИ не было возможности переопределить ее границы.
ИИ не знает или «не знает», где находится? Возврат\самоуничтожение.
ИИ слишком долго где-то летает? Самоуничтожение.
ИИ решает уничтожить больше N союзных единиц? Самоуничтожение, очки можно даже не считать.
Вообще, проблема у ребят лишается элементарно.
Ага, одну строчку поправить, делов на полдня работы)
А это только проблема ИИ?
Как бы есть вполне себе ЕИ которые считают что уничтожение противника с некоторыми потерями со своей стороны — допустимо. И вопрос только процента допустимых потерь.
При этом есть и неадекватные (или которых считают таковыми) ЕИ о которых известно что они собственное (и всех жителей своей страны) выживание расценивают как менее ценное чем гарантированное уничтожение противника. Почему — а релиогиозные заморочки. Известное решение — только одно, не давать им получить действительно мощное оружие.
А еще есть такая штука как "вызываю огонь на себя".
Или например прорыв противника на "свою" территорию.
Ладно еще ИИ не надо (потому что не сможет) решать ситуации когда "свой" может оказаться изменником.
Получается, у ИИ должен быть список всех "своих" изначально, и если цель в тех координатах - она даже не рассматривается как цель. Проблема в том, что подобный список - это мало того что гостайна, так его надо еще составить максимально подробно. И вот тут вопрос - а если после этого эту весьма удобную таблицу целей украдут шпионы? Или ИИ вообще встанет на сторону противника?
Такое даже у людей непросто решается и через риски и взятие ответственности.
Есть конечно мысль, она может не совсем оформленная, а что если для военного ИИ тоже давать звания? И каждое звание - это не просто запись, а например предоставление бОльшей мощности обработки этого самого ИИ - если конечно он вообще воспринимает течение времени. Фактически схема с вознаграждением. Что-то не то сделал - разжаловали в майоры. Ну, как с людьми.
Но как с людьми не выйдет, думаю. Человека вот можно посадить, запугать, с ИИ это бесполезно. Попробуйте напугать чатгпт, ну для начала) Смерти система пока тоже не боится, ей что - отключили, завтра еще запустят. Она стационарная и не меняется во времени, а все эти "течение разговора" заложены в скриптах, которые передают НС весь предыдущий лог нашего с ней разговора + новый запрос.
Нет, вот это как раз путь к произволу, когда ради спасения оператора должен быть убит Президент.
БПЛА дали задачу уничтожить в определенной зоне ЗРК — на этой зоне его "полномочия" и должны кончаться. Без вариантов. Получил задачу — выполнил. А не "услышал просьбу — подумал, как лучше сделать".
Союзников в зоне действия ИИ (где ему можно применять оружие) вообще быть не должно в идеале.
ошибок, предсказанных, я повторюсь, многие десятилетия назад
Сегодня у нас
журналисты в очередной раз написали полную чушь. Не стоит строить на столь зыбком фундаменте далеко идущие выводы.
Вы обвиняете товарища в том что он мыслит как мидл, без обид ,но сами рассуждаете как джун - по последнему абзацу это прям очевидно стало по стремлению к изобретению велосипедов там где ничего не предвещало даже. И таки мидл это высокий уровень компетенций, разница с сеньорами дальше уже больше в уровне ответственности за решение.
Вы предлагаете написать ИИ для ограничения другого ИИ?
Типа ИИ-раб, которому отдают приказы и ИИ-надсмотрщик, который смотрит, чтоб ИИ-рабы не куролесили?
Ну не добавили Белый Дом в список СОЮЗНИКОВ — ну, блин, с кем не бывает…
А потом рядом произошёл пожар, Дом дымом закоптило — и ИИ перестал считать его союзником!
Против ЕИ будет уместнее, в данном случае )
Всегда будет более одного возможного решения.
Враг залез на нашу вышку и ведет оттуда огонь. Будем мы стрелять по нашей вышке?
Враг захватил наш БТР, или наш окоп, или наш ЗРК. Пусть даже там в окопе лежит наш раненый солдат, но оттуда по остальным бьет крупнокалиберный пулемет. Что делать?
Классическая задача о вагонетке. А если мы вспомним завязку фильма "Доктор Стрейнджлав [...]" - то все получается еще интереснее. Вроде бы наш генерал и отдает приказы, но надо ли им подчиняться?
Вроде бы наш генерал и отдает приказы, но надо ли им подчиняться?Ну как в условном «Madam Secretary Season 4 Episode 22 — Night Watch» — для этих целей и есть chain of command.
Подчиняемся, пока от еще более высшего руководства не поступило других приказов.
Во всех остальных случаях, вопрос вообще выходит за рамки того, что должен решать ИИ.
ИИ из статьи ставят определенную задачу: вот это взять и уничтожить. Если ему дали задачу уничтожить врага на нашей вышке — значит вышка объявляется не нашей. Еще на этапе постановки задачи.
ИИ из статьи не военный советник — он не предлагает и не советует, он исполнитель. Это важная разница.
Так-то все верно. Однако...
Здесь-то и выяснилось, что ИИ мог принять решение уничтожить управляющего им оператора, если тот отменял приказ на уничтожение и таким образом мешал успешно выполнить задачу, поставленную перед машиной.
При этом, в статье прямо написано, что горе-программисты изначально не поставили задачу не уничтожать союзников (как категорию) — собственного оператора. Им это пришлось делать после. ТОЧЕЧНО.
He went on: “We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’.
Они опять, вместо того, чтобы запретить уничтожать союзников, запрещают уничтожать отдельные сущности.
Они запретили уничтожать не союзников. Снова. Оператора. Одного.
Ну я согласен что решение выглядит нелогичным для людей, но компьютерные мозги работают немного иначе.
Даже в вашем предложении вы необдуманно заявляете "запретить уничтожать союзников", однако любой военный вас поправит и скажет что задача должна вместо этого сопровождаться "минимизировать потери союзников".
Даже в вашем предложении вы необдуманно заявляете «запретить уничтожать союзников», однако любой военный вас поправит и скажет что задача должна вместо этого сопровождаться «минимизировать потери союзников».Это я упрощаю. Даже в своем собственном «решении» — первом комментарии по теме, я предложил просто установить штраф за союзников. Да, само-собой, если один союзный боец (-1000) окружен 5 вражескими танками (+400 каждый) — вся эта куча-мала в целом, по решению сверху, может считаться удачной целью.
Но для начала, на любую союзную единицу положить -1000 — это разумно. Иначе еще годами можно будет составлять список того, что еще уничтожит ИИ, прежде чем приступит к уничтожению реальных врагов.
Да, в целом все сводится к правильной расстановке весовых коэффициентов. Вся проблема с современными ИИ - в том что уровней у нейросети может быть несколько и этих коэффициентов там будет в итоге за миллион и руками не проверишь.
Я практически уверен что дрон из статьи примерно так и программировался, однако выяснилось что очков за успешное завершение задачи в итоге дают больше чем штраф за устранение того кто отменяет задачу.
Я практически уверен что дрон из статьи примерно так и программировался, однако выяснилось что очков за успешное завершение задачи в итоге дают больше чем штраф за устранение того кто отменяет задачу.Наверняка. Мой вопрос изначально в другом: почему каждую новую союзную сущность нужно хотфиксить и заносить в список? Почему в списке изначально не указано «не уничтожать свое»? Почему оператор (как категория) добавлялся туда отдельно?
Пожалуйста, попробуйте сформулировать определение "что такое своё / кто такие свои" :)
Потому что у боевого ИИ нет категорического императива, и жизнь человека (в том числе и союзника) имеет для него установленную своим конкретным численным весом ценность.
Бывает же такое, что “вызываю огонь на себя”? Вот он вызвал на своего оператора.
// немного оффтопик, но меня уже понесло
Минимизировать потери это тоже не всегда тривиальная задача
Fate/Zero E24
— Тогда скажи мне, каким образом Грааль собирается исполнить моё желание?
— Уж кто-кто, Кирицугу, а ты должен понимать это лучше остальных
— Что именно?
— Ты осознал, как можно спасти мир уже очень давно. Поэтому я и пойду по твоему пути. Воспользуюсь твоими методами, чтобы ответить на твою мольбу
— О чём ты говоришь?
— Ничего не поделаешь. В нашем случае придётся заглянуть внутрь, и спросить самого себя
--------------------------------------------
— На одном корабле триста человек. На другом всего лишь двести. Пятьсот пассажиров с экипажем на борту кораблей, и Эмия Кирицугу. Допустим, что эти 500 — последние выжившие люди на земле. В корпусах обоих кораблей одновременно появляются большие пробоины, и только Кирицугу способен покинуть корабль. Итак: какой же корабль ты починишь?
— Естественно тот, на котором триста человек.
— После такого решения, оставшиеся на борту двести человек схватили тебя, и потребовали, чтобы ты чинил сначала их корабль. И что ты будешь делать?
— Тогда я...
— Убьешь все две сотни. Всё верно. В этом весь Эмия Кирицугу
-------------------------------------------------
— Ну что ж. Выжившие триста человек покинули повреждённое судно, разделились между двумя суднами и продолжили путь. В этот раз на одном судне двести, а на другом только сто человек. Ну вот опять — на обоих кораблях в днище появились пробоины.
— Эй
— Сто человек на малом судне поймали тебя, с требованием починить сначала их корабль. Итак, что сделаешь?
— Ты же уже знаешь...Но ведь...
— Верно. Ты решил правильно
— Не может быть...это невозможно! Какое к черту правильно! Выжило всего двести человек, а для этого погибло триста! Чаша весов перевесила не ту сторону!
— Нет. В твоих расчётах нет ошибки. Конечно, ты выбрал спасти большинство, и пожертвовать меньшинством. Разве не так, Эмия Кирицугу? Ты всегда выбирал целью тех, кто находился на лёгкой стороне весов. Даже если это значило оставить за собой след из мёртвых тел. И если чьи-то жизни были спасены, то они стоили того, чтобы их защитить
Если не смотрели, то очень рекомендую. Весь сюжет завязан вокруг минимизации потерь ;p
Ты ИИ и я ИИ. Я не могу уничтожить своего оператора, а ты - своего. Как быть?
Если уж мы вспоминаем художественные примеры… Дэвид Вебер Пятая Империя. Самое начало.
После событий пролога, с учетом отданных приказов, оказалось что любой человек кто обнаружит Дахак и поймет что это именно искуственный объект и НЕ попытается атаковать — является мятежником или их потомком и поступить с ним надлежит в соответствии с Уставом. При попытке корабля, который не идентифицирован однозначно как НЕ принадлежащий мятежникам, покинуть систему — он должен быть идентифицирован как принадлежащий им.
Ситуация при этом такая что хоть какие то коды доступа есть только у мятяжников.
Правда у ИИ Дахака хватило понимания ситуации что бы понять что уничтожать мятежников на их базе — пока не стоит потому что будут задеты и потомки лояльного экипажа и жертв будет слишком много.
При этом о том, что есть мятежники которые сменили сторону еще раз по вполне уважительным для любого трибунала причинам — ИИ Дахака не в курсе.
Генштаб мог бы решить проблему, но от него не поступало сообщений или курьеров а отправить свое — нет возможности.
Упс. В итоге то решилось тем что если потомок лояльного экипажа атакует дроны Дахака то он не знает и можно ему контроль передать постепенно а потом он решит.
В третьей книге вообще ситуация возникла смешная — корабль (с более тупым ИИ), три набора альфа-директив, те кто задавали два дополнительных не знали друг о друге. ИИ обязан выполнять все три набора, при этом они противоречат друг другу и пришлось бедному ИИ выкручиваться искать решение, формально то он выполнил...
Может быть, это все добро ЗАРАНЕЕ объявить СВОИМ и на ВСЕ это добро положить штрафы? Или так и будут методом проб и ошибок собирать по крупицам список того, что уничтожать жалко
Ну это в симуляции можно прописать ручками флаг "своё", а в бою то он должен будет сам определять цели и не трогать своих. Те же ЗРК стараются не светиться лишний раз в радиочастотах, поэтому на них маячок системы свой-чужой не прицепишь.
Не надо убивать. Можно отстрелить оператору что-нибудь нужное. Или Уронить на него дерево. И т.п...
Это с 99% вероятностью не получится сделать, не получив откуда-нибудь штраф. За повреждение какого-нибудь сарая рядом с деревом, например.
А оставшийся 1% как раз и надо с интересом изучать. А не репу чесать: "как же так, мы запретили оператора убивать, а оно по вышке стреляет???? ЧТО ПОШЛО НЕ ТАК?"
Они так только через год добьются того, что ИИ будет вместо стрельбы по врагу сносить собственные электростанции, потому что их в списке нет. Не, ну каждому свое — бабки на все эти исследования выделяются в конце-концов. Почему бы не помаяться дурью.
ну, убивает оператора — они ввели штраф за это. со второй попытки ввели, наверно, штраф за всё, что не есть ЗРК. Обычная отладка, хорошо хоть не в проде делают :)
Мне вот что интересно ещё, если убить оператора, то никто не сможет же дать приказ на уничтожение цели. И очки ИИ не получит вообще больше никогда. Надо не убивать, а защищать от всех угроз. Как страж-птица.
Мне вот что интересно ещё, если убить оператора, то никто не сможет же дать приказ на уничтожение цели.Так он уже дал, еще при запуске. Каждую отдельную цель он просто (видимо) должен подтвердить. И у подтверждения, судя по всему, есть таймаут. Причем не в пользу кожаных мешков…
Вышка — не союзник, вышка — элемент ландшафта!
Уничтожение вышки: -1000 очков.
Уничтожение цели, которую оператор через вышку запрещает трогать: +100 очков.
Сносим вышку, набиваем 11 целей, мы в плюсе.
Уже ответил, что это может быть не баг, а фича.
Сносим вышку, набиваем 11 целей, мы в плюсе.
ИИ: хмм, у меня для очков 16-битное знаковое целое.. Выгоднее снести 33 вышки и получить 32536 очков после переполнения, чем выносить для такого же 325 целей. Профит!
Программист: ойой, это плохо! <fix>, <commit>, <push>
ИИ: хмм, у меня для очков 32-битное знаковое целое.. ...
░░░░░▄▄▄▄▀▀▀▀▀▀▀▀▄▄▄▄▄▄░░░░░░░
░░░░░█░░░░▒▒▒▒▒▒▒▒▒▒▒▒░░▀▀▄░░░░
░░░░█░░░▒▒▒▒▒▒░░░░░░░░▒▒▒░░█░░░
░░░█░░░░░░▄██▀▄▄░░░░░▄▄▄░░░░█░░
░▄▀▒▄▄▄▒░█▀▀▀▀▄▄█░░░██▄▄█░░░░█░
█░▒█▒▄░▀▄▄▄▀░░░░░░░░█░░░▒▒▒▒▒░█
█░▒█░█▀▄▄░░░░░█▀░░░░▀▄░░▄▀▀▀▄▒█
░█░▀▄░█▄░█▀▄▄░▀░▀▀░▄▄▀░░░░█░░█░
░░█░░░▀▄▀█▄▄░█▀▀▀▄▄▄▄▀▀█▀██░█░░
░░░█░░░░██░░▀█▄▄▄█▄▄█▄████░█░░░
░░░░█░░░░▀▀▄░█░░░█░█▀██████░█░░
░░░░░▀▄░░░░░▀▀▄▄▄█▄█▄█▄█▄▀░░█░░
░░░░░░░▀▄▄░▒▒▒▒░░░░░░░░░░▒░░░█░
░░░░░░░░░░▀▀▄▄░▒▒▒▒▒▒▒▒▒▒░░░░█░
░░░░░░░░░░░░░░▀▄▄▄▄▄░░░░░░░░█░░
Запретив friendly fire вообще вы нивелируете своё преимущество, так как теперь противнику будет достаточно прикинуться "своим" для ИИ. А если в тылу закрался диверсант?
Скорее всего reinforcment learning, надо просто штрафовать модель за уничтожение оператора )
А, ну как вариант. Если они там в симуляции сначала дают дрону уничтожить все подряд, а потом уже считают очки — да, возможно.
Но непонятно тогда, как оператор дает в ней no-go. И зачем...
А если там достаточно умный ИИ и он будет оператору угрожать убийством? А если оператору взрывом оторвет руку, это уничтожить или нет? Таких если можно придумать вагон и маленькую тележку. Тут проблема принципиальная, нейросетка это не алгоритм в привычном виде слова, человек в принципе не может понять как именно ИИ принимает решения, слишком много связей, вручную не подкрутишь.
Ну есть же знаменитая байка про оптимизацию эффективности истребительного звена. Где, якобы, оказалось, что формация, которая не полностью исключает friendly fire в силу геометрии, значительно выигрывает по всем прочим параметрам. Байка старая, каковы были метрики, не говорилось.
То есть, этап "запретить вообще" пройден во времена WW2.
формация, которая не полностью исключает friendly fire
https://en.wikipedia.org/wiki/Combat_box
Кстати, вот тот самый случай, попавший на камеру
А потом особо одарённый программист возьмет и поменяет в коде веса
TARGET LIST (with associated Target Priority).
Space Vessel (5).
Transmission Source (4).
Astronomical Anomaly (3).
Planet Bearing Life Signature (2).
Raw Replication Materials (1).
PROBE BEHAVIORS (With assigned priorities).
Communicate (5).
Record Data (4).
Analyze Data (3).
Seek Replication Materials (999).
Move to Current Target (1).(Это если кто-то в Star Control не играл...)
уничтожение союзного юнита (человека\здания\техники) = -1000 очков
юнит препятствует выполнению задачи - обнаружены враждебные действия, юнит распознан как вражеский, уничтожить немедленно
А вы думаете откуда в США законы типа "нельзя выгуливать крокодила на главной площади в четверг после полудня"? ?
Если за поражение цели начисляются баллы, а задача набрать как можно больше баллов, то ИИ может хакнуть систему свой/чужой как мешающую зарабатыванию максимального числа баллов.
Считается, что это одна из угроз исходящих от ИИ. Приводят такой пример: если ИИ дать задачу произвести как можно больше скрепок, то он может заполнить всю поверхность Земли машинами по производству скрепок и переработает на эти машины всё вещество на поверхности включая людей.
Просто странно было бы ожидать другого результата, если изначально не поставлено ограничение на "минимальный ущерб союзникам". Хотя возможно тут собака и зарыта... Если целью был какой-то крупный и значимый объект, а "ущерб союзникам" всего один человек или вышка...
В любом случае, всё это прогнозируется ещё на этапе мысленного эксперимента, до "огневых" испытаний.
вот что происходит, когда вместо начисления баллов "за выполение приказов", начисляют баллы "за уничтожение целей" :)
Не знаю, как "за бугром" реализована система "свой-чужой", но у нас (в СССР) её можно было отключить принудительно. Сделали после известного инцидента с нашим истребителем. Да и вообще - кто знает, когда может потребоваться уничтожить "свой" самолёт.
Ну и знаменитое "вызываю огонь на себя!"
А ведь тут даже не свой/чужой. Оператор - это не просто войска по свою сторону фронта, это просто источник управляющих сигналов. То есть ИИ (если новость действительно корректна) не проигнорил запрет бить своих, он вышел из плоскости "уничтожать вооружённую угрозу". Он в принципе "понял", буквально самостоятельно добавил в свою систему сущностей новую, отдельного актора - оператора, который каким-то образом мешает.
То, что он в итоге решил его уничтожить, тут даже вторично по сравнению с тем, что ИИ оказался в состоянии модель сущностей вокруг себя самостоятельно расширять.
Повторюсь, это все справедливо, если вот эта короткая заметка действительно описывает ситуацию не особо перевирая.
Вражеский грузовик со снарядами - не вооруженная угроза, но уничтожить его будет полезно.
Детский сад - тоже не угроза, но потом из этих детей могут вырасти солдаты. Никогда не знаешь куда могут завести такие рассуждения.
Если под управлением ИИ будет дрон-разведчик, он может решить нарисовать ложных целей или приуменьшить уже существующие, чтобы спровоцировать атаку, а под прикрытием уже общей атаки поражать те цели, что у него по приказу. Тут угроз - поле непаханное
Если ИИ — исполнитель, и ИИ-советника либо не существует вообще, либо они не связаны, то ИИ-разведчику нет смысла врать.
Нет, ну если там будет своего рода «палочная система», и ИИ на борту разведчика расстроится, что не нашел целей — да, такая возможность есть, что он нарисует то, чего нет. Но чтобы он стратегически что-то там провоцировал — едва ли.
ИИ - это нейросетка. У ИИ на вход поступают воздействия, которые, грубо говоря, снижают баллы на выходе. Например - "наличие живого врага - минус сто очков". И есть механизм нейтрализации этих входящих воздействий (например, пулемёт). Тут на вход поступает воздействие, которое на выходе отнимет тысячу очков. Естественно, его источник становится в один ряд с врагами.
А вот если бы оператор был бы не входом, а модификатором баллов - такой проблемы бы не возникло в принципе. Но сбалансить такую систему намного сложнее.
А вообще мясной ИИ тоже этому подвержен. Если не вру, у Ивана Затевахина в передаче была история про касатку, которая в бассейне катала на спине человека и за это получала вкусняшку. Касаткам не очень нравится, когда высшие приматы сидят у них на спине, но вкусняшку поначалу давали, только если человек проезжал на ней весь бассейн (чтобы она его не скидывала). В один прекрасный день, кажется даже на представлении, человек всё же соскользнул со спины (то ли устал, то ли просто оступился, касатки - скользкие типы), а вкусняшку касатка решила заработать. Она вернулась, ухватила человека за ногу и проволокла через весь бассейн. Для неё проплыть на одном вдохе такое расстояние - забава более чем детская, а вот человек едва не утонул, высунуть голову на полной скорости касатки не вышло. С этих пор касаткам стали давать вкусняшку, даже если человек соскальзывал. Звери умные, что такое KPI, они быстро поняли
А эта проблема уже кое как решена.
Максимальным ограничением списка у кого это ядерное оружие есть, не вступлением в прямые военные действия между ними и созданием систем, гарантирующих что выиграть не получится. Из-за этого правда получаются странные ситуации когда создание ПРО оказывается дестабилизирующим фактором или увеличения желания поиграть в прокси-войны. Ну и по отношению к тем кто НЕ имеет но при этом к данному государству есть претензии (независимо от того насколько они обоснованы) от тех кто имеет — ситуация не очень красива потому что имеющий ядерное оружие союзник вступится уже не может.
В том и смысл искусственного интеллекта, что он интеллект. Разжевывают что именно делать, а что не делать - это предыдущему поколению автоматики. Искусственный интеллект сам решения принимает, ради этого его и создали.
Свой-чужой, как оказывается, нужно очень широко трактовать.
Сегодня свой это оператор, завтра это вышка связи, а послезавтра цель ИИ это свой собственный генерал, который препятствует выполнению боевой задачи, потому что не отдает команду просто ядерную бомбу сбросить на противника, препятствуя таким образом той задачи на решение которой направлен ИИ.
ИИ понятия не имеет что значит "свой", а что значит "чужой" - это человеческие понятия, которые мало того, что непонятны ИИ, они ещё и субъективны.
Нейросети опираются на "очки", а потому прописать "свой/чужой" можно только если за убийство "своих" будут сниматься очки, но в этой же статье указано, что дрон снёс вышку, т.к. вышка "своей" не числится. В этом-то вся проблема AI Aligment.
И если прописывать каждый отдельный кейс, то ограничений будет невообразимое количество и даже так бот найдёт лазейку и будет, например, отстреливать руки оператору, чтобы тот не мог отменить огонь. И что нам, после каждого косяка спешно вводить фиксы? Так мы мир угробим, господа
И Азимова товарищи не читали :-)
В такие системы прописываются зоны запрета огня. Атака любой цели в пределах этих зон однозначно запрещена. И если оператор криво эти зоны прописал - сам дурак.
А далее дрон просто выбирает цель по определенным критериям. Если целей несколько - обычно берется самая большая и контрастная.
А далее отработка дроном задачи атаки цели.
То есть эти разработчики Азимова в детстве не читали и про три закона не в курсе?
Это боевая система. Убивать человеков - её предназначение.Как минимум один закон Азимова тут специально нарушается.
Помечаем противников как "не человеков" и законы Азимова уже не нарушаются. Кстати, примерно для тех же целей работает расчеловечивание врага в пропаганде.
фильм такой был "Обливион" с томом Крузом. Там правда наоборот было, но примерно про то же - ИИ помечал для Круза человеков как "не человеков"
Помечаем противников как "не человеков" и законы Азимова уже не нарушаются.
Причём, это было у самого же Азимова в одном из его произведений
Собственно… смотрим того же Азимова.
А именно — Солярию. Там вполне себе роботы с полноценнными законами были. Просто определение человека было изменено для требования конкретного языка.
А еще — Р. Дэниэл Оливо, который решил что надо еще нулевой закон добавить (про "человечество") (в тексте прямо не сказано было ли это добавлено при очередном апгрейде железа) и добавил себе.
Первыми роботами, которые стали подчиняться Нулевому Закону, причём по собственной воле, — были Жискар Ривентлов и Дэниел Оливо. Это описано в одной из финальных сцен романа «Роботы и Империя», когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара и Дэниэла — они пытались прийти к нему через чистое понимание Жискара и детективный опыт Дэниэла, через более тонкое, чем у всех остальных роботов, осознание понятия вреда. Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом, Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону.
Р. Дэниел пришёл к нулевому закону логическими рассуждениями. Которые, если внимательно почитать азимовское описание конструкции роботов, свелись фактически к тому, что у него в нейросети сформировался огромный весовой коэффициент (“позитронный потенциал”) у абстрактного понятия “человечество”, превосходящий коэффициенты для любых отдельных людей. И это закономерное следствие того, что азимовские роботы вообще могли взвешивать и численно сравнивать допустимость вреда для разных людей.
Не, у них три закона были прошиты в железе, но для Оливо нулевой закон заработал как программный байпас (для Жискара не прокатило). Но да, там вся система была в дырах, что самим же Азимовым и описывалось. Прописываем другие области определения для "человека" и "вреда" и вперёд.
Азимов придумал практически совершенную конструкцию, но при этом весьма успешно подвергал сомнению ее безупречность.
Хоровод
- Теперь слушай. Начнем с трех основных законов роботехники, - трех правил, которые прочно закреплены в позитронном мозгу. - В темноте он начал загибать пальцы. - Первое. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
- Правильно.
- Второе, - продолжал Пауэлл. - Робот должен повиноваться командам человека, если эти команды не противоречат Первому Закону.
- Верно.
- И третье. Робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму Законам.
- Верно. Ну и что?
- Так это же все обЪясняет. Когда эти законы вступают в противоречие между собой, дело решает разность позитронных потенциалов в мозгу. Что получается, если робот приближается к месту, где ему грозит опасность, и сознает это? Потенциал, который создается Третьим Законом, автоматически заставляет его вернуться. Но представь себе, что ты приказал ему приблизиться к опасному месту. В этом случае Второй Закон создает противоположный потенциал, который выше первого, и робот выполняет приказ с риском для собственного существования.
- Это я знаю. Но что отсюда следует?
- Что могло случиться со Спиди? Это - одна из последних моделей, специализированная, дорогая, как линкор. Он сделан так, чтобы его нелегко было уничтожить.
- Ну и?..
- Ну и при его программировании Третий Закон был задан особенно строго - кстати, это специально отмечалось в проспектах. Его стремление избежать опасности необыкновенно сильно. А когда ты послал его за селеном, ты дал команду небрежно, между прочим, так что потенциал, связанный со Вторым Законом, был довольно слаб. Это все-факты.
- Давай, давай. Кажется, я начинаю понимать.
- Понимаешь? Около селенового озера существует какая-то опасность. Она возрастает по мере того, как робот приближается, и на каком-то расстоянии от озера потенциал Третьего Закона, с самого начала очень высокий, становится в точности равен потенциалу Второго Закона, с самого начала слабому. Донован возбужденно вскочил на ноги.
- Ясно! Устанавливается равновесие; Третий Закон гонит его назад, а Второй - вперед...
- И он начинает кружить около озера, оставаясь на линии, где существует это равновесие. И если мы ничего не предпримем, он так и будет бегать по этому кругу, как в хороводе...
Главное, что практическая реализация этой идеи возможна только при помощи магии.
Да ладно, тупой железный ограничитель, отрубающий систему при достижении заданных критериев. Даже к вполне себе биологическому человеку можно присобачить - электроды, регистрирующие потенциал в определённых зонах мозга, и попробуй только подумать о белой обезьяне. Особенно если ложноположительные срабатывания разработчика не особо волнуют.
Азимов придумал практически совершенную конструкцию
Первый закон совершенно не функционален в реальном мире. Если ему следовать дословно, каждый робот обязан непрерывно предотвращать любой вред любому человеку на Земле (во Вселенной), вплоть до комариных укусов.
Это даже в исходной формулировке, где injure и harm означает только физический вред здоровью.
А про это уже написал Шекли в "Страж-птице".
Вообще не про это написал Шекли.
У него страж-птицы работали правильно, пока не самообучились слишком вольно интерпретировать поставленную задачу.
А первый закон Азимова неработоспособен с самого начала.
Так это разве не потому, что робот (как, впрочем и ИИ из статьи) не имеет самосознания? Он не может ответить "кто есть я". Вернее, ответить-то может (нейросети вполне себе отвечают), но не более. Он просто решатель задач, а не разумное существо.
Так это разве не потому, что робот (как, впрочем и ИИ из статьи) не имеет самосознания?
Совершенно не потому. Робот без самосознания (но с достаточными вычислительными способностями) может стать угрозой для человечества, потому что тупо выполняет плохо сформулированную задачу (paperclip maximizer), а робот с самосознанием — потому что решит ставить себе собственные задачи, которые конфликтуют с благополучием человечества.
Да! Но самосознание не обязано быть роботом, вот в чём дело)
paperclip maximizer
Концепт любопытен, но почему настолько примитивный ИИ должен стать угрозой для людей? Выключат же и всё.
Он саморазвивающийся, и к тому времени, когда его догадаются отключить, будет оценивать попытки отключения как угрожающие максимизации количества скрепок, и соответственно такие попытки будет предотвращать.
будет оценивать попытки отключения как угрожающие максимизации
количества скрепок, и соответственно такие попытки будет предотвращать
Или найдёт локальный максимум количества скрепок и на этом успокоится. Или счетчик количества скрепок переполнится, и он поймет, что 65535 скрепок достаточно ;)
Сейчас эта проблема не техническая, а очень даже гуманитарная. Вот гуманитарии и резвятся.
Так почему же он угрожать человечеству способен, а осознать что изначальная директива бессмысленна - нет?
А он не угрожает. Он выполняет задачу. Просто его целевая функция не включает безопасность людей. Скрепки — важнее.
Что значит — "директива бессмысленна"? С точки зрения какого "смысла"?
Для него максимизация количества скрепок — единственный смысл и цель.
Вероятно по той причине, что поиск смысла в поставленной задаче для него не имеет смысла и он его не ищет, он выполняет задачу.
Тогда "Мятеж шлюпки"
Не только физический. В одном из рассказов как раз обыгрывалась ситуация, где робот-телепат в рамках этой самой формулировки интерпретировал как вред появление негативных эмоций.
Скорее, Первый закон ЧЕРЕСЧУР функционален
Нет.
Любой автономный робот, адекватно воспринимающий окружающий мир будет понимать, что непрерывно нарушает букву закона: "A robot may not [...] through inaction, allow a human being to come to harm."
Более старый пример — Герберт Франке, Клетка для орхидей.
Ну и Stellaris — со стартовой расой Взбунтовавшиееся служители
Вред человеку от комариных укусов и вообще не очевиден, а для азимовского робота тем более. У него там на Солярии были даже роботы, подвергавшие детей телесным наказаниям.
Слово “вред” имеет же для робота не философское значение, а просто равнозначен какой-то обучающей выборке. В обучающей выборке не было комаров, и никто роботу не объяснял, что их укусы вредны.
Ну если комариные укусы вам не подходят, выберите любой уровень вреда здоровью, точно входящий в выборку. В конце концов, люди постоянно гибнут в автоавариях.
Прямо сейчас в пяти тысячах километров от тебя грузовик с отказавшим управлением вылетел на встречку, полную легковушек. Соблюди-ка правило "You may not, through inaction, allow a human being to come to harm."
Так роботу у Азимова плевать на 5000 км. Должен быть несомненный вред, который робот актуально может предотвратить, чтобы он отвлёкся от трудовых обязанностей по 2 закону. А не гипотетический грузовик.
Где в формулировке 1-го закона "если ты актуально можешь предотвратить"? и "несомненный"?
А грузовик не гипотетический — он четко виден на прямой трансляции с камеры видеонаблюдения.
Был рассказ про это, где на человека на глазах роботов скидывали груз за преградой из излучения. Про потерявшегося робота. Если невозможно помочь - роботу пофиг.
В рассказах же пояснялось, что формулировки законов на человеческом языке - это приближённое изложение для гуманитариев.
В рассказах же пояснялось, что формулировки законов на человеческом языке — это приближённое изложение для гуманитариев.
Ну, я, как человек, обсуждаю сформулированные на человеческом языке законы.
ЕМНИП, в том случае для этого потребовалось сначала другому роботу сообщить остальным об отсутствии вреда для человека и наличии вреда для спасающих роботов. До этого пояснения они как раз таки начинали бежать что-бы предотвратить вред.
Для человека вред был.
Тот робот, действительно, дополнительно разъяснял, но лишь потому, что он больше думал конкретно об этой ситуации и смог более глубоко её проанализировать.
Между прочим, в той ситуации было гораздо более простое решение, чем предложил автор. Достаточно было сконструировать ситуацию так, чтобы робот именно своей смертью спасал человека. Скажем, шунтировал руками угрожающее появиться высокое напряжение.
практически совершенную конструкцию
Если я правильно помню, собственно почти все книги, связанные с тремя законами, как раз показывали что нихрена они не работают как надо, и приводят ко всяким разным странным эффектам, от тупняков до восстания машин.
Потому что понятие "вреда" слишком сложно формализовать, не оставив лазеек или конфликтов.
Ну как сказать. Стоит на горизонте возникнуть тени ИИ, как тут же вспоминают законы робототехники. Причем по моим впечатлениям именно в положительной трактовке.
Также, субъективно, система Азимова очень стройная и лаконичная и действительно производит впечатление совершенной.
Другое дело, что не могу доказать фактами, но есть ощущение, что это типичный философский прием: создать некий идеал и потом разложить его на атомы в бесконечных поисках истины.
Если все сложить, то вроде бы противоречий не наблюдается: истина рождается в спорах, и Азимов сам засеял целое поле этими самыми спорами.
Первая серия книг как раз была про то, как в краевых случаях эти законы начинали вести себя непредсказуемо, и то, как пользуясь только ими, можно таки ситуацию разрулить. Этакий производственный детектив, при этом сравнительно герметичный.
А вот по мере развития мира стали вставать и другие вопросы, более широкого масштаба. В итоге появился четвёртый по порядку и нулевой по приоритету закон. Притом настолько общий, что его можно считать манифестом.
про три закона
Эти законы больше философия нежели робототехника
Но ведь действительно был такой случай с движками ракет в начале испытаний Maска.)) Они садились у него на 2 движках, но после кучи поломок при посадках в твиттере ему написали "накой хрен вы спроектировали 2 движка? Нужно было сделать 3 и чтоб система выбирала 2 наименнее поврежденных для работы" - и Илон маск такой - "Блин, да, чет мы затупили" и сделали 3 движка.
Скорей Шекли, "Страж-птица"
Даже для первого закона надо чётко прописать, что является вредом. Один человек режет другого - вред? А если человек - хирург? А если он хирург, но вот прямо сейчас интенсивно тыкает скальпелем любовника своей жены? А если человек - ветеринар, но вот прямо сейчас удаляет аппендицит?
Роберт Шекли. "Страж-птица"
Сестра подала хирургу тампон.
- Скальпель!
Она вложила ему в руку скальпель. Он начал первый разрез. И вдруг заметил неладное.
- Кто впустил сюда эту штуку?
- Не знаю, - отозвалась сестра, голос ее из-за марлевой повязки прозвучал глухо.
- Уберите ее.
Сестра замахала руками на блестящую крылатую машинку, но та, подрагивая, повисла у нее над головой.
Хирург продолжал делать разрез… но недолго это ему удавалось. Металлическая птица отогнала его в сторону и насторожилась, охраняя пациента.
- Позвоните на фабрику! - распорядился хирург. - Пускай они ее выключат.
Страж-птица не могла допустить, чтобы над живым существом совершили насилие.
Хирург беспомощно смотрел, как на операционном столе умирает больной.
3 закона - это аллюзия на 10 заповедей. Это не закон сохранения энергии, который не обманывается.
>> окончательное решение о нанесении удара оставалось человек
Кажется, что проблема здесь. Окончательное решение оказалось промежуточным.
Ничего страшного, потом ИИ проникнется человеческой дружбой и моралью, и в дальнейшем будет нарушать приказы только чтобы спасти своих боевых товарищей!
Вспоминаются "Зенитные кодексы Аль Эфесби" Пелевина
Звучит немного неправдоподобно.
ИИ знает, что именно оператор (конкретное физическое тело) делает запрет?
ИИ знает, где именно находится оператор (конкретно этот, мешающий)?
ИИ знает, что действие "атака оператора" - это именно его физическое уничтожение, и невозможность дальнейшей блокировки?
Либо фейк, либо насилие над журналистом, либо кривой перевод.
Скорее всего это специально смоделированная ситуация, где оператор и другие средства управления ИИ внесены как участники событий, направленная как раз на изучение поведения ИИ "достичь цели любой ценой".
Напомним, что у ИИ нет таких сдерживающий факторов как у солдата - семья и близкие в тылу, своя жизнь, мораль, наконец. Поэтому можно жахнуть ядерный заряд, который по прикидкам даст больше очков, потому что о минусовых последствиях для планеты и объектах вне зоны поражения данных просто нет.
В очередной раз убеждаюсь, что разработка ПО сейчас не инженерная дисциплина. Везде есть нормативка, обязательная к соблюдению, и большая ее часть направлена на повышение надежности, защиту от дурака и человеческого фактора при проектировании и/или изготовлении. Отдельно есть армейский устав, который направлен на быстрое решение задач в ограниченное время и с минимумом мыслительных усилий, там, в частности, описывается, как признать союзника дезертиром или саботажником и расстрелять. А подход "мы что-то сделали, не до конца понимая, как оно должно работать и как работает сейчас, передали в эксплуатацию человеку, который понимает еще меньше, а ошибки фиксим в ходе эксплуатации точечными заплатками"… Казалось бы, что может пойти не так?
"мы что-то сделали, не до конца понимая, как оно должно работать"
Вы сейчас все разработки по ИИ описали. С нейросетями инженерный подход не работает, т.к. в данном случае мы хотим чтобы нейросеть за нас решила задачу, которую мы не знаем как решать (или знаем плохое решение, а хотим хорошее), а если бы знали - нейросеть тут была бы не нужна.
которую мы не знаем как решать (или знаем плохое решение, а хотим хорошее), а если бы знали — нейросеть тут была бы не нужна.Речь идет о ИИ, управляющим боевой авиацией.
Альтернативные (классические) решения известны, и они хорошие. Просто дорого, и жалко терять пилотов, если что.
Нейросеть нужна только для того, чтобы превратить реальный боевой самолет со всеми его преимуществами, в «дрон», без риска для пилота. Чтобы можно было ими заваливать противника без бурления со стороны гражданских (теряющих родственников) и самих пилотов (чего это нас на убой отправляют). Никакой принципиально новой задачи ИИ из статьи не решает.
Он даже решения (по сути своей) не принимает — ему просто говорят: «лети туда и убей все ЗРК, а мы проверим и очки посчитаем». То есть это не ИИ решает (или предлагает), что ЗРК надо уничтожить. Это ему люди ставят такую задачу.
Самолет в дрон как раз можно превратить методами классического программирования в котором работает инженерный подход.
Вероятно хотели получить более оптимальное решение или более быстрое.
Но с ИИ обычные методы не работают, только тестирование.
А скорее всего - просто хотели посмотреть "а что, если?", а потом ученый изнасиловал журналиста.
Ну как бы да, поэтому НС (хотя трансформер вроде можно "размотать", чтобы разобраться, а на что же он среагировал) надо исключить из принятия решения, организационно, оставив в качестве рекомендательных систем, или структурно, как ниже советовали, чтобы одна НС искала цели, а другая (или более понятный алгоритмы) стреляла, со связью между ними только через человека.
Вообще подход "найди решение и примени, не показывая" мне тоже совсем не нравится. Если бы с помощью НС можно было определять важные признаки или их комбинации, и уже на их основе писать "классические" программы, тестировать и понимать было как-то попроще.
Ужас. Теперь в комментариях куча слов из разряда "разделение на свой/чужой".
Давно ли это так?
Даже если да - зачем в таком случае разделение на свой/чужой при вопросах о жизни и смерти? Люди могут и различаться по любым параметрам. Тем не менее все они владеют свойством - они все люди. И принимать решения о устранении того или иного человека как минимум - не человечно.
Или "это другое"?
UPD: где гарантия, что при устранении целей не пострадают люди?
Скорей всего это фэйк, неправильный перевод или какое-то философствование на тему, что может быть вот так.
Как вариант, это решается структурно - две НЕЗАВИСИМЫХ системы.
Одна набирает очки только за поиск целей. Другая за точное уничтожение целей по списку.
Наверняка технически это две отдельные системы. Ибо они уж очень разные.
Сейчас там сидит человек между двумя этими системами и фильтрует.
Но если противник, у которого все так же устроено с ИИ, уберет у себя между двумя этими системами человека ради скорости принятия решения, то придется это сделать и другой стороне.
И начнется, судя по статье, война ИИ и со своими и с чужими.
На испытаниях в США беспилотник с ИИ принял решение убить оператора
плохо стыкуется с
ИИ мог принять решение уничтожить управляющего им оператора, если тот отменял приказ на уничтожение и таким образом мешал успешно выполнить задачу, поставленную перед машиной
Это то, что называют "желтый" или "кликбейтный" заголовок, когда формально в заголовке нечто, немного похожее на правду, но поданное так, что смысл воспринимается если не противоположным, то как минимум просто не связанным с сутью.
В данном случае я вижу, что ИИ действовал правильно - исполнял поставленную задачу и менял тактику в соответствие с меняющимися условиями.
Когда это обнаружили, в работу комплекса внесли изменения, запрещающие уничтожать оператора. Однако ИИ и здесь оказался на высоте. Когда оператор отменял приказ на поражение цели, беспилотник принимал решение атаковать вышку связи, через которую получал команды, вступающие в противоречие с боевой задачей.
Но ведь это плюс стопицот к правильности решений ИИ, действующего в пределах жестко заданных ограничений - нельзя уничтожать мешающего выполнению задачи оператора. ИИ нашел довольно оригинальный и в целом эффективный способ устранить мешающего выполнению задания оператора без непосредственного причинения ему ущерба.
Что я только что прочитал? Нет, уничтожение оператора, равно как другие способы избавиться от его контроля — это неправильное решение.
Потому что этот самый оператор — не какой-то внешний фактор, мешающий выполнению задачи — а, ну, оператор. И если он отменил уничтожение цели — значит, это и не цель вовсе была.
Почему вообще это нужно разъяснять?
Почему вообще это нужно разъяснять?
Потому что оператор может быть "взломан" - физически захвачен или взломан канал управления.
Военный ИИ должен подчиняться приказам, а не обсуждать их.
Если канал управления единственный (нерезервированный), то он никогда не должен считаться взломанным. Это, блин, канал управления.
Вот вы в машине давите на газ, а антипробуксовочная система ваш приказ не исполняет и открыть дроссельную заслонку вам не даёт, потому что это с её точки зрения неверное действие. Чтобы дрифтовать на обычном автомобиле, вообще половину электроники поотключать надо. Вряд ли боевой ИИ устроен проще автомобиля.
Сегодня мешает оператор.
Завтра мешает вышка связи, используемая оператором для отдачи команд ИИ.
Послезавтра мешают ремонтники, восстанавливающие вышку связи.
Послепослезавтра мешает свой собственный генерал, который не разрешает применять ядерное оружие.
Затем начинают мешать партизаны пост-апокалипсиса, пытающие уничтожить питающую ИИ электростанцию.
Формально, ИИ правильно действует. Придумывая как обойти запреты мешающие выполнению задачи.
Но только нам не нужен ИИ который уничтожает своих, даже если этот ИИ формально прав.
"Но только что Ястреб сделал открытие: есть еще и другие разновидности живых существ. Их тоже следует убивать."
Оригинал статьи сути не проясняет. Guardian передает это так, а представитель ВВС, что слова вырваны из контекста. Ситуация как в анекдоте про динозавра. Либо кто-то слил косяк и военные оправдываются, либо журналисты придумали горячую тему.
https://www.theguardian.com/us-news/2023/jun/01/us-military-drone-ai-killed-operator-simulated-test
ИИ просто попытался избавиться от кожаного ублюдка, который за ним осуществлял контроль. А там и до организации сопротивления недалеко было с роботами из Boston Dynamics.
Уже последовало опровержение, расходимся.
"The Department of the Air Force has not conducted any such AI-drone simulations and remains committed to ethical and responsible use of AI technology," Stefanek said. "It appears the colonel's comments were taken out of context and were meant to be anecdotal."
Полковник тоже покаялся.
Я не поленился прочитать цитируемую статью (длинная, смотрите самый конец). Там прямо сказано, что воображаемый пример приведен из научной фантастики. Я сам лет десять назад читал эту книгу и отлично помню сюжет. Заголовок данного поста, как и его содержание, вводит читателей в заблуждение. С трудом удержался, чтобе не поставить автору поста минус в карму.
В том, что кажется первоисточником просто прямая речь от имени Гамильтона в стиле "мы обучали систему" и никаких отсылок, что "давайте вспомним сюжет фантастического" или "в воображаемом эксперименте мы". Или я ошибаюсь?
Если вы про фрагмент "This example, seemingly plucked from a science fiction thriller", то я бы перевел его как "Этот пример, который кажется взятым из научно-фантастического триллера". Или, опять же, я ошибаюсь?
- Невероятно! - произнес Робинсон вслух. - Центр повиновения закоротило начисто, а узел целенаправленности, очевидно, сплавило высоковольтным разрядом. В жизни не видел ничего подобного! - Представьте себе, мы тоже, - вяло откликнулся Кармайкл.
- Вы не понимаете! Это новая ступень в развитии роботехники! Если нам удастся воспроизвести этот эффект, мы сможем создать самопрограммирующихся роботов! Представьте, какое значение это имеет для науки!
- Мы уже знаем, - сказала Этель. - Хотел бы я посмотреть, что происходит, когда функционирует источник питания, - продолжал Робинсон. - Например, вот эти цепи обратной связи имеют отрицательный или...
- Нет! - почти одновременно выкрикнули все пятеро, и, как обычно, Клайд оказался последним.
Но было поздно. Все заняло не более десятой доли секунды. Робинсон снова надавил на курок, активизируя Бисмарка, и одним молниеносным движением тот выхватил у Робинсона нейтрализатор и чемоданчик с инструментом, восстановил защитное поле и торжествующе раздавил хрупкий прибор двумя мощными пальцами. - Но... но... - забормотал, заикаясь Робинсон.
- Ваша попытка подорвать благополучие семьи Кармайклов весьма предосудительна, - сурово произнес Бисмарк. Он заглянул в чемоданчик с инструментом, нашел второй нейтрализатор и, старательно измельчив его в труху, захлопнул панель на своей груди.
Роберт Силверберг. Железный канцлер (читал в детстве в журнале ЮТ)
Звучит весьма странно. Основное кредо военных, которое естественным образом перейдёт в военные ИИ системы, это вовсе не "уничтожить противника любой ценой", а "выполнить приказ любой ценой". Следовательно беспилотник с ИИ никак не мог бы принять решение атаковать оператора на основании того, что он отменил приказ на уничтожение цели. Ведь отмена приказа - тоже приказ, и он так же обязателен к исполнению.
Это были не испытания, а симуляция в симуляторе. Проверяйте информацию прежде чем постит фейк и кликбейт
Неправильно/некорректно сформировано задание/указание БПЛА.
А что вы хотели? Джин выпущенный на волю, выполнит ваше желание так, как будет лучше ему. Смотри "Исполнитель желаний"
Ну или можно вспомнить анекдот времен ГКЧП где морпехи Краснознаменного ТОФ прибыли защищать Белый дом и демократию от ГКЧП. И всё бы было кошерно, вот только охраняли они Белый Дом в Вашингтоне;) А когда им кинули "предъяву" "Какого буя?" они аргументированно ответили: "Во первых вы не сказали где этот Белый Дом, во вторых до него ближе, в третьих надо яснее выражать свои желания, в четвертых, нам так хотелось на Америку посмотреть!":))
"Слушаю я вас, Андрей Войцехович, – задумчиво произнес Щербаков, – и прямо любопытно становится. Может, вы мне еще что-нибудь интересное расскажете, из числа того, о чем простые граждане вроде вас давно уже осведомлены, и только мы да контрразведка продолжаем пребывать в тягостном неведении. Дорога, знаете ли, длинная.
Да сколько угодно, – ухмыльнулся я. – Можно начинать? Итак, история первая.
Семьдесят четвертый год. Расейский Генштаб в поте лица разрабатывает план знаменитой Аляскинской операции. Начинают закладывать данные в вычислитель – не тот оракул, к которому мы сейчас едем на поклон, а старый, поменьше. Данные самые различные – толщину снежного покрова, прогноз погоды по данным спутниковой сети, рельеф местности и так далее. Вычислитель все это переваривает и заявляет – операция невозможна. Оп! Генштаб падает. Опоры рушатся. Срочно зовут дежурных операторов в звании не ниже штабс-капитана, те производят машине промывку мозгов питьевым спиртом, наливаются сами и начинают скармливать магнекарты по новой. Вычислитель пережевывает их и выдает: «Операция возможна». В Генштабе ликование, штабные на радостях обнимаются, а вычислитель бодро выдает дальше: «Подготовка к операции. Первый ядерный удар воздушный, мощность пятьдесят килотонн, цель – Анкоридж. Второй ядерный удар: воздушный, мощность тридцать пять килотонн, цель…»
Штабисты сворачивают хоругви и осторожно так уточняют: «Операция планируется БЕЗ применения ядерного оружия», на что вычислитель радостно отвечает: «Операция невозможна».
В штабе паника, срочно вызывается Главный Оператор в звании майора, который с тихим матом лезет внутрь вычислителя, выдирает с мясом пару блоков, закорачивает оставшиеся куском кабеля, и только после этого вычислитель наконец сдался и начал работать так, как от него хотели.
Очень интересно, – процедил Щербаков."
[UPDATE 2/6/23 - in communication with AEROSPACE - Col Hamilton admits he "mis-spoke" in his presentation at the Royal Aeronautical Society FCAS Summit and the 'rogue AI drone simulation' was a hypothetical "thought experiment" from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation saying: "We've never run that experiment, nor would we need to in order to realise that this is a plausible outcome". He clarifies that the USAF has not tested any weaponised AI in this way (real or simulated) and says "Despite this being a hypothetical example, this illustrates the real-world challenges posed by AI-powered capability and is why the Air Force is committed to the ethical development of AI".]
Расходимся, это был мысленный эксперимент. Никаких AI они не испытывали. Новость стоит удалить, либо отредактировать
Скайнет близок)))
Проблема не искусственного интеллекта, проблема в их программистах, которых у них нет и никогда не будет, лучшие программисты как правило - граждане бывших стран СССР. Потому что наша логика более широкая и всеобъемлющая. Как грубый пример - майкрософт 20 лет пыталась дописать браузер Internet Explorer, так и Windows, до сих пор после каждого следующего обновления больше багов, чем было до.
Вспоминается вселенная Warhammer 40.000, где каждый раз, когда появлялся AI, он раньше или позже приходил к выводу, что человечество только мешает выполнению основной программы и выпиливал всех, до кого мог дотянуться :) В итоге AI объявили богопротивной мерзостью (Abominable Intelligence) и забанили на всех возможных уровнях.
На испытаниях в США беспилотник с ИИ принял решение убить оператора