Comments 51
Кому надо, тот и с существующим запретом будет делать. Чем Северная Корея и ее ядерная программа не пример?
На мой взгляд, надо не запрещать что-то, а создавать условия, в которых это «что-то» будет без надобности. Конечно, это сложнее, но разрабатывать и тратить огромные средства на гонки вооружений тоже не самая простая задача, и далеко не самая дешевая. И создать благоприятные условия для развития общества я думаю будет значительно дешевле. Но кому это надо? Явно не тем, кто покупает оружие, и уж точно не тем, кто его продает.
На мой взгляд, надо не запрещать что-то, а создавать условия, в которых это «что-то» будет без надобности. Конечно, это сложнее, но разрабатывать и тратить огромные средства на гонки вооружений тоже не самая простая задача, и далеко не самая дешевая. И создать благоприятные условия для развития общества я думаю будет значительно дешевле. Но кому это надо? Явно не тем, кто покупает оружие, и уж точно не тем, кто его продает.
Я, возможно, идеалист, но почему-то хочется верить, что люди, вооруженные ИИ (не важно в каком контексте), будут превосходить автономных ИИ в своих возможностях. Это мне видится наиболее правдоподобным вариантом развития событий
Главное — не начать учить Alpha Go реальным военным стратегиям.
P.S. Тут я хотел добавить, что есть 2 крайних варианта на тему «люди, вооруженные ИИ» vs «автономные ИИ»:
1. Автономный ИИ на тактическом уровне управляет подразделением явно меньше полка. Он не передает информацию (как вариант — далеко не полную передавал бы) каким либо ИИ более высокого уровня, а передает соответсвующим генералам и полковникам — стратегическому уровню (тут ещё был бы оперативно-тактический уровень, но я науку «тактика не учил»).
2. Все наоборот.
На стратегическом уровне работает ИИ, на тактическом — живые бойцы. У живых бойцов могут быть свои тактические примочки. а суммарная производительность или объем оперативной памяти всех этих «примочек» в подчинении ИИ могут превышать аналогичную величину у центрального ИИ.
«Люди превосходят ИИ» — часто такое в НФ относят к космическим боям типа «авиация» — идея о том, что на таком уровне человек может быстро производить неожиданные решения. Результатов проверки на американских пилотах в боях против ИИ не помню.
P.S. Тут я хотел добавить, что есть 2 крайних варианта на тему «люди, вооруженные ИИ» vs «автономные ИИ»:
1. Автономный ИИ на тактическом уровне управляет подразделением явно меньше полка. Он не передает информацию (как вариант — далеко не полную передавал бы) каким либо ИИ более высокого уровня, а передает соответсвующим генералам и полковникам — стратегическому уровню (тут ещё был бы оперативно-тактический уровень, но я науку «тактика не учил»).
2. Все наоборот.
На стратегическом уровне работает ИИ, на тактическом — живые бойцы. У живых бойцов могут быть свои тактические примочки. а суммарная производительность или объем оперативной памяти всех этих «примочек» в подчинении ИИ могут превышать аналогичную величину у центрального ИИ.
«Люди превосходят ИИ» — часто такое в НФ относят к космическим боям типа «авиация» — идея о том, что на таком уровне человек может быстро производить неожиданные решения. Результатов проверки на американских пилотах в боях против ИИ не помню.
Главное — не начать учить Alpha Go реальным военным стратегиям.Скажите это Ким Чен Ыну :)
космическим боям типа «авиация» — идея о том, что на таком уровне человек может быстро производить неожиданные решения
Не знаю, насчет тактических решений, но вспомнилось, что лет 8 назад на уроках по аэродинамике, преподаватель нам говорил, что уже тогда некоторое количество маневров, вроде уклонения, самолет производит «самостоятельно» и пилот во время них даже частично теряет сознание от перегрузок.
(правда не уверен, команду на этот маневр принимает местный БортКомпьютер или отдает сам пилот)
Если уж бояться, то бояться надо автономных фабрик по производству автономного оружия.
Моего внутреннего параноика волнует один вопрос: «Не является ли автономным оружием абсолютно любая самообучающаяся система?»
Поясню: помнится. была популярная программа. которую обучали на собаках, и она всюду видела собак. Не получится ли по схеме «когда под рукой нет ничего. кроме молотка, все вокруг кажется гвоздями»? Не будет ли программа, обученная на поиск террористов/преступников/мошенников и тп видеть их в итоге в каждом человеке? В итоге получается даже не автономное оружие, а обезьяна в контейнере с гранатами. а бюрократы при этой обезьяне будут отписываться «ну, мы все понимаем, но компьютер показал...» И в итоге «Особое мнение» и «Черное зеркало» окажутся райскими утопиями.
Тут где-то была статья. что даже создатели всех этих «вумных» нейросетей не понимают, как оно работает. Не получится ли на выходе вместо искусственного интеллекта искусственный шизофреник с навязчивыми идеями и неограниченными полномочиями?
Поясню: помнится. была популярная программа. которую обучали на собаках, и она всюду видела собак. Не получится ли по схеме «когда под рукой нет ничего. кроме молотка, все вокруг кажется гвоздями»? Не будет ли программа, обученная на поиск террористов/преступников/мошенников и тп видеть их в итоге в каждом человеке? В итоге получается даже не автономное оружие, а обезьяна в контейнере с гранатами. а бюрократы при этой обезьяне будут отписываться «ну, мы все понимаем, но компьютер показал...» И в итоге «Особое мнение» и «Черное зеркало» окажутся райскими утопиями.
Тут где-то была статья. что даже создатели всех этих «вумных» нейросетей не понимают, как оно работает. Не получится ли на выходе вместо искусственного интеллекта искусственный шизофреник с навязчивыми идеями и неограниченными полномочиями?
даже создатели всех этих «вумных» нейросетей не понимают, как оно работает. Не получится ли на выходе вместо искусственного интеллекта искусственный шизофреник с навязчивыми идеями и неограниченными полномочиями?
Вот это вот про что было? Вроде Хабр без политики объявлен?
А автономным системам обороны/нападения- быть, хотим мы этого или не хотим. Слишкон ненадёжны эти людишки. И подкупить можно…
Ну если задуматься почему северной Кореи нельзя обзавестись своим ядерным оружием, ведь США и России можно?
На самом деле нет никаких «можно» и «нельзя», это детские понятия. Есть право сильного, которое какое-то время прикрывали политической риторикой, но сейчас оно уже торчит через это покрывало, как шило из мешка. Те, у кого есть большая дубинка, не хотят, чтобы она появилась у кого-то ещё, веть тогда с ним тоже придётся считаться.
"Право сильного" — это излишне упрощенная трактовка. Те, у кого ядерное оружие есть сейчас, при всех своих недостатках все-таки немного переросли ядерный шантаж. Никто из них не хочет применять ЯО. А вот что будет в голове у очередного исламского пророка, пожелавшего разрушить очередную Пальмиру, не знает никто, поэтому контроль тут нужен в первую очередь ради самосохранения.
Другое дело, что запрещать имеет смысл только то, что в принципе возможно контролировать. И, если в случае с ЯО это худо-бедно работает, то с автономным оружием это не выглядит реальным.
Думаю, имеет значение еще и принципиальная возможность извлечения прибыли из военной технологии в быту — пылесосы-беспилотники, микроволновки с искусственным интеллектом и комбайны с вертикальным взлетом обходят запреты по всем фронтам. А с ядерной бомбой такое не прокатит, поэтому можно с чистой совестью ее запрещать.
Эти «пророки» не появляются из вакуума. У них есть мощные кукловоды и спонсоры, неспроста они всегда появляются в нужном месте и в нужное время.
Предотвратить массовое вооружение армий роботами нереально — армия, имеющая их, получит массу преимуществ, поэтому гонка вооружений в этой сфере неизбежна. Реально минимизировать шансы на реализацию самых худших сценариев с их использованием — терактов, геноцида, диктатуры. Для этого нужно сделать всё, чтобы большое количество роботов не могло оказаться под контролем малого числа людей, или, тем более, единого компьютерного центра. То есть каким бы ни было соотношение числа роботов и людей в армии — большинство военных должно участвовать в контроле над роботами, а один человек должен контролировать роботов с минимально возможной боевой мощью. Для этого во всю автономную боевую технику должны быть встроены механизмы гарантированного отключения автономного и дистанционного управления, причём отдельно для каждой из функций — передвижения, прицеливания, тактического управления. Всё это должно включаться только при необходимости, а в мирное время — никогда массово. Каждая из функций должна блокироваться несколькими ключами — механическим, электронным, и паролем. Эти ключи должны быть доступны только нескольким людям, и эти люди должны нести всю ответственность за последствия противозаконной активации автономного или дистанционного управления вооруженных роботов. Для того, чтобы предотвратить незаконное использование боевых роботов военными, во всех роботов помимо основного механизма управления, доступного военным, должны быть встроены один или несколько альтернативных каналов для блокировки управления, контролируемых другими госструктурами. А чтобы армия роботов не оказалась на службе диктатуры — их разработчикам стоит оставлять для себя бэкдоры, чтобы, объединившись, они могли эту армию деактивировать.
Простите, а это только я не понимаю как «hk-47» смог бы спасти пол миллиона-миллион тутси? Там же чистой воды отсутствие политической воли, а не отсутствие инструмента для предотвращения геноцида.
Вместо полмиллиона тутси роботы убили бы 50 тысяч их врагов.
И кто бы это приказал? И почему он не смог приказать живым солдатам, но смог бы — роботам?
Приказать можно и тем, и тем. Другой вопрос — кто из них захотел бы выполнить такой приказ.
Точно-точно проблема в этом? Хотели приказать, но, беда, солдаты ведь откажутся останавливать геноцид, не будем приказывать?
Вы так видите ту ситуацию или это вы в целом? Если в целом, то утверждение верное, роботы наверняка будут более послушные. И, кстати, их послушность будет важна не столько в спасает от геноцида, сколько в его организации, когда кому-то это захочется в следующий раз.
Если послать живых солдат, то некоторые из них наверняка умрут. И избиратели дома будут возмущаться: "Какого черта наши пацаны там за каких-то негров умирают". Если послать роботов, то возмущаться будут только о потраченных средствах (в первом случае тоже будут), что уже меньше и проще, а значит требует меньше политической воли для осуществления.
Роботы-террористы страшны могут только из-за зловещей долины, не более. Мне как мясному мешку куда страшнее живой террорист-смертник. Его готовность умереть куда страшнее куска железа, не осведомленного о всяких гуриях. Это к вопросу террора. А в военных применениях не имеет значения — робот всё равно управляется человеком, сам себя не включит и оружие из оружейной комнаты не возьмёт.
Страшны — не роботы-террористы, а страшны автономные роботы-солдаты, потому что у них абсолютно никак с возможностью отличить врага от гражданского нонкомбатанта, и всё что они могут — это действовать по принципу "убивайте их всех! Господь на Небе узнает своих!".
Критерий против гражданских — не атакуй тех, кто не назначен целью (приказ командира) или не напал на тебя.
P.S. В одной стране и полицейские могут стрелять по мальчику с игрушечным пистолетам.
P.S. В одной стране и полицейские могут стрелять по мальчику с игрушечным пистолетам.
Если человек может отличить по внешнему виду, то робот тем более сможет. Более точно, чем 80% солдат. Если уж он породы кошек распознает лучше людей.
Такую возможность можно и нужно добавить, установив на них радар. Тогда они смогут отличать комбатантов по принципу: есть металл рядом с телом — вероятно это — оружие.
А костыли и протезы — это и есть металл рядом с телом, т.е. вероятно это — оружие? =)
Если гражданские будут знать о том, что автономные роботы считают оружием — они не будут использовать в зоне боевых действий металлические костыли, протезы (кроме, конечно, эндопротезов), и отбросят от себя любые металлические предметы при первых признаках их приближения.
В «Дне Шакала» Форсайта и был расчёт, что костыль оружием не признают.
Если автономный робосолдат вознамерится превентивно уничтожить всё, что способно стать оружием и навредить ему лично, то он должен будет искрошить все костыли, палки, камни, разбомбить все металлургические заводы, цементные склады, и утопить в океане всю жевательную резинку в мире (а океаны заморозить, во избежание коррозии).
Так ведь в том и дело, что довольно скоро будет создан относительно слабый ИИ, который сможет и оружие взять, и некоторых (а может и всех) людей определять в класс подлежащих уничтожению. Да, от людей будет зависеть степень его автономности, но в силу разных причин, о которых речь в статье, ему этой автономности могут дать больше чем следовало бы, и это может вылиться в нечто похуже шахидов с поясами. В конце концов смертника надо долго натаскивать на готовность умереть, а у куска кремния достаточно выставить нужный флажок в настройках.
UFO just landed and posted this here
Предалагаю начать с руководства стран, обладающих ЯО.
Предлагаю создать для этого автономного робота-убийцу…
Вы хотя бы не из РФ пишите этот коммент? Я ведь не говорил, что имею в виду Кима из Кореи.
Из РФ, а в чем проблема? Мне честно говоря после таких фраз в штатах страшнее было бы.
Товаришь Дональд лично мне ничего плохого не сделал.
оффтоп
Товарищей в клубе лидеров ядерного клуба только два, товарищ Ын и товарищ (а вот здесь сомнительно) Си, остальные в этом клубе исключительно господа.
Это Вы господина Владимира боитесь или предлагаете его исключить из списка «руководства стран обладающих ЯО»?
В дальность (достаточную) ракет товарища Ына я не верю. В экспедицию враждебных моей стране субмарин с ракетами «Цзюйлан-1» в точку восточнее самой западной точки Франции или острова Британии я тоже не верю. Как и в заход их в северную часть Красного моря. Так что скорее стоит опасаться любителей стрелять стратегическими бомбардировщиками через Каспий.
А идея «исключить из списка» интересно сочетается с методом «выжигаться калёным железом», но я ни на что не намекаю. Все же в цивилизованных странах нет такой меры наказания.
А идея «исключить из списка» интересно сочетается с методом «выжигаться калёным железом», но я ни на что не намекаю. Все же в цивилизованных странах нет такой меры наказания.
15 лет назад никто не верил в способность нищей КНДР создать ЯО, а сейчас Вы сомневаетесь только в дальности поражения их средств доставки. Коммунисты вообще известны своей способностью удивлять. Но не беспокойтесь, корейцы хоть и странные, но первыми стрелять точно не будут (таки потягаться с США они все равно пока не способны, а жахнуть чтобы жахнуть — дурь).
Идея «исключать» всегда прекрасно сочеталась с «выжигать», вспомните хотя бы «Сомоса, может быть, и сукин сын, но это наш сукин сын» (фраза может и не реальная, а вот отношения более чем). Но я, как максималист в порядке простого трёпа в соц. сети, разумеется против исключений!
Идея «исключать» всегда прекрасно сочеталась с «выжигать», вспомните хотя бы «Сомоса, может быть, и сукин сын, но это наш сукин сын» (фраза может и не реальная, а вот отношения более чем). Но я, как максималист в порядке простого трёпа в соц. сети, разумеется против исключений!
Промахнулся.
Какая мне разница, кем будет выпущена пуля, которая меня убьет: простым солдатом, удаленным оператором какого-нибудь беспилотника, или ИИ?
Искусственный интеллект теперь америкосской армии будет экономить бабки
Sign up to leave a comment.
Почему запрет на автономных роботов-убийц ничего не решит