Comments 50
Опасность автономного оружия, в том, что управляется она малой группой людей и подчиняется всегда. Если человеческой армии отдать преступный приказ, "убить всех" Человек откажется. Автономная армия убьет всех
Автономная армия, даст верхушке общества Абсолютную Власть
Автономная армия, даст верхушке общества Абсолютную Власть
+8
Как показывает история никто обычно от приказов не отказывается.
+4
Вы уж определитесь, «обычно» или совсем «никто»? Иногда человечность и эмпатия пробивают брешь в броне пропаганды.
+3
Именно что иногда. Очень редко. И большинство таких "добреньких" ждёт весьма жёсткое наказание. Как правило, кстати — заслуженное. Ибо они ставят своё локальное понимание добра и зла выше стратегического плана, который привёл к отданному приказу.
Не нужно переоценивать автоматы — армия, используя веками отшлифованные психологические методики, уже давно научилась делать автоматы из людей.
Не нужно переоценивать автоматы — армия, используя веками отшлифованные психологические методики, уже давно научилась делать автоматы из людей.
+2
Примеров отказа полно. Сирия та же
К тому же, "не отдавай приказы которые не будут выполнены", этой мудрости придерживаются все успешные руководители
К тому же, "не отдавай приказы которые не будут выполнены", этой мудрости придерживаются все успешные руководители
0
Если бы это действительно так, у нас в мире никогда не было бы гражданский войн, переворотов, восстаний и всего прочего.
Армия это не 2 полюса: рядовые и абстрактная отдавалка приказов.
Это иерархия. И чем выше в иерархии армии находится человек, тем менее он предрасположен к слепому выполнению приказов.
И если даже самые бесчеловечные приказы многие солдаты готовы с радостью выполнять в отношении населения иной страны, всё меняется во время войны гражданской.
И даже выполняя их в таком случае, человек будет понимать, что так поступать не стоит. Это будут видеть и понимать остальные.
И как только объявится какой-либо мятежный генерал, именно он будет пользоваться основной поддержкой армии. Просто потому, что солдатам захочется «смыть» с себя всё что они сделали или не сделали.
Истинные причины и мотивы его могут быть разными. И такие ситуации, как раз-таки, не редкость.
Именно поэтому отдают только те приказы, которые будут выполняться без серьёзных угрызений совести.
Армия это не 2 полюса: рядовые и абстрактная отдавалка приказов.
Это иерархия. И чем выше в иерархии армии находится человек, тем менее он предрасположен к слепому выполнению приказов.
И если даже самые бесчеловечные приказы многие солдаты готовы с радостью выполнять в отношении населения иной страны, всё меняется во время войны гражданской.
И даже выполняя их в таком случае, человек будет понимать, что так поступать не стоит. Это будут видеть и понимать остальные.
И как только объявится какой-либо мятежный генерал, именно он будет пользоваться основной поддержкой армии. Просто потому, что солдатам захочется «смыть» с себя всё что они сделали или не сделали.
Истинные причины и мотивы его могут быть разными. И такие ситуации, как раз-таки, не редкость.
Именно поэтому отдают только те приказы, которые будут выполняться без серьёзных угрызений совести.
+3
Судя по статье, опасно не автономное оружие (напомню, что оно уже сто лет существует, и называется «мина»), а переусложнённое в ущерб надёжности.
+3
Вспомнил одну книгу, фантастику естественно. Там боевая машина с ИИ, посылала запросы на въезд в частную собственность, при открытии огня запросы на разрешение открытия огня и т.д. Эффективность такой машины стремилась к отрицательным величинам.
P.S. Названия не помню, аппарат что то вроде гигантского танка с около световым орудием на борту на основе дейтерия.
P.S. Названия не помню, аппарат что то вроде гигантского танка с около световым орудием на борту на основе дейтерия.
0
UFO just landed and posted this here
Такая штука была бы хороша в качестве артиллерии. Сама разведку не ведёт, и открывает огонь только по вызову.
0
Глядя на нынешний софт и количество багоглюков в нем, думаю, что автономное оружие перестреляет всех программистов еще в лаборатории.
+3
Противопехотная мина является автономным оружием. Мины регулярно убивают гражданских и "своих", но это никого не останавливает от их использования.
Что же касается более высокотехнологичного оружия, то присутствие оператора ведет к серьезным проблемам — демаскировке, возможности подавить канал связи или даже перехватить управление.
Что же касается более высокотехнологичного оружия, то присутствие оператора ведет к серьезным проблемам — демаскировке, возможности подавить канал связи или даже перехватить управление.
+1
Вообще противопехотные мины как негуманное оружие давно пытаются запретить всякими международными конвенциями, но не особо успешно — очень уж мины дешевы и эффективны.
+1
Попытка запретить противопехотные мины — это один большой анекдот. Конвенции по этому поводу составлены технически безграмотно, чтобы вывести боеприпас из-под конвенционного определения «мина» достаточно вынуть датчик цели, поставить его отдельно и соединить с миной проводом.
Кроме того, опыт показывает, что в послевоенное время люди больше страдают от оставшихся в земле неразрывов, чем от мин, поведение которых предсказуемо.
Это не говоря о том, что «гуманное оружие» — это оксюморон.
Кроме того, опыт показывает, что в послевоенное время люди больше страдают от оставшихся в земле неразрывов, чем от мин, поведение которых предсказуемо.
Это не говоря о том, что «гуманное оружие» — это оксюморон.
+1
Я бы разделял автономное и автоматическое оружие (автоматическое, разумеется, не в смысле стрельбы очередями). Автономное — само принимает решение о поражении. Автоматическое — срабатывает при реализации определенных факторов, но решение о применении этого оружия в конкретном месте и времени, о выборе этих факторов (например, на какое усилие нажатия настроить противотранспортную мину — 1 тонну или 10) принимает человек.
0
Не вижу принципиальной разницы между «принятием решения о поражении» и «срабатывании при реализации определенных факторов». Человек тоже «при реализации определенных факторов» открывает огонь, и факторы эти как правило выбраны за него и в устав заложены.
0
Ну например, разница в возможности предсказать поведение мины. Одно дело простенький скрипт, который ты знаешь как выполнится всегда. Другое дело — нейронная сеть, поведение которой даже программист, её создавший, не способен предсказать. Ну и где-то посередине запутанная программа с высокой цикломатической сложностью, которую не могут запруфать системы автоматических доказательств.
+1
»Во время своего первого испытания над Тихим океаном в восьми истребителях F-22 полностью отказала система компьютера Y2K, так как они пересекли линию перемены даты", говорится в докладе. «Все бортовые компьютерные системы отказали, и результат был почти катастрофическим — потеря самолета. Хотя существование линии перемены дат давно известно, результат взаимодействия с программным обеспечением не был целиком протестирован».
Что я только что прочитал?
-5
>«Любой, кто когда-либо разочаровывался в автоматизированной телефонной поддержке телефона доверия, будильнике, ошибочно >установленном на „вечер“ вместо „утро“ и так далее, испытал проблему „хрупкости“, которая присутствует в автоматизированных >системах», пишет Шерри.
Только мне кажется, что тут, скорее, дело в «прокладке между рулем и сиденьем», а не в самой автоматизированной системе. Если проанализировать его (Шерри), ВНЕЗАПНО осознаешь, что основная проблема — идиот, управляющий системой, системе же плевать какие приказы исполнять, — лишь бы в эксепшен не вывалиться.
Только мне кажется, что тут, скорее, дело в «прокладке между рулем и сиденьем», а не в самой автоматизированной системе. Если проанализировать его (Шерри), ВНЕЗАПНО осознаешь, что основная проблема — идиот, управляющий системой, системе же плевать какие приказы исполнять, — лишь бы в эксепшен не вывалиться.
0
основная проблема — идиот, управляющий системой, системе же плевать какие приказы исполнять, — лишь бы в эксепшен не вывалитьсяБеда в том, что речь о военном роботе, то есть техническая грамотность и неидиотизм требуется от военных.
Которые иногда приказывают подравнять сугробы до квадратности.
0
Среди военных, имеющих достаточно звёздочек, чтобы отдавать приказы, идиотов как раз немного.
А сугробы квадратными должны быть всегда, просто потому что это красиво. Только идиоты-гражданские могут полагать, что наведение порядка и красоты на вверенной территории это идиотизм.
А сугробы квадратными должны быть всегда, просто потому что это красиво. Только идиоты-гражданские могут полагать, что наведение порядка и красоты на вверенной территории это идиотизм.
+1
Лыжный поход летом, покраска травы, похороны окурков и другие подобные мероприятия, имеют две цели. Выработать подчинение приказам и занять свободное время. Несколько сотен молодых бездельников = быть беде
0
Подобные извращения — это элементы наказания. Впрочем, лыжный поход летом — наверно, занятное мероприятие и неплохое физическое упражнение. Покраска травы нужна для сохранения баланса во Вселенной: в армии всё должно быть либо квадратное, либо окрашено. Ну а похороны окурков, очевидно, чтобы в неположенных местах не бросали.
0
Слегка утрируя: ну вот, допустим, офицеры действительно хотят научить солдат чему-то полезному в бою. Хотят на стрельбище сводить — патронов нет. Хотят на технике научить ездить — запчасти разворованы, бензин слит, снарядов три штуки на часть, чтобы хотя бы показать как заряжается орудие. Хотят обучить основам РХБЗ — приборы нерабочие, противогазы драные. Остаётся физкультура (для нее не нужен никакой супер-инвентарь) и бессмысленные занятия типа покраски травы. Каким бы замечательным ни был командир части, он бессилен. Проблему можно решить только сверху — или восстановить снабжение, или еще сокращать срок службы. Но разве в министерстве это кому-то надо...
0
UFO just landed and posted this here
Такое ощущение что в статье не предполагается наличие ИИ или его элементов (то есть системы принятия решений). Одно дело сделать систему которая только может распознавать свой/чужой (допустим по каким то меткам) или атаковать только тех кто вооружен (тут возможны ложные срабатывания, но от них и человек не застрахован), но если система будет более абстрактной (есть цель, а ее достижение уже рассчитывается на месте) это нечто иное чем просто автономное оружие.
0
+6
Чтобы перестать ставить будильник на вечер вместо утра, надо перестать использовать 12-часовую систему. 24 часа, и никаких PM/AM.
+1
«Во время своего первого испытания над Тихим океаном в восьми истребителях F-22 полностью отказала система компьютера Y2K, так как они пересекли линию перемены даты», говорится в докладе. «Все бортовые компьютерные системы отказали, и результат был почти катастрофическим — потеря самолета. Хотя существование линии перемены дат давно известно, результат взаимодействия с программным обеспечением не был целиком протестирован». Из той же оперы, байка — при полетах над мертвым морем, при пересечении отметки 0 высоты, компьютер перезагружался. А вот не байка: Oerlikon GDF-005 в 2007 г. открыла неконтролируемый огонь и убила нескольких человек.
+1
Можно подумать, что человек обладает 100% надёжностью, и у него в прошивке нет глюков.
Да про людей таких баек можно ещё больше понарассказывать. Есть и ошибки, и неадекват по пьяни или под наркотой, и даже просто эксепшены, когда откровенно "рвёт башню", и человек просто начинает стрелять по своим же сослуживцам.
Как только вероятность сбоя в компьютерной системе станет меньше вероятности сбоя живой системы, живых солдат можно будет заменить машинами.
А тех луддитов, которые против, можно уже сейчас отправить добровольцами в ближайшую горячую точку. Раз они хотят, чтобы за интересы каких-то левых дядь погибали живые люди вместо машин, то пусть и побудут этими людьми.
Да про людей таких баек можно ещё больше понарассказывать. Есть и ошибки, и неадекват по пьяни или под наркотой, и даже просто эксепшены, когда откровенно "рвёт башню", и человек просто начинает стрелять по своим же сослуживцам.
Как только вероятность сбоя в компьютерной системе станет меньше вероятности сбоя живой системы, живых солдат можно будет заменить машинами.
А тех луддитов, которые против, можно уже сейчас отправить добровольцами в ближайшую горячую точку. Раз они хотят, чтобы за интересы каких-то левых дядь погибали живые люди вместо машин, то пусть и побудут этими людьми.
+1
Классика
https://www.youtube.com/watch?v=mrXfh4hENKs
https://www.youtube.com/watch?v=mrXfh4hENKs
0
А по эту сторону занавеса пугают «Периметром», уже лет шесть, наверное.
0
А кого им можно напугать? Разве что того, кто нас бомбить собрался.
0
А чего ей пугать?
«Она была разработана так, чтобы находиться в дремлющем состоянии, пока высокопоставленное официальное лицо не активирует её в кризисной ситуации. Тогда она начала бы мониторить сеть датчиков — сейсмических, радиационных, атмосферного давления — на признаки ядерных взрывов. Прежде чем запустить ответный удар, система должна была бы проверить четыре «если»: если система была активирована, сперва она попыталась бы определить, имело ли место применение ядерного оружия на советской территории. Если бы это оказалось похожим на правду, система проверила бы наличие связи c Генеральным штабом. Если связь имелась, система бы автоматически отключилась по прошествии некоторого времени — от 15 минут до часа — прошедшего без дальнейших признаков атаки, в предположении, что официальные лица, способные отдать приказ о контратаке, по-прежнему живы. >>>>>Но если бы связи не было, «Периметр» решил бы, что Судный день настал, и незамедлительно передал право принятия решения о запуске любому, кто в этот момент находился бы глубоко в защищённом бункере, в обход обычных многочисленных инстанций<<<<<.»
Это не система автоматического ответного удара. Это система *делегирования решения об ответном ударе* в случае, если Генштаб замочили.
«Она была разработана так, чтобы находиться в дремлющем состоянии, пока высокопоставленное официальное лицо не активирует её в кризисной ситуации. Тогда она начала бы мониторить сеть датчиков — сейсмических, радиационных, атмосферного давления — на признаки ядерных взрывов. Прежде чем запустить ответный удар, система должна была бы проверить четыре «если»: если система была активирована, сперва она попыталась бы определить, имело ли место применение ядерного оружия на советской территории. Если бы это оказалось похожим на правду, система проверила бы наличие связи c Генеральным штабом. Если связь имелась, система бы автоматически отключилась по прошествии некоторого времени — от 15 минут до часа — прошедшего без дальнейших признаков атаки, в предположении, что официальные лица, способные отдать приказ о контратаке, по-прежнему живы. >>>>>Но если бы связи не было, «Периметр» решил бы, что Судный день настал, и незамедлительно передал право принятия решения о запуске любому, кто в этот момент находился бы глубоко в защищённом бункере, в обход обычных многочисленных инстанций<<<<<.»
Это не система автоматического ответного удара. Это система *делегирования решения об ответном ударе* в случае, если Генштаб замочили.
+1
Это объяснение появилось сильно потом. А пугали в виде слухов, очень похожих на статью вверху — "если мы умрем, оно само включится, и вы умрете тоже. ну и остальные умрут, на всякий случай".
0
Ну, это тоже нестрашно. Того, кто не собирался бомбить нас первым, это пугать не может.
0
> «если мы умрем, оно само включится, и вы умрете тоже. ну и остальные умрут, на всякий случай».
А где тут противоречие с приведённой мной цитатой?
«Если мы умрём, (то всё равно останется в живых кто-нибудь, кто сможет её включить), и вы умрёте тоже (и далее по Вашему тексту)». Без этих ваших роботов.
А где тут противоречие с приведённой мной цитатой?
«Если мы умрём, (то всё равно останется в живых кто-нибудь, кто сможет её включить), и вы умрёте тоже (и далее по Вашему тексту)». Без этих ваших роботов.
0
Я не говорил про противоречие, зато говорил про "оно само включится".
Разгонялся факт полностью автоматической реакции, основанный неизвестно на чем. Последний человеческий фактор, сидящий в бункере, появился уже потом. Но параноиков перепугать успели.
Разгонялся факт полностью автоматической реакции, основанный неизвестно на чем. Последний человеческий фактор, сидящий в бункере, появился уже потом. Но параноиков перепугать успели.
0
После того, как автоматика облажалась несколько раз, потому что программисты опять упустили какой-нибудь edge case ( https://ru.wikipedia.org/wiki/%D0%A1%D0%BB%D1%83%D1%87%D0%B0%D0%B8_%D0%BB%D0%BE%D0%B6%D0%BD%D0%BE%D0%B3%D0%BE_%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC_%D0%BF%D1%80%D0%B5%D0%B4%D1%83%D0%BF%D1%80%D0%B5%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BE_%D1%80%D0%B0%D0%BA%D0%B5%D1%82%D0%BD%D0%BE%D0%BC_%D0%BD%D0%B0%D0%BF%D0%B0%D0%B4%D0%B5%D0%BD%D0%B8%D0%B8 ) человека исключать достаточно неумно…
0
Sign up to leave a comment.
Чем может быть опасно автономное вооружение