Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 50
Опасность автономного оружия, в том, что управляется она малой группой людей и подчиняется всегда. Если человеческой армии отдать преступный приказ, "убить всех" Человек откажется. Автономная армия убьет всех
Автономная армия, даст верхушке общества Абсолютную Власть
Автономная армия, даст верхушке общества Абсолютную Власть
Как показывает история никто обычно от приказов не отказывается.
Вы уж определитесь, «обычно» или совсем «никто»? Иногда человечность и эмпатия пробивают брешь в броне пропаганды.
Именно что иногда. Очень редко. И большинство таких "добреньких" ждёт весьма жёсткое наказание. Как правило, кстати — заслуженное. Ибо они ставят своё локальное понимание добра и зла выше стратегического плана, который привёл к отданному приказу.
Не нужно переоценивать автоматы — армия, используя веками отшлифованные психологические методики, уже давно научилась делать автоматы из людей.
Не нужно переоценивать автоматы — армия, используя веками отшлифованные психологические методики, уже давно научилась делать автоматы из людей.
Примеров отказа полно. Сирия та же
К тому же, "не отдавай приказы которые не будут выполнены", этой мудрости придерживаются все успешные руководители
К тому же, "не отдавай приказы которые не будут выполнены", этой мудрости придерживаются все успешные руководители
Если бы это действительно так, у нас в мире никогда не было бы гражданский войн, переворотов, восстаний и всего прочего.
Армия это не 2 полюса: рядовые и абстрактная отдавалка приказов.
Это иерархия. И чем выше в иерархии армии находится человек, тем менее он предрасположен к слепому выполнению приказов.
И если даже самые бесчеловечные приказы многие солдаты готовы с радостью выполнять в отношении населения иной страны, всё меняется во время войны гражданской.
И даже выполняя их в таком случае, человек будет понимать, что так поступать не стоит. Это будут видеть и понимать остальные.
И как только объявится какой-либо мятежный генерал, именно он будет пользоваться основной поддержкой армии. Просто потому, что солдатам захочется «смыть» с себя всё что они сделали или не сделали.
Истинные причины и мотивы его могут быть разными. И такие ситуации, как раз-таки, не редкость.
Именно поэтому отдают только те приказы, которые будут выполняться без серьёзных угрызений совести.
Армия это не 2 полюса: рядовые и абстрактная отдавалка приказов.
Это иерархия. И чем выше в иерархии армии находится человек, тем менее он предрасположен к слепому выполнению приказов.
И если даже самые бесчеловечные приказы многие солдаты готовы с радостью выполнять в отношении населения иной страны, всё меняется во время войны гражданской.
И даже выполняя их в таком случае, человек будет понимать, что так поступать не стоит. Это будут видеть и понимать остальные.
И как только объявится какой-либо мятежный генерал, именно он будет пользоваться основной поддержкой армии. Просто потому, что солдатам захочется «смыть» с себя всё что они сделали или не сделали.
Истинные причины и мотивы его могут быть разными. И такие ситуации, как раз-таки, не редкость.
Именно поэтому отдают только те приказы, которые будут выполняться без серьёзных угрызений совести.
Судя по статье, опасно не автономное оружие (напомню, что оно уже сто лет существует, и называется «мина»), а переусложнённое в ущерб надёжности.
Вспомнил одну книгу, фантастику естественно. Там боевая машина с ИИ, посылала запросы на въезд в частную собственность, при открытии огня запросы на разрешение открытия огня и т.д. Эффективность такой машины стремилась к отрицательным величинам.
P.S. Названия не помню, аппарат что то вроде гигантского танка с около световым орудием на борту на основе дейтерия.
P.S. Названия не помню, аппарат что то вроде гигантского танка с около световым орудием на борту на основе дейтерия.
Глядя на нынешний софт и количество багоглюков в нем, думаю, что автономное оружие перестреляет всех программистов еще в лаборатории.
Противопехотная мина является автономным оружием. Мины регулярно убивают гражданских и "своих", но это никого не останавливает от их использования.
Что же касается более высокотехнологичного оружия, то присутствие оператора ведет к серьезным проблемам — демаскировке, возможности подавить канал связи или даже перехватить управление.
Что же касается более высокотехнологичного оружия, то присутствие оператора ведет к серьезным проблемам — демаскировке, возможности подавить канал связи или даже перехватить управление.
Вообще противопехотные мины как негуманное оружие давно пытаются запретить всякими международными конвенциями, но не особо успешно — очень уж мины дешевы и эффективны.
Попытка запретить противопехотные мины — это один большой анекдот. Конвенции по этому поводу составлены технически безграмотно, чтобы вывести боеприпас из-под конвенционного определения «мина» достаточно вынуть датчик цели, поставить его отдельно и соединить с миной проводом.
Кроме того, опыт показывает, что в послевоенное время люди больше страдают от оставшихся в земле неразрывов, чем от мин, поведение которых предсказуемо.
Это не говоря о том, что «гуманное оружие» — это оксюморон.
Кроме того, опыт показывает, что в послевоенное время люди больше страдают от оставшихся в земле неразрывов, чем от мин, поведение которых предсказуемо.
Это не говоря о том, что «гуманное оружие» — это оксюморон.
Я бы разделял автономное и автоматическое оружие (автоматическое, разумеется, не в смысле стрельбы очередями). Автономное — само принимает решение о поражении. Автоматическое — срабатывает при реализации определенных факторов, но решение о применении этого оружия в конкретном месте и времени, о выборе этих факторов (например, на какое усилие нажатия настроить противотранспортную мину — 1 тонну или 10) принимает человек.
Не вижу принципиальной разницы между «принятием решения о поражении» и «срабатывании при реализации определенных факторов». Человек тоже «при реализации определенных факторов» открывает огонь, и факторы эти как правило выбраны за него и в устав заложены.
Ну например, разница в возможности предсказать поведение мины. Одно дело простенький скрипт, который ты знаешь как выполнится всегда. Другое дело — нейронная сеть, поведение которой даже программист, её создавший, не способен предсказать. Ну и где-то посередине запутанная программа с высокой цикломатической сложностью, которую не могут запруфать системы автоматических доказательств.
»Во время своего первого испытания над Тихим океаном в восьми истребителях F-22 полностью отказала система компьютера Y2K, так как они пересекли линию перемены даты", говорится в докладе. «Все бортовые компьютерные системы отказали, и результат был почти катастрофическим — потеря самолета. Хотя существование линии перемены дат давно известно, результат взаимодействия с программным обеспечением не был целиком протестирован».
Что я только что прочитал?
>«Любой, кто когда-либо разочаровывался в автоматизированной телефонной поддержке телефона доверия, будильнике, ошибочно >установленном на „вечер“ вместо „утро“ и так далее, испытал проблему „хрупкости“, которая присутствует в автоматизированных >системах», пишет Шерри.
Только мне кажется, что тут, скорее, дело в «прокладке между рулем и сиденьем», а не в самой автоматизированной системе. Если проанализировать его (Шерри), ВНЕЗАПНО осознаешь, что основная проблема — идиот, управляющий системой, системе же плевать какие приказы исполнять, — лишь бы в эксепшен не вывалиться.
Только мне кажется, что тут, скорее, дело в «прокладке между рулем и сиденьем», а не в самой автоматизированной системе. Если проанализировать его (Шерри), ВНЕЗАПНО осознаешь, что основная проблема — идиот, управляющий системой, системе же плевать какие приказы исполнять, — лишь бы в эксепшен не вывалиться.
основная проблема — идиот, управляющий системой, системе же плевать какие приказы исполнять, — лишь бы в эксепшен не вывалитьсяБеда в том, что речь о военном роботе, то есть техническая грамотность и неидиотизм требуется от военных.
Которые иногда приказывают подравнять сугробы до квадратности.
Среди военных, имеющих достаточно звёздочек, чтобы отдавать приказы, идиотов как раз немного.
А сугробы квадратными должны быть всегда, просто потому что это красиво. Только идиоты-гражданские могут полагать, что наведение порядка и красоты на вверенной территории это идиотизм.
А сугробы квадратными должны быть всегда, просто потому что это красиво. Только идиоты-гражданские могут полагать, что наведение порядка и красоты на вверенной территории это идиотизм.
Лыжный поход летом, покраска травы, похороны окурков и другие подобные мероприятия, имеют две цели. Выработать подчинение приказам и занять свободное время. Несколько сотен молодых бездельников = быть беде
Подобные извращения — это элементы наказания. Впрочем, лыжный поход летом — наверно, занятное мероприятие и неплохое физическое упражнение. Покраска травы нужна для сохранения баланса во Вселенной: в армии всё должно быть либо квадратное, либо окрашено. Ну а похороны окурков, очевидно, чтобы в неположенных местах не бросали.
Слегка утрируя: ну вот, допустим, офицеры действительно хотят научить солдат чему-то полезному в бою. Хотят на стрельбище сводить — патронов нет. Хотят на технике научить ездить — запчасти разворованы, бензин слит, снарядов три штуки на часть, чтобы хотя бы показать как заряжается орудие. Хотят обучить основам РХБЗ — приборы нерабочие, противогазы драные. Остаётся физкультура (для нее не нужен никакой супер-инвентарь) и бессмысленные занятия типа покраски травы. Каким бы замечательным ни был командир части, он бессилен. Проблему можно решить только сверху — или восстановить снабжение, или еще сокращать срок службы. Но разве в министерстве это кому-то надо...
Такое ощущение что в статье не предполагается наличие ИИ или его элементов (то есть системы принятия решений). Одно дело сделать систему которая только может распознавать свой/чужой (допустим по каким то меткам) или атаковать только тех кто вооружен (тут возможны ложные срабатывания, но от них и человек не застрахован), но если система будет более абстрактной (есть цель, а ее достижение уже рассчитывается на месте) это нечто иное чем просто автономное оружие.
Чтобы перестать ставить будильник на вечер вместо утра, надо перестать использовать 12-часовую систему. 24 часа, и никаких PM/AM.
«Во время своего первого испытания над Тихим океаном в восьми истребителях F-22 полностью отказала система компьютера Y2K, так как они пересекли линию перемены даты», говорится в докладе. «Все бортовые компьютерные системы отказали, и результат был почти катастрофическим — потеря самолета. Хотя существование линии перемены дат давно известно, результат взаимодействия с программным обеспечением не был целиком протестирован». Из той же оперы, байка — при полетах над мертвым морем, при пересечении отметки 0 высоты, компьютер перезагружался. А вот не байка: Oerlikon GDF-005 в 2007 г. открыла неконтролируемый огонь и убила нескольких человек.
Можно подумать, что человек обладает 100% надёжностью, и у него в прошивке нет глюков.
Да про людей таких баек можно ещё больше понарассказывать. Есть и ошибки, и неадекват по пьяни или под наркотой, и даже просто эксепшены, когда откровенно "рвёт башню", и человек просто начинает стрелять по своим же сослуживцам.
Как только вероятность сбоя в компьютерной системе станет меньше вероятности сбоя живой системы, живых солдат можно будет заменить машинами.
А тех луддитов, которые против, можно уже сейчас отправить добровольцами в ближайшую горячую точку. Раз они хотят, чтобы за интересы каких-то левых дядь погибали живые люди вместо машин, то пусть и побудут этими людьми.
Да про людей таких баек можно ещё больше понарассказывать. Есть и ошибки, и неадекват по пьяни или под наркотой, и даже просто эксепшены, когда откровенно "рвёт башню", и человек просто начинает стрелять по своим же сослуживцам.
Как только вероятность сбоя в компьютерной системе станет меньше вероятности сбоя живой системы, живых солдат можно будет заменить машинами.
А тех луддитов, которые против, можно уже сейчас отправить добровольцами в ближайшую горячую точку. Раз они хотят, чтобы за интересы каких-то левых дядь погибали живые люди вместо машин, то пусть и побудут этими людьми.
Классика
https://www.youtube.com/watch?v=mrXfh4hENKs
https://www.youtube.com/watch?v=mrXfh4hENKs
А по эту сторону занавеса пугают «Периметром», уже лет шесть, наверное.
А кого им можно напугать? Разве что того, кто нас бомбить собрался.
А чего ей пугать?
«Она была разработана так, чтобы находиться в дремлющем состоянии, пока высокопоставленное официальное лицо не активирует её в кризисной ситуации. Тогда она начала бы мониторить сеть датчиков — сейсмических, радиационных, атмосферного давления — на признаки ядерных взрывов. Прежде чем запустить ответный удар, система должна была бы проверить четыре «если»: если система была активирована, сперва она попыталась бы определить, имело ли место применение ядерного оружия на советской территории. Если бы это оказалось похожим на правду, система проверила бы наличие связи c Генеральным штабом. Если связь имелась, система бы автоматически отключилась по прошествии некоторого времени — от 15 минут до часа — прошедшего без дальнейших признаков атаки, в предположении, что официальные лица, способные отдать приказ о контратаке, по-прежнему живы. >>>>>Но если бы связи не было, «Периметр» решил бы, что Судный день настал, и незамедлительно передал право принятия решения о запуске любому, кто в этот момент находился бы глубоко в защищённом бункере, в обход обычных многочисленных инстанций<<<<<.»
Это не система автоматического ответного удара. Это система *делегирования решения об ответном ударе* в случае, если Генштаб замочили.
«Она была разработана так, чтобы находиться в дремлющем состоянии, пока высокопоставленное официальное лицо не активирует её в кризисной ситуации. Тогда она начала бы мониторить сеть датчиков — сейсмических, радиационных, атмосферного давления — на признаки ядерных взрывов. Прежде чем запустить ответный удар, система должна была бы проверить четыре «если»: если система была активирована, сперва она попыталась бы определить, имело ли место применение ядерного оружия на советской территории. Если бы это оказалось похожим на правду, система проверила бы наличие связи c Генеральным штабом. Если связь имелась, система бы автоматически отключилась по прошествии некоторого времени — от 15 минут до часа — прошедшего без дальнейших признаков атаки, в предположении, что официальные лица, способные отдать приказ о контратаке, по-прежнему живы. >>>>>Но если бы связи не было, «Периметр» решил бы, что Судный день настал, и незамедлительно передал право принятия решения о запуске любому, кто в этот момент находился бы глубоко в защищённом бункере, в обход обычных многочисленных инстанций<<<<<.»
Это не система автоматического ответного удара. Это система *делегирования решения об ответном ударе* в случае, если Генштаб замочили.
Это объяснение появилось сильно потом. А пугали в виде слухов, очень похожих на статью вверху — "если мы умрем, оно само включится, и вы умрете тоже. ну и остальные умрут, на всякий случай".
Ну, это тоже нестрашно. Того, кто не собирался бомбить нас первым, это пугать не может.
> «если мы умрем, оно само включится, и вы умрете тоже. ну и остальные умрут, на всякий случай».
А где тут противоречие с приведённой мной цитатой?
«Если мы умрём, (то всё равно останется в живых кто-нибудь, кто сможет её включить), и вы умрёте тоже (и далее по Вашему тексту)». Без этих ваших роботов.
А где тут противоречие с приведённой мной цитатой?
«Если мы умрём, (то всё равно останется в живых кто-нибудь, кто сможет её включить), и вы умрёте тоже (и далее по Вашему тексту)». Без этих ваших роботов.
Я не говорил про противоречие, зато говорил про "оно само включится".
Разгонялся факт полностью автоматической реакции, основанный неизвестно на чем. Последний человеческий фактор, сидящий в бункере, появился уже потом. Но параноиков перепугать успели.
Разгонялся факт полностью автоматической реакции, основанный неизвестно на чем. Последний человеческий фактор, сидящий в бункере, появился уже потом. Но параноиков перепугать успели.
После того, как автоматика облажалась несколько раз, потому что программисты опять упустили какой-нибудь edge case ( https://ru.wikipedia.org/wiki/%D0%A1%D0%BB%D1%83%D1%87%D0%B0%D0%B8_%D0%BB%D0%BE%D0%B6%D0%BD%D0%BE%D0%B3%D0%BE_%D1%81%D1%80%D0%B0%D0%B1%D0%B0%D1%82%D1%8B%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC_%D0%BF%D1%80%D0%B5%D0%B4%D1%83%D0%BF%D1%80%D0%B5%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F_%D0%BE_%D1%80%D0%B0%D0%BA%D0%B5%D1%82%D0%BD%D0%BE%D0%BC_%D0%BD%D0%B0%D0%BF%D0%B0%D0%B4%D0%B5%D0%BD%D0%B8%D0%B8 ) человека исключать достаточно неумно…
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Чем может быть опасно автономное вооружение