Известные во всем мире разработчики ИИ договорились не создавать умное оружие


    Военные дроны весьма «умны», некоторыми оператор управляет лишь время от времени, а остальное время они выполняют поставленную задачу самостоятельно

    Технологии искусственного интеллекта развиваются бурными темпами. Специалисты научили ИИ многому, сейчас его слабая форма (сильная, к счастью или к несчастью пока не создана) работает в промышленности, судоходстве, развлекательной сфере и многих других отраслях. Но что насчет военного дела? Да, здесь ИИ тоже используется, ведь предиктивный анализ траектории ракеты или транспортного средства, действий противника, разработка собственной стратегии — со всем этим может справиться искусственный интеллект.

    Но что, если встроить ИИ любого уровня в оружие, не станет ли оно эффективнее? Скорее всего, станет, и будет весьма «производительным». Но здесь появляются уже вопросы этики. Может ли машина распоряжаться судьбами людей? Многие эксперты из сферы технологий считают, то нет. И эти «многие» на днях подписали декларацию — своего рода обещание никогда не принимать участие в разработке умного оружия.

    Среди прочих специалистов, которые приняли участие в создании и подписании декларации — Илон Маск, представители DeepMInd и сотрудники многих других компаний, где так либо иначе затрагиваются вопросы искусственного интеллекта. По мнению группы ученых и предпринимателей, которые оставили свои подписи под меморандумом, решать убивать ли человека или нет должен все же другой человек, а не машина. И груз этого решения ложится на плечи того, кто его принял.

    В случае же с машиной никаких моральных колебаний нет — систему отправили на дежурство, скажем, на прочесывание проселочных дорог во время войны, и она отстреливает врагов как подсказывает совесть вычислительный блок. По словам экспертов, разработка умного оружия с элементами ИИ может стать дестабилизирующим фактором как для любой страны, так и для ее граждан.

    Текст декларации относительно использования ИИ в создании оружия был опубликован после завершения конференции IJCAI (International Joint Conference on Artificial Intelligence), проходившей с Стокгольме. Она была организована научно-исследовательским институтом Future of Life Institute. Он занимается изучением рисков существования человечества. Институт ранее призывал отказаться от идеи создания умного летального оружия. Сейчас эта идея нашла понимание и начинает распространяться все более широко.

    Среди подписавшихся — глава компаний SpaceX и Tesla Илон Маск, три сооснователя дочерней компании Google — DeepMind, создатель Skype Яан Таллинн, плюс известные в мире технологий исследователи искусственного интеллекта Стюарт Рассел, Йошуа Бенджио, Юрген Шмидхубер.



    Отдельно подписавшиеся отметили то, что их общая инициатива должна помочь перейти от слов к делу в плане отказа от умного летального оружия. Нет, революцию никто устраивать не собирается, основная задача — показать опасность постепенной интеллектуализации оружия любого типа. «Оружие, которое самостоятельно решает, кого убивать — отвратительная и дестабилизирующая идея, вроде биологического оружия. К идее умного оружия следует относиться точно так же, как и к оружию биологическому».

    Здесь, правда, есть одна сложность. Дело в том, что отличить действительно автономное и «умное» оружие от того, которое таковым не является, достаточно сложно. Черта призрачная. Когда обычное hi-tech оружие прекращает быть глупым, умнеет и начинает решать, кого оставить в живых, а кого — убить? Автоматическая турель, которая отслеживает появление людей по тепловому излучению — можно ли использовать такое оружие? Да и велика ли разница между умным оружием и обычным, если та же турель будет автоматически наводиться, а человек — просто жать на гашетку?

    Кроме того, сама декларация припозднилась — у примерно 30 различных стран на вооружении есть летальные системы, которые с натяжкой или без, но можно назвать умными.

    Кстати, интересный факт — разработчики корпорации Google в прямом смысле слова взбунтовались, когда услышали о том, что компания собирается разрабатывать автономные системы для Пентагона. А именно — нелетального дрона с ИИ.

    Говоря об умном оружии и его будущем, нельзя не вспомнить научно-фантастический рассказ (автора и название, к сожалению, не помню), где разумную боеголовку с уровнем развития интеллекта как у 5-летнего ребенка послали выполнять задание. Но при подлете к вражеской базе она обнаружила, что там живут люди, такие же, как и на ее собственной базе. Осознав это, она решила доложить обо всем своему создателю и отправилась в обратный полет. Заканчивается рассказ тем, что ракета влетает в окно дома, где живет ее создатель, но по понятным причинам ничего рассказать не успевает.
    Поделиться публикацией
    Комментарии 38
      0
      Ага, мы просто разработаем ИИ. А уже он будет разрабатывать вам что угодно. Так что все претензии к нему.
      • НЛО прилетело и опубликовало эту надпись здесь
          0

          Пусть тогда разрабатывают автономные системы для уничтожения автономных систем для уничтожения людей. А то разработает кто-нибудь (не будем показывать пальцем на Китай) такие системы, а защищаться-то и нечем. Правда матрицы распознавания целей/предикторы поведения целей будет не так уж и сложно поменять.

            0
            А им и не нужно его создавать. Достаточно создать опенсурсный ИИ, а остальное военные уже сами сделают
              0
              Оружие с ИИ не вопрос сложности, а вопрос компактификации и финансов. Правда и первое и воторое с течением времени становятся все менее значительными факторами для сдерживания ИИ в вооружении.
              +8
              Мы «договорились» не писать порносайты, только вот написали движок для CMS, CDN, Efficient video codecs, Video over network, HTML5. Но вот порносайты не пишем и другим не советуем.
                0

                Skynet Оно было создано 3 года назад:
                https://twitter.com/sarahoconnor_/status/616282747200479232

                  0
                  В этот день стало понятно что терминаторы будут говорить по китайски. А на американских будет предустановлен интернет-эксплорер.
                    0
                    Толку от того что подписали ??, в любой армии приказы будут выполнять. Отдатут приказ написать ИИ, и офицер его обязан выполнить сначала, а потом может как то возмущаться, иначе его накажут. Там всё по уставу — свой закон.
                      0
                      У нас капитализм. Гос. заказ отдадут частному подрядчику, который и будет писать. А его сотрудников подсадят на допуск «СС» или «ОВ» и будут молчать в тряпочку (под страхом закона).

                      Другой вопрос, что это договоренность, а не закон. Максимум что ждет за его несоблюдение — слив кармы на хабре. А вот профит от военного бюджета может поколебать моральные принципы любого гуманиста.

                      И да, человек пошел в армию сознательно (сейчас только овощ не сможет от нее откосить, а уж офицер и вовсе — сознательное действие). Армия существует, чтобы убивать людей. Вы всерьез считаете, что человек который сознательно шел в такую организацию будет бояться доверить право убивать компьютеру? Это прям какое-то двоемыслие в стиле Солженицына (тоже был офицером, но сделал самострел с помощью письма).
                        +3
                        в любой армии приказы будут выполнять. Отдатут приказ написать ИИ, и офицер его обязан выполнить
                        Именно! Надо понимать, что в армии иногда отдаются приказы, которые должны быть выполнены любой ценой (ну, просто специфика такая). И исполнитель при этом автоматом освобождается от всех и всяческих ограничений. И дело даже не в том, что его «накажут», а просто не окажется других методов достичь цели.
                        Свой вклад даёт и присущая военным тотальная секретность — всегда есть вероятность, что противник уже имеет "это", и мы не должны отставать. А гонка вооружений — всегда рекурсия, подгоняющая сама себя.
                        +2
                        Известные во всем мире разработчики ИИ договорились не создавать умное оружие
                        Как быть с теми, кто не особо себя афиширует?
                          +1
                          Чуть не в тему, но все же

                            0
                            Я в этике не сильно разбираюсь, а вот кривые скрипты писал не раз. Поэтому считаю, что ИИ в оружии сильно увеличивает опасность уничтожения всех людей.
                              0
                              Есть мнение что естественный И, куда опасней. А главное — проверенный временем.
                                0
                                Естественный имеет этические и прочие внутренние ограничения. Остаться единственным живым человеком на планете не хочет никто. А компьютеру достаточно отдать команду типа «rm -rf /» с нужными привилегиями и все.
                                  0
                                  Никаких ограничений не имеет. QA десятки тысяч лет и миллиарды тестировщиков.

                                  >Остаться единственным живым человеком на планете не хочет никто.
                                  не факт. Было бы удобно, — сигарет, консервов и рыбы с яблоками хватит надолго. Да! и виски, он же не стареет в бутылках.

                                  >А компьютеру достаточно отдать команду типа «rm -rf /» с нужными привилегиями и все.
                                  практика на работе этого не подтверждает — хоть какие команды отдавай. Хочешь сделать хорошо — делаешь сам. С ИИ это наверняка будет вдвойне.

                                    0
                                    Никаких ограничений не имеет

                                    Не масштабируется, и этого ограничения достаточно.


                                    Хочешь сделать хорошо — делаешь сам.

                                    Вот именно. А так как масштабироваться на выполнение сотен миллионов параллельных задач человеческий мозг не способен, то приходится нанимать субподрядчиков.

                                      0
                                      >Остаться единственным живым человеком на планете не хочет никто.
                                      не факт. Было бы удобно,

                                      Это пока он (некто) не остался действительно в одиночестве на более-менее длительный срок, хотя я не отрицаю всякие психические отклонения.
                                        0
                                        яхтсмены-путешественники и тетка Лыкова с вами не согласны.
                                        И чем постарше (исключая немощь) — тем проще без людей, если быт не уж очень тяжел.
                                        В море несколько месяцев один — без проблем.
                                        Хотя от полугода до года без общения — психика плывет конечно, если вдруг общаться с окружающими — выглядит немного неадекватом и на словеснй понос пробивает или наоборот, асоциальность.
                                        Но потом привыкаешь и утрамбовывается, время тут вполне лечит и адаптирует. Люди становятся не нужны и сам успокаиваешься.
                                        А если физическим трудом и активностью занят постоянно и смена впечатлений (лес, природа то се, делать что то надо, сеять там или налаживать) — то меньше проблем.
                                          0
                                          Согласно wiki, та же Лыкова всё-таки общается с людьми — к ней приходят послушницы, путешественники, она общается с людьми по переписке. Яхтсмены также имеют средства связи с миром. Но главное, я считаю, что они знают, что могут общаться с остальными при первом желании/возможности,
                                          а последний оставшийся (как у elve) — нет.
                                            0
                                            Это когда ее журналисты раскопали зачем то. Не бегал бы туда никто — не общалась бы.
                                            Но еше более простой пример — японский мужик что жил голый 30 чтоль лет на острове — его недавно выдернули. Он возражал. Точно так же был австралиец на острове десятки лет. Примеров подобного сколько угодно.
                                            Всякое общение в таком стиле жизни лишь мешает, просто деваться от него сложно, опять же бытовые предметы нужны. Сам все не сделаешь, или там жрака какая.

                                            > Яхтсмены также имеют средства связи с миром.
                                            те средства связи не для общения.

                                            > что могут общаться с остальными при первом желании/возможности,
                                            Так желание пропадает. Более того — оно начинает пугать.

                                +1
                                Это как OPEC — собираются, договариваются ограничить добычу, принимают квоты… Потом разъезжаются по домам и всеми силами потихоньку эти квоты саботируют.
                                  0
                                  Военным глубоко начхать, о чем там договорились «верха» IT. Время диктует необходимость, — если сегодня этого не сделаешь ты, то завтра этим «сделают» тебя. По этому бюджеты выделяют средства, вояки набирают штат сотрудников, для которых всякие морально-этические переживания не более чем пустой звук и вуаля, — не смотря на «забастовку» Маска с Googlом военные получают свои «ИИ убивашки»…
                                    0
                                    А никакого ИИ и не надо: «Убивать всех людей» и всё.
                                      0
                                      А разве не военка один из основных потребителей технологий? Если есть тренд на умное оружие — будет и соответствующее финансирование. Если кто то достаточно финансово обеспечен и может себе позволить работать за идею и подписывать такие грамоты, то в целом это ничего не значит.
                                        +5
                                        А из тех, кто собственно разрабатывает оружие, кто-либо подписал эту декларацию? =)
                                          +2
                                          Ой прям таки все и договорились.
                                            0
                                            Оружие разрабатывается… без применения ИИ. Кинжал к примеру, тот который переделанный искандер… прилепили под самолёт и пошло поехало… и сброс то — ручной! (это чтобы не хакнул кто чужой )
                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                0
                                                Кстати, если в декларации написано что-то типа «обязуемся с этого момента не разрабатывать ИИ в военных целях» — то очень выгодно такой документ подписать тому, кто уже разработал и заставить подписать его остальым;)
                                                  0
                                                  Лучше бы договорились об одинаковых закладках-командах для ИИ и режимах запуска их. Типа выключить, остановить, перезагрузить....
                                                    +1
                                                    Звучит как завязка Бутлерианского джихада. И всегда найдётся свой Тлейлаксу, где будут без лишнего шума умные машины штамповать.
                                                      0
                                                      Кто вспомнит название и автора рассказа?
                                                        –1
                                                        А как же тогда-
                                                        Готовься, Россия, они прилетят. Они будут хорошие, новые и умные. ©
                                                          –1
                                                          Вопрос времени.
                                                            0
                                                            Известные договорились, но неизвестные все равно будут делать то, что делали. Не смешивайте видимость и известность со способностями.
                                                              0
                                                              Не верю им.

                                                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                              Самое читаемое