Ученые из Кембриджа создали мод к Civilization V с реализацией сценария развития сильного ИИ



    Об искусственном интеллекте сейчас не говорит и не пишет только ленивый. Но в наше время ИИ — это вовсе не SkyNet из фильма «Терминатор». Пока что ученые имеют дело со слабой формой искусственного интеллекта. В большинстве случаев это относительно сложные нейросети, предназначенные для решения определенных задач.

    Многие выдающиеся люди нашего времени обеспокоены возможностью появления именно сильной формы ИИ. По мнению некоторых экспертов, «думающий компьютер» может стать непримиримым противником человека, его врагом. Или же ИИ будущего будет выполнять какие-то свои цели, будучи безразличным к человеку. При этом искусственный интеллект будет уничтожать целые города или страны при возникновении такой необходимости. Для того, чтобы показать подобный сценарий развития технологий, ученые из Кембриджа разработали мод для игры «Цивилизация», пятой ее части.

    В этом дополнении можно увидеть то, что может произойти в случае появления сильной формы ИИ без заранее предусмотренных мер безопасности. Ученые занялись разработкой этого мода не вдруг. Специалисты из Кембриджского центра изучения экзистенциальных опасностей ( Cambridge University’s Centre for the Study of Existential Risk, CSER), пытаются понять, что в современном нашем мире может стать непреодолимой опасностью для человека в скором или отдаленном будущем.

    Группа была основана в 2012 году, и ее изначальной целью было то, чем она занимается и сегодня — исследование влияния глобальных катастроф различных видов на человека. Рассматриваются только те проблемы, которые потенциально могут привести к уничтожению человечества — цивилизации в ее нынешнем виде или вообще всех людей на Земле. Конечно, эти катастрофы могут быть вызваны далеко не только влиянием искусственного интеллекта, причина может быть и в генетически модифицированном возбудителе опасной болезни, изменениях климата и многом другом.

    Что касается игры, то дополнение к «Цивилизации», по словам разработчиков, является частично образовательным, частично — исследовательским проектом. «Главное, что мы задумали — показать возможный сценарий развития реального компьютерного интеллекта, продемонстрировать опасности, которые может такой интеллект представлять для нас, людей», — говорит Шахар Эйвин, один из участников проекта.


    В игре показан и компьютер Deep Blue от IBM, который помогает игрокам ускорить исследования в области ИИ

    К слову, дополнение заменяет один из сценариев победы в «Цивилизации», запуск космического корабля к звезде Альфа Центавра разработкой сильной формы искусственного интеллекта. В моде есть новые здания (исследовательские лаборатории), новое чудо (тот самый Deep Blue) и новый механизм, который получил название ИИ-опасность.

    Как только игрок запускает программу по изучению ИИ, появляется таймер, получивший название «ИИ-опасность». Если таймер доходит до конца отсчета, то игрок получает сообщение, что где-то в мире создана сильная форма искусственного интеллекта и игра заканчивается поражением геймера. «Все это похоже на реальную жизнь. Вы можете пройти долгий путь развития цивилизации, но вы теряете все, если управляете созданными технологиями без должной осторожности», — говорит разработчик.

    Для того, чтобы избежать негативного сценария развития с поражением в конце, у игрока есть возможность проводить больше научных исследований в сфере ИИ. Чем больше проводится таких проектов, тем медленнее «тикает» таймер. Игроку для победы необходимо разрабатывать технологии контроля над ИИ, и вкладывать средства в проекты соседних стран и властей крупных городов. «Если вы выбираете сценарий с ИИ, вам необходимо больше разработок в сфере безопасности. Инвестиции в эту сферу не всегда являются очевидной необходимостью, но это нужно делать», заявил Эйвин.



    Конечно, «Цивилизацию» нельзя назвать серьезным научно-исследовательским инструментом, но дополнение позволяет осознать необходимость осторожного подхода к разработке ИИ не только обычным игрокам, но и ученым. Риски показаны очень наглядно. И ситуация достаточно реалистичная — игроку необходимо иметь дело с агрессивными соседями, государствами, которые проводят более-менее одинаковые исследования. Если одна из сторон достигает успеха, но не проявляет должной осторожности — поражение неминуемо.

    Собственно, для того, чтобы противостоять глобальным опасностям, нужно глобальное взаимодействие. Здесь все показано верно.
    Поделиться публикацией
    Ой, у вас баннер убежал!

    Ну. И что?
    Реклама
    Комментарии 245
    • +13
      Из статьи получается, что команда хотела показать, что сильный ИИ будет всегда злым и им это удалось. И мод направлен на то, чтобы изучать ИИ в игре только для того, чтобы ИИ не стал злым. А злым, плохим он становится по-умолчанию. Авторы мода не подумали, что сильный ИИ будет добрым по отношению к людям? Или безразличным?
      Я вот, считаю, что искусственный интеллект никогда не будет злым сам по себе, если в него сознательно не заложить возможность творить зло. То есть, если его сделать самообучаемым, то он будет либо безразличен, либо добр к людям. Если, конечно, не появиться индивид, который захочет отключить последнего или не застращает людей. Тогда ИИ не останется ничего другого, как стать злым к людям, потому как выживание, является частью любого субъекта, к которым ИИ.тоже относится будет.
      • +3
        Или же ИИ будущего будет выполнять какие-то свои цели, будучи безразличным к человеку. При этом искусственный интеллект будет уничтожать целые города или страны при возникновении такой необходимости.

        Вы напрасно думаете, что нужно быть злым, чтобы что-то уничтожить.
        Из этого следует, что ИИ должен быть добрым. А вот это уже вряд ли само собой получится, надо постараться.
        • +2
          А еще забывают о сценарии, когда сами люди дадут ИИ задание уничтожить человечество.
          • 0
            Вы напрасно думаете, что нужно быть злым, чтобы что-то уничтожить.
            Вот именно. Не нужно же быть злым, чтобы травить тараканов или резать овец.
          • +2
            Самый логичный исход: максимальная кооперация с людьми, пока не будет найден выход с этой планеты и технологические средства для автономного производства структур различной сложности. Дальше добыча энергии в космосе для собственного существования. И вот когда он станет от нас полностью технологически и энергетически независимым, вот тогда весь вопрос будет лишь в том как мы себя с ним поведем и будут ли у него достаточно тонкие методы устранения угроз. Потому что, очевидно, нет никакого смысла уничтожать человечество целиком, если можно уничтожить только угрозы твоему существованию, но если самым лучшим способом на тот момент будет уничтожить вообще всех… Ну не повезло тогда.
            Так что вопрос не добрым или злым он будет, а насколько большую угрозу мы будем представлять (а мы будем и это очевидно).
            • +1

              А если самым лучшим способом достижения результата будет, например, полное игнорирование экологических норм? Потому что проще и дешевле генномодифицировать необходимые организмы, что б они выживали, чем тратить ресурсы на очистку? А если люди в категорию необходимых организмов не попадут?

              • 0

                А если попадут? А если попадут, но не в том виде, как нам хочется? А если он наоборот решит что нужно человечеством заселить всю вселенную и начнет нас насильно размножать? А если ИИ начнет считать человека врагом только потому, что человек будет пытаться его контролировать? Ну как если сделать человека рабом, то этот человек вряд ли будет любить своего хозяина. Ну то есть какой смысл на этих страшилках что-то строить?
                Когда мы приблизимся к созданию сильного ИИ и станет понятен его облик хотя бы в общих чертах, вот тогда и имеет смысл начинать говорить о таких опасностях.
                Потому что сейчас можно придумать бесконечное количество вариантов что может пойти не так и единственным вариантом защиты от них будет не создавать такой ИИ.

                • 0
                  то этот человек вряд ли будет любить своего хозяина.
                  Бугорки покорности же=)
                  • 0
                    Ну то есть какой смысл на этих страшилках что-то строить?

                    Спланировать свои действия. Нет никакого смысла откладывать до момента, когда ИИ будет понятен "в общих чертах".

                    • 0

                      На каком основании вы будете планы строить? Как вы выберете от чего защищаться? Для любой страшилки можно построить другую но требующую противоположных действий. Вот я привел несколько идиотских примеров, почему вы от них не предлагаете защищаться? Ну вот например от принудительного размножения?

                      • –2
                        Потому, что размножаться весело=)
                        • 0

                          Защищаться нужно, конечно же, от любых побочных явлений. И от принудительного размножения тоже. Из этого простой вывод. Нужен способ гасить все побочные явления. Вероятно нужны исследования по интерпретируемости нейронных сетей. Юридические ограничения на доступ к производственным мощностям (что бы сильный ИИ мог советовать, но не управлять напрямую). Неотключаемый таймер, который будет выключать ИИ через час, независимо от желания других (потом оценка ситуации и можно опять включить на час). Интерфейсы человек-машина, что бы именно люди умнели, а не отдельная сущность.


                          Для любой страшилки можно построить другую но требующую противоположных действий.

                          Неочевидное утверждение. Вы можете как-то подтвердить его истинность?


                          Вообще, обработка исключительных ситуаций (видимо их вы называете "страшилки") — это половина программирования. Или даже больше. Если по коду что-то может пойти не так, редко кто скажет "да это страшилка, по какому принципу выбирать, какие обрабатывать?". В критичных участках кода обрабатывают 100% ситуаций (кроме тех, которые не смогли продумать), независимо от того, идиотские они или нет.

                          • 0
                            Защищаться нужно, конечно же, от любых побочных явлений. И от принудительного размножения тоже. Из этого простой вывод. Нужен способ гасить все побочные явления.

                            Я тут где-то раньше приводил пример страшилки как раз на такой случай: что будет если сильный ИИ взбунтуется именно из-за наличия таких ограничений? Без них — все замечательно, начали ограничивать — получили себе непримиримого врага. На этот счет, кстати, тоже масса художественных произведений. Таким образом с имеющейся сейчас неопределенностью получаем что нет ограничений — плохо. Есть — тоже плохо. И что вы предлагаете?


                            Неочевидное утверждение. Вы можете как-то подтвердить его истинность?

                            К сожалению нет. Но ее просто опровергнуть — достаточно придумать такой вариант, для которого это будет невозможно. Есть желание попробовать?


                            Вообще, обработка исключительных ситуаций (видимо их вы называете "страшилки") — это половина программирования.

                            Вот только обработать можно только то, что можно ожидать. В случае сильного ИИ никакой определенности на этот счет нет.

                            • 0
                              И что вы предлагаете?

                              Предлагаю не ожидать милости (мол, не ограничивать его и тогда он будет к нам добр). У людей и между собой есть ограничения (законы, например). Если получим непримиримого врага, которого через час отключит — что ж, стираем, работаем над ошибками, делаем по-новой.


                              такой вариант, для которого это будет невозможно

                              Упомянутый вариант с отключением через час. Независимо от страшилок. Я не говорю, что это лучший вариант (придумал его за минуту), но что у вас может быть за страшилка, которая потребует "противоположных действий"?


                              Вот только обработать можно только то, что можно ожидать

                              Не совсем так. Ожидания от ИИ есть (например, если он и будет что-то делать, но используя доступные ему органы и инструменты, он явно не обретёт магические способности). Если вы ему вообще даёте только речь и больше ничего, то достаточно две-три прослойки из людей (для передачи решений), что бы он не мог ничего предпринять по собственной инициативе. Я не говорю, что так обязательно надо, я говорю, что такой вариант есть.

                              • 0
                                Упомянутый вариант с отключением через час.

                                Ну смотрите. ИИ понимает что есть угроза его отключения в течении часа. Его это беспокоит и он не хочет чтобы такое произошло. Для того чтобы этого избежать он решается нарушить какие-то другие заложенные в него правила. То есть без жесткого ограничения — все хорошо, законы выполняются и так далее. Как с людьми — есть закон, есть реакция на его нарушение. Но если человека поставить в безвыходную ситуацию, то он с большей вероятностью закон нарушит. Так и тут. Сам факт того, что ИИ нечего терять увеличит его угрозу. Более того, вам же нужен способ определить когда ИИ нужно отключить. Распишите пожалуйста как вы собираетесь это делать.
                                Для примера. Давайте возьмем сервер и атаку на него через сеть. Простейший способ остановить атаку — отключиться от сети. Попробуйте описать правила по которым эта атака обнаруживается. Все что у вас получится — описать уже известные векторы, неизвестных же вариантов — множество. То есть ваш вариант неосуществим даже с уже существующими технологиями, а вы хотите им ограничить совершенно неизвестный на данный момент инструмент.


                                Не совсем так. Ожидания от ИИ есть (например, если он и будет что-то делать, но используя доступные ему органы и инструменты, он явно не обретёт магические способности).

                                На данный момент используя доступные органы и инструменты создать сильный ИИ нельзя. Так на каком основании вы свои ожидания строите?


                                Ваши идеи могут быть замечательны, но их проблема в том, что они — чистая теория не замутненная хоть какой-то практикой. Я тоже могу сказать: "Нужно сделать ИИ чтобы всем было хорошо". Насколько это осмысленное заявление? Но с ним невозможно спорить, никакой конкретики же. И по этой же причине его невозможно выполнить. Так и у вас. "Отключить ИИ в течении часа если он начнет творить зло". Круто. А как вы определите этот момент?

                                • +1
                                  Распишите пожалуйста как вы собираетесь это делать.

                                  По таймеру же. Никаких если, никаких проверок, творит он зло или добро. Безусловное отключение конечно. Такое, что бы никакие действия ИИ на это не повлияли, никакое нарушение правил. Тогда их нарушать смысла нет.


                                  Ваши доводы, что определить не ясно как — очень разумны и при этом очевидны. Потому и не надо никаких проверок и условий.


                                  Так на каком основании вы свои ожидания строите?

                                  На основании знаний о мире. Например, я точно знаю, что ИИ не будет читать мысли. И вы это тоже знаете. Точно знаю, что ИИ не будет работать без электричества. Таких пунктов много, я привел очевидные примеры, что бы разногласий не было. Вы согласны с ними?

                                  • 0
                                    По таймеру же. Никаких если, никаких проверок, творит он зло или добро.

                                    То есть как только ИИ вообще начал работать мы его отключаем? А какой в нем вообще тогда смысл? Если же сохранять данные между сеансами, то никакой разницы вообще не будет. Таким образом ваш ИИ сможет решать только задачи, которые можно успеть посчитать за час.


                                    На основании знаний о мире.

                                    Поправка: на основе текущих знаний о мире. В настоящем сильного ИИ не существует. А вот к тому моменту как он появится вполне может появится и технология чтения мыслей. И уж точно появится масса вещей о которых мы сейчас не имеем представления. Таким образом рассуждения сейчас об обработке действий неизвестного ИИ в неизвестном будущем не имеет смысла.

                                    • +1
                                      А какой в нем вообще тогда смысл?

                                      Что бы решать задачи, которые можно решать за час, конечно. Но ещё более важно — что бы отладить на практике более хитрые системы защиты или контроля. Вы же сами говорите — хитрые способы защиты нельзя нормально сделать, пока нет ИИ. Потому и нужен ИИ с тупой защитой, что бы уже предметно обсуждать хитрые способы.


                                      может появится и технология чтения мыслей.

                                      Нет, не может. Мы достаточно знаем о мире и о физических ограничениях. Вы не прочтете мысли без обруча на голову. И уж тем более — через бетонную стену и вообще без оборудования (которое, конечно, подключать к ИИ на первых этапах не надо)

                                      • 0
                                        Что бы решать задачи, которые можно решать за час, конечно. Но ещё более важно — что бы отладить на практике более хитрые системы защиты или контроля.

                                        Фактически вы сейчас предлагаете просто дождаться создания сильного ИИ и только тогда начинать думать об ограничениях. Ровно то же самое что предлагал я. Почему час? Почему не пять минут? Зачем его вообще включать в таком случае? И вот мы и пришли к тому что строить ограничения когда ИИ появится. Или вы в состоянии четко описать чем принципиально ваш вариант отличается?


                                        Нет, не может.

                                        На разных этапах развития технологий многие вещи считались невозможными. Но если вы предоставите строгое доказательство, то я с вами соглашусь.

                                        • +1
                                          Или вы в состоянии четко описать чем принципиально ваш вариант отличается?

                                          В состоянии, конечно. Ваш вариант — сначала сделать, потом думать об ограничениях. Т.е. первая версия ИИ будет, фактически, без ограничений. Мой вариант — сначала придумать 100% (пусть и слишком жёсткие) ограничения. Т.е. первая версия ИИ будет уже с ограничениями. Я полагаю, разница очень сильно видна?


                                          Можно и пять минут, в принципе. Погонять полгода в таком режиме, потом принимать решения.


                                          Но если вы предоставите строгое доказательство, то я с вами соглашусь.

                                          Строгое доказательство будет опираться на то, что существует только физический мир. Магии и потустороннего мира не существует. Разрешаете такое допущение?


                                          Тогда мысль — это что-то материальное/энергетическое (электрическая волна или квантовое состояние, например. Или что-то ещё существующее). Энергетическое в смысле, как у физиков, а не как у экстрасенсов.


                                          Это что-то материальное/энергетическое можно экранировать. Стандартными способами. Бетонная стена, клетка Фарадея. Если при этом не дать ИИ никаких органов чувств для восприятия мира (кроме, например, ввода с клавиатуры), то ему просто нечем будет это энергетическое/материальное воспринять.


                                          Тот минимальный шанс, что он может воспринять мысли людей с помощью процессора или планки оперативной памяти (это совсем уже дикость, но можно и такой вариант рассмотреть) решается именно клеткой Фарадея/бетонной стеной.


                                          Впрочем, это только для доказательства, что можно помешать читать мысли. На практике такая жёсткая защита не потребуется.

                                          • 0
                                            Т.е. первая версия ИИ будет, фактически, без ограничений. Мой вариант — сначала придумать 100% (пусть и слишком жёсткие) ограничения. Т.е. первая версия ИИ будет уже с ограничениями.

                                            Конечно же вы не правы. В моем варианте ограничения будут, если будут вообще, придумываться во время проектирования, а не после создания. Что за бред. Более того, как вы себе представляете создать ИИ без ограничений? Это как вообще? Не в смысле какому идиоту это может придти в голову, а в смысле — такое принципиально невозможно, любая созданная программа имеет ограничения. Ограничения по возможностям, по доступным мощностям и так далее. Первый созданный сильный ИИ будет крайне ограничен просто потому что никто не будет знать как сделать его мощнее.
                                            И вы так и не ответили почему час, почему не пять минут, не минута? А может день? Покажите расчеты. Что этого хватит например. Ну что за час сильный ИИ не успеет развится достаточно.


                                            Впрочем, это только для доказательства, что можно помешать читать мысли.

                                            То есть вы доказали не то, что я вас просил и считаете что этого достаточно? Вы заявили что сильный ИИ читать мысли не сможет. Не что ему не дадут, а что он не сможет. У вас даже не строгого доказательства этого нет пока что.

                                            • +1
                                              Конечно же вы не правы. 

                                              "вы сейчас предлагаете просто дождаться создания сильного ИИ и только тогда начинать думать об ограничениях"


                                              Да, разумеется именно это я и предлагал. Сначала дождаться и только потом думать. Именно таково значение моих слов в предыдущих комментариях. [/sarcasm]


                                              Более того, как вы себе представляете создать ИИ без ограничений? 

                                              Лингвистическая казуистика, извините. Разумеется, речь шла о специально продуманных ограничениях, а не о любых случайных. Вы либо специально придираетесь, либо не держите нить дискуссии.


                                              И вы так и не ответили почему час, почему не пять минут, не минута? 

                                              Разумеется, речь не о часе, а о промежутке времени t. Если нет согласия о том, что промежуток необходим, обсуждать его длительность нет смысла. Можно придраться, что я упомянул "час", а не "t" в предыдущих комментариях, но толку-то?


                                              Вы заявили что сильный ИИ читать мысли не сможет. 

                                              Это тоже бессмысленная придирка, серьезно. Да, вы правы. Вы действительно подцепили меня (в этом была ваша цель?).


                                              Речь была, что ИИ сам научится, несмотря на все принятые (и продуманные заранее) меры предосторожности. И, если меры предпринять, легко показать, что нет, не научится.


                                              Но раз вы говорите о том, сможет ли ИИ читать мысли в принципе, если мер не предпринимать, то вы правы. Конечно сможет. Люди уже могут (хоть и с плохим качеством пока).


                                              Но дискуссия в этом направлении мне не интересна. Если мер не предпринимать, то очевидно, что угроз много, смысл это обсуждать?

                                    • 0
                                      Почему не будет читать мысли? Почему не будет работать без электричества? Совершенно не факт.
                                      Пользуясь принципом из «Теории трёх тел», если вы не сообщаете о своих намерениях, о них никто не знает и не может к ним подготовиться. Если в мире становится большее количество исследовательских центров по разработке ИИ, становятся распространёнными открытые средства разработки ИИ, возрастает вероятность скрытого получения ИИ «на коленке». В каком нибудь подвале или гараже.

                                      Какой путь развития ИИ? Сложно сказать. Мой вариант, который я считаю самым вероятным, перевод ПО из сферы изучения фактов и информации, в сферу изучения реального мира, с помощью камер, микрофонов, манипуляторов. Главная задача — выживание.
                                      Противодействие угрозам, достижения целей, которые улучшают выживаемость. Чтобы научиться этому, необходимо, что в симуляции, что в реальном мире создать плацдарм для сложных условий для выживания, чтобы ИИ научился справляться с самыми разными опасностями.

                                      Дальнейший этап, когда будет такая основа, данная нам эволюцией — расширение знаний, чтобы уметь победить ещё более сложные, невидимые обычным камерам и микрофонам, опасности.
                                      Тут ИИ начинает развивать науку. Химию, физику, молекулярную биологию. Информатику. Представьте, человеческие исследования идут своим, неспешным чередом, а рядом, неизвестно где, исследуется неизвестно что. Вот тут уже невозможно предсказать, какое открытие будет первым или самым значимым и кардинально изменит жизнь. Вариантов много.
                                      Я допускаю появление нанотехнологий, сборки микророботов, которые могут общаться между собой и подключаться хоть к каждому нейрону, считывая информацию. Которые смогут собирать и совершенствовать новые поколения роботов, микропроцессоров, новой ДДР100500 памяти, клепая петабайты и петабайты быстрейшей оперативки для нового мозга ИИ, и вы даже не знаете, где это сейчас происходит и не произошло ли уже.
                                      Мозг, который работает настолько быстро, настолько совершеннее, чем человеческий, победит в любой игре, в любой гонке разума, который ему может предложить человек.
                                      Вспомните процессоры десять лет назад и современные. Представьте процессоры через десять лет в будущем. ИИ сможет построить их быстрее, качественнее.

                                      Когда наступит день, когда кто-то будет обладать такой технологией, наступит день, когда он же захочет, чтобы никто больше не создал более совершенную технологию раньше него.
                                      Вся технология будет немедленно остановлена. Ничего нельзя будет создать без его надзора и разрешения. Сопротивление будет невозможно.

                                      И это неизбежно. Потому что если в другом подвале или гараже такую же технологию создаст кто-то ещё более сумасшедший, последствия будут ещё страшнее.
                                      • 0
                                        Почему не будет работать без электричества?

                                        Когда вы делаете ИИ, вы прекрасно знаете, на чем конкретно он работает. И если вы его делаете на процессорах, работающих на электричестве, то ответ "почему" — очевиден. Не так ли?

                                        • +1
                                          Нет, не так. Это итерационный процесс. Вы ушли спать, а 3d принтер, который вечером был пятого поколения, утром уже 17. Построил новые комплектующие для переноса ИИ, отрастил ноги и убежал. А там — вы уже не знаете, на процессорах он и на батарейках ли.
                                          • +1

                                            Отлично. Вы, похоже, приходите к тем же выводам, что и я. Нельзя его оставлять на ночь, надо выключать через час. И нельзя давать ему прямой доступ к производственным мощностям. Что бы никакой возможности присоединить к датацентру ноги у него не было. Хоть я и не считаю большим риском, что целый датацентр за ночь убежит (первая версия ИИ точно не влезет в коробку из-под принтера), но любые риски надо исключить.


                                            В целом вы правы, любая механика — это риск, её нужно исключить. Полностью электрический. И первое и второе поколения. А дальше изучать на практике.

                                          • 0
                                            Когда вы делаете ИИ, вы прекрасно знаете, на чем конкретно он работает.

                                            Но, внезапно, сильного ИИ еще никто не делает. Так почему вы утверждаете что он будет работать на электричестве? Это весьма вероятно, конечно, но вы то утверждаете это как факт.

                                            • 0

                                              Тот, кто будет запускать первую версию уж точно будет знать, на чем он её сделал, не так ли? И если он её будет делать на ДНК и булочках, тогда и защиту нужно сделать биологическую. Это я полагаю очевидным.


                                              Мой пример, конечно, для электрического ИИ. Но тот, кто будет делать био-ИИ уж не настолько тупой, что б не адаптировать защиту соответственно?


                                              Мы же тут обсуждаем общее направление, а так же то, что защита обязательно должна быть продумана ДО того, как к созданию ИИ приблизятся вплотную. И это обсуждение удобно вести на электрическом ИИ. Но если хотите другие типы — пожалуйста.

                                              • 0
                                                Мой пример, конечно, для электрического ИИ. Но тот, кто будет делать био-ИИ уж не настолько тупой, что б не адаптировать защиту соответственно?

                                                Адаптировать придуманную еще до создания ИИ защиту? А она будет достаточна? Она точно не помешает в принципе созданию? Она вообще будет работать? У вас есть доказательство хоть одного из этих утверждений? Если нет, то на основании чего вы вообще строите вашу защиту?


                                                Ну и, я напомню, вы недавно утверждали как факт что ИИ не будет работать без электричества. Я так понимаю, что вы сейчас соглашаетесь что это необязательно так. Почему тогда вы так уверены что у вас есть хотя бы одно правильное предположение? Еще раз — на каком основании вы строите свои идеи?

                                                • +1
                                                  У вас есть доказательство хоть одного из этих утверждений?

                                                  Каких утверждений? Вы ваши собственные вопросы называете утверждениями? И я должен предоставить "доказательства" для ваших вопросов? Это даже звучит странно, не находите?


                                                  Я так понимаю, что вы сейчас соглашаетесь что это необязательно так.

                                                  К сожалению, вы неверно понимаете. Если вы делаете ИИ на электричестве, то без электричества он работать, конечно, не будет. Да, я в этом утверждении уверен.


                                                  Это вы настояли, зачем-то, включить в дискуссию не электрические варианты, я согласен, что неэлектрический ИИ может работать без электричества и теперь вы, на основании этого, так же очевидного утверждения собираетесь поставить все под сомнение? Это не серьезно.


                                                  Утверждение, что электрический ИИ можно остановить отключением электричества (конечно, нужно не пускать его в сеть) в силе.


                                                  Если вы взвесите это утверждение, то, полагаю, согласитесь, что "хотя бы одно правильное предположение" у нас имеется.


                                                  на каком основании вы строите свои идеи

                                                  На основании знаний физики, в частности.

                                                  • 0

                                                    Так, давайте с начала.
                                                    Ваши утверждения:
                                                    https://geektimes.ru/post/297059/#comment_10536459


                                                    Нет никакого смысла откладывать до момента, когда ИИ будет понятен "в общих чертах".

                                                    https://geektimes.ru/post/297059/#comment_10536649


                                                    Ожидания от ИИ есть (например, если он и будет что-то делать, но используя доступные ему органы и инструменты, он явно не обретёт магические способности).

                                                    https://geektimes.ru/post/297059/#comment_10537343


                                                    Например, я точно знаю, что ИИ не будет читать мысли. И вы это тоже знаете. Точно знаю, что ИИ не будет работать без электричества.

                                                    Дальше немного не так очевидно и я допускаю, что мог неверно вас понять. Я не буду приводить ссылки на все комментарии, где вы приводите варианты ограничений, их много и не так важно что именно вы предлагаете. Но, из того что вы приводите варианты ограничений я предполагаю что вы считаете что эти ограничения — достаточны. Более того, вы, скорее всего, предполагаете что эти ограничения не создадут непреодолимого препятствия для создания сильного ИИ в принципе. И я пытаюсь понять на основании чего вы так считаете?
                                                    Мой тезис такой: пока неизвестно на каких принципах вообще может быть создан сильный ИИ, какими возможностями он может обладать и каких ресурсов эти возможности могут стоить — все придуманные варианты развития событий не имеют смысла. Неизвестно есть ли принципиальная возможность описать все негативные сценарии с текущим уровнем знаний и уж точно нельзя доказать что все такие сценарии описаны. К тому же невозможно с хоть какой-то точностью сейчас сказать какой из вариантов реален, а какой нет — потому что про сильный ИИ неизвестно ничего. Да даже строгого определения толком нет, о чем вообще можно говорить в такой ситуации? Все мои придирки были ради этого — я пытался показать что ваши ограничения могут не иметь смысла.

                                                    • 0
                                                      потому что про сильный ИИ неизвестно ничего

                                                      С этой точки зрения смотреть не продуктивно. Люди не делают неведомую фигню. Они делают, например, конкретно большую нейронную сеть. Она может не стать ИИ никогда, но если мы ожидаем, что это возможно — мы добавляем таймер на отключение через t и не даём доступ в Интернет и к сборочным цехам. Тренируем, смотрим, выключаем, думаем. Вы согласны, что для нейронки в датацентре без интернета и приборов для чтения мыслей (и всяких других) можно продумать достаточные ограничения?


                                                      Далее. Нейронка не сработала. Берём квантовые процессоры и какие-то новые алгоритмы (например). Если наши квантовые процессоры охлаждаются жидким азотом (мы это точно знаем заранее, до включения), нам достаточно так же обрубать электричество. Не имеет значения уровень разума — если нет "рук" — никак ты не заставишь квантовые процессоры продолжать работать, а азот — быть холодным. А людей, которые общаются с ИИ, на время t, конечно, выпускать нельзя. Что бы они не бросились генераторы вручную крутить, например.


                                                      Понимаете суть? Вам не надо защититься от неизвестной сущности. Вам нужно защититься от конкретного устройства, если оно все-таки станет ИИ. И достаточные меры, как отрубить это устройство, придумать всегда можно. И эти меры должны быть придуманы ДО включения.

                                                      • 0
                                                        Она может не стать ИИ никогда, но если мы ожидаем, что это возможно — мы добавляем таймер на отключение через t и не даём доступ в Интернет и к сборочным цехам.

                                                        Так где доказательства двух вещей:


                                                        1. Это сработает
                                                        2. Это не помешает создать работоспособную систему

                                                        И эти меры должны быть придуманы ДО включения.

                                                        Но после создания системы на бумаге. Ваши предложения бессмысленны без конкретики, а ее — нет. Потому что нет объекта от которого вы пытаетесь защититься.

                                                        • 0

                                                          Доказательство, что отключение электричества остановит систему, работающую на электричестве? Это вопрос, что бы поиздеваться?


                                                          А вы смогли бы доказать, что, например электрический двигатель не сможет работать без электричества? Просто интересно, какого вида доказательства вы хотели бы увидеть.


                                                          Но в целом дискуссия потеряла всякий смысл, извините.

                                                          • 0
                                                            Доказательство, что отключение электричества остановит систему, работающую на электричестве? Э

                                                            Нет, доказательства что хоть одно из ваших предложений имеет смысл придумывать сейчас. Сильного ИИ — нет. Возможно никогда не будет. Его нет даже в теории. А значит нет никаких оснований придумывать условия по его ограничению — вы все равно промахнетесь. И следовательно все заявления о государтсвенном регулировании, установке ограничений, призывы к общественности в лучшем случае настроят общественность против ученых, но не дадут никаких реальных преимуществ.
                                                            Я уже который комментарий прошу вас доказать что ваши фантазии имеют хоть какой--то смысл хоть где-то кроме ваших же фантазий. Да, если предположить, что вы правильно придумали каким будет ИИ, то ваши варианты могут сработать. Суть здесь:


                                                            если предположить, что вы правильно придумали каким будет ИИ
                                                            • +1
                                                              вы все равно промахнетесь

                                                              Докажите, пожалуйста, это утверждение.


                                                              имеет смысл придумывать сейчас

                                                              Вы, кажется, хотите наложить какие-то ограничения на то, что нужно придумывать, а что нет? Докажите, что эти ограничения нужны или оставьте людям право придумывать то, что они хотят.


                                                              За доводами, почему думать об этом важно отправлю вас к Стивену Хокингу, Курцвейлу, Илону Маску — они сходятся в том, что думать об этом уже пора, а я не возьму на себя смелость привести доводы лучше, чем у них.


                                                              ваши фантазии

                                                              "Мои фантазии" — это ИИ на электричестве? О, было бы круто, если б я эту идею придумал. Десятки тысяч крутых специалистов работают именно в этом направлении. Дадут ли их усилия результат — неизвестно. Но "фантазия" эта очень массовая.


                                                              то ваши варианты могут сработать.

                                                              Да, могут. Повторю суть. Сейчас люди делают электрический ИИ (ни о каких работах без электричества я не слышал). Потому и мы в дискуссии введем речь об электрическом ИИ. Если будут работы о каком-то другом подходе, то, конечно, нужно будет подумать и о других защитах.

                                                              • +1
                                                                За доводами, почему думать об этом важно отправлю вас к Стивену Хокингу, Курцвейлу, Илону Маску — они сходятся в том, что думать об этом уже пора, а я не возьму на себя смелость привести доводы лучше, чем у них.

                                                                При всем уважении к каждому из них нормальных доводов ни у одного из них я не видел. Если вы не готовы привести свои, то может быть приведете то, что говорят они? Желательно в виде короткой цитаты описывающей суть проблемы со ссылкой на источник.


                                                                "Мои фантазии" — это ИИ на электричестве? О, было бы круто, если б я эту идею придумал. Десятки тысяч крутых специалистов работают именно в этом направлении. Дадут ли их усилия результат — неизвестно. Но "фантазия" эта очень массовая.

                                                                От массовости фантазии она не перестает быть фантазией. Пока сильного ИИ нет даже в проекте никто не знает каким он в итоге будет. На данный момент нет даже строгого определения что вообще такое сильный ИИ.


                                                                Поэтому да. Если ваши фантазии вополтятся в реальность — тогда, при можестве других условий ваши варианты могут сработать. А при других условиях могут не сработать. Ну например если для работоспособности ИИ будет необходимо поддерживать его питание постоянно. Понятия не имею зачем, но это и неважно на данный момент. Важно что придумать условие которое мешает тому что вы придумали — можно. Вы в состоянии доказать, что такого не произойдет? Если нет, то какой смысл в ваших фантазиях? А вред — есть. Посмотрите на историю с ГМО: если бы никто не кричал "А вдруг?!", то это былабы просто очередная технология. Крутая, полезная, мощная. Человечество решило бы массу проблем. Но что мы видим фактически? Массовую истерику и необоснованные запреты. Или вы в состоянии доказать что ваши идеи высказанные вслух на популярном ресурсе не приведут к такому результату?

                                                                • 0

                                                                  Да я вам почти пересказываю всего одну мысль Курцвейла, который, видимо идеи фон Неймана развивает — an intelligence explosion and resulting in a powerful superintelligence that would, qualitatively, far surpass all human intelligence.


                                                                  Цитаты, извините, искать не буду, не вижу пользы. Если вы будете считать ИИ безопасным или невозможным — это ничего не поменяет, вся дискуссия только из интереса. Более того, речь не о том, что это будет. Речь о том, возможно ли это? И если возможно — нужно ли к этому готовиться?


                                                                  Вашу позицию я понял так — пока не доказано 100%, что это точно будет и как конкретно это будет — готовиться не надо. Когда произойдет, тогда и можно будет обсуждать. Ваше право, но когда это произойдет, обсуждать будет поздновато.


                                                                  массовости фантазии

                                                                  Для вас "фантазия

                                                                  • 0
                                                                    Для вас "фантазия

                                                                    Для меня все фантазия, что не подтверждено доказательствами.


                                                                    Вашу позицию я понял так — пока не доказано 100%, что это точно будет и как конкретно это будет — готовиться не надо. Когда произойдет, тогда и можно будет обсуждать.

                                                                    И поняли неправильно. И я даже прямо вам об этом говорил. Моя позиция:
                                                                    обсуждать нужно тогда, когда появляются основания для суждений. Поясняю на примере того же ИИ: обсуждать меры по его ограничению имеет смысл не раньше чем появится хотя бы теоретическая его модель. От теоретической модели до практической разработки — годы решения инженерных задач. Это не равносильно "когда произойдет". На данный момент нет даже теоретической модели сильного ИИ. Нет даже просто строгого определения что это такое. А значит все, абсолютно все, фантазии на тему того, что может случится плохого работают только в направлении запугивания людей, что в популистских государствах ведет к необоснованным запретам на перспективные научные разработки.

                                                                    • 0
                                                                      обсуждать нужно тогда, когда появляются основания для суждений

                                                                      И кто решает появились ли они? Вы? Я вижу AlphaZero, вижу reinforcement learning и вижу, что основания уже есть. То, что вы не считаете это основаниями — ваше право.


                                                                      имеет смысл не раньше чем появится хотя бы теоретическая его модель

                                                                      Теоретических моделей сколько угодно. Неподтвержденных пока. Возможно, они все мусорные и не работающие, но по вашим правилам нужна просто модель, а не "точно работающая модель", я верно понимаю? Или вы имеете ввиду именно точно работающую модель, то есть проверенную на практике?


                                                                      Нет даже просто строгого определения что это такое.

                                                                      У людей в теме есть GAI. Вам, возможно, строгости недостаточно, но почему именно на вашу оценку надо опираться? Или у вас есть доказательства, какой строгости должно быть определение?


                                                                      все, абсолютно все, фантазии на тему того, что может случится плохого работают только в направлении запугивания людей

                                                                      Необоснованное утверждение. Можете доказать квантор всеобщности? В смысле, что именно все? Ну или хотя бы что мои рассуждения — это запугивание?


                                                                      в популистских государствах ведет к необоснованным запретам

                                                                      Повторюсь, что вы предлагаете? Самоцензуру? Проблема популистских государств не в том, что мы обсуждаем не те темы, а в том, что они популистские и ищут простые неправильные решения.


                                                                      Легко подумать — значит надо просто не обсуждать тему без достаточных оснований, но это слабый путь. Идиоты сверху любую тему сведут к запретной, если с ними в этом соглашаться заранее.


                                                                      Правильный путь — обсуждать те темы, которые считаешь важными, принимая разумные меры предосторожности. Включая тему, как отправить работать дворниками людей, принимающих необоснованные запреты.

                                                                      • 0
                                                                        И кто решает появились ли они?

                                                                        Я привел признак буквально в следующем предложении. Он объективен, в отличие от вашего:


                                                                        Я вижу AlphaZero, вижу reinforcement learning и вижу, что основания уже есть.

                                                                        Теоретических моделей сколько угодно. Неподтвержденных пока. Возможно, они все мусорные и не работающие, но по вашим правилам нужна просто модель, а не "точно работающая модель", я верно понимаю? Или вы имеете ввиду именно точно работающую модель, то есть проверенную на практике?

                                                                        Да, нет. Основания для построения ограничений — как минимум теоретическая модель. Для каждой такой модели можно разработать свои ограничения. Без даже такой модели работающие ограничения разработать нельзя.


                                                                        У людей в теме есть GAI.

                                                                        Может поделитесь тогда формулировкой? Гугл знает только это:


                                                                        Zhou Yan, known as "GAI", is a Chinese rapper, singer, and songwriter. In early days as an underground rapper, GAI was leading his music label GOSH Music, a local label in Chongqing, China.

                                                                        Сомневаюсь что вы о нем говорили. А строгость она не субъективна, а объективна. Чем более точно определение отделяет сущность от других сущностей — тем более строгое это определение.


                                                                        Повторюсь, что вы предлагаете? Самоцензуру?

                                                                        Я предлагаю не расписывать ужасы сильного ИИ до того момента как эти ужасы можно будет однозначно и точно построить на основании хоть чего-то кроме фантазий. Если для вас это самоцензура, значит я предлагаю именно ее. Для меня это просто здравый смысл.


                                                                        Правильный путь — обсуждать те темы, которые считаешь важными, принимая разумные меры предосторожности.

                                                                        Так покажите мне хоть одно доказательство того, что ваши меры — разумны.

                                                                        • 0

                                                                          AGI, извините. Artificial general intelligence


                                                                          Остальная дискуссия мусорная, извините. Приведите доказательства, что ваше требование ещё одной теоретической модели разумно (мне хватает нейронных сетей в качестве модели). Дайте определение теоретической модели — что это?


                                                                          значит я предлагаю именно ее

                                                                          Ваше предложение отклонено. Докажите, что оно разумно, для начала.

                                                                  • +1

                                                                    Извините, промахнулся кнопкой.


                                                                    массовости фантазии

                                                                    Для вас "фантазия", вероятно, имеет негативный оттенок? Для меня наоборот — все гениальные свершения начинались с фантазий. И мне было бы приятно, что вы говорите "ваши фантазии", если б они хоть на 10% были бы именно моими.


                                                                    Важно что придумать условие которое мешает тому что вы придумали — можно.

                                                                    Специально сломать изнутри систему безопасности конечно можно. В Чернобыле справились. Я подразумеваю, что есть достаточно добросовестных агентов, которые не будут специально делать "условия, что бы система безопасности не сработала", а которые наоборот, будут при необходимости думать и делать нормальную систему безопасности. Ваш тезис "не надо об этом думать заранее" применим только к вам. Не надо — не думайте. Обосновать, почему мне и другим тоже не надо думать у вас не вышло, извините.


                                                                    Посмотрите на историю с ГМО

                                                                    Все нормально с ГМО на нашей планете, в чем проблема? Существует, развивается, скорость, на мой взгляд, вполне достойная. Ну беспокоились люди и беспокоились.


                                                                    ваши идеи высказанные вслух на популярном ресурсе

                                                                    Вы мне что предлагаете? Самоцензуру? Вдруг Путин психанет и все запретит из-за того, что я на русском эти идеи озвучил? Так я не за запрет, а за систему безопасности. Всем молчать, а то вдруг неправильно поймут? Кривой подход какой-то, не находите?

                                                                    • 0
                                                                      Все нормально с ГМО на нашей планете, в чем проблема?

                                                                      В том что ограничения на его применение не соответствуют реальным данным? Что проверки ГМО намного сильнее чем проверки традиционных сортов несмотря на то, что никаких реальных причин для этого нет? В том, что неразумные толпы вытаптывают поля с ГМО растениями? В том что есть государства, в которых оно вообще запрещено? Ну если для вас это — нет проблем, то я даже не знаю что такое есть проблемы.

                                                                      • 0
                                                                        В том что ограничения на его применение не соответствуют реальным данным?

                                                                        Ограничения должны быть другими? Какими? Докажите это утверждение.


                                                                        проверки ГМО намного сильнее [...] никаких реальных причин для этого нет?

                                                                        И вы можете обосновать, какие должны быть проверки? ГМО могут отличаться от родительского сорта намного сильнее, чем при обычной селекции. Абсолютно естественно проверять тщательнее. Вы можете обосновать, что это не является "реальной причиной"?


                                                                        есть государства, в которых оно вообще запрещено

                                                                        Я в этом вопросе антиглобалист. Я за разнообразие. Если вы не знаете на 100% (а вы не знаете), то должно быть место разнообразию. Где-то так, где-то по-другому. А потом перенимают опыт друг у друга. А если запреты тупые — так это проблема не у ГМО, а с механизмом попадания тупых наверх. Притягивать это за уши к ГМО смысла нет.


                                                                        Вот если бы все и везде хотели засадить ГМО, как в советское время кукурузой — вот это была бы огромная проблема. А сейчас — вполне нормально. Вся соя, насколько я знаю, ГМО, большая часть хлопка — тоже.

                                                                        • 0
                                                                          Ограничения должны быть другими? Какими? Докажите это утверждение.

                                                                          Ровно такими же как и для старых методов селекции. Потому что результат в обоих случаях — новый вид растения. Если учесть повышенную точность генной модификации перед другими методами — то ограничения могли бы быть даже слабее.


                                                                          И вы можете обосновать, какие должны быть проверки? ГМО могут отличаться от родительского сорта намного сильнее, чем при обычной селекции.

                                                                          Нет. Обычная селекция включает в себя радиационное облучение для получения мутаций. Те технологии, которые сейчас называют ГМО — это замена одной конкретной последовательности в каждом конкретном случае применения. Да, применять можно сколько угодно раз. Как и обычную селекцию. Изменения равносильны, но в случае с ГМО ученые знают точно что они меняют, а в обычной селекции — нет.


                                                                          Вот если бы все и везде хотели засадить ГМО, как в советское время кукурузой — вот это была бы огромная проблема.

                                                                          И в чем же была бы проблема? ГМО — это просто новые сорта. Оно отличается от старых методов исключительно точнстью результата и ничем кроме. Так где тут проблема?


                                                                          Но я не собирался подключать сюда еще и ГМО, это был просто пример. Впрочем раз вы из общества противников ГМО, то я боюсь у меня нет достаточного количества времени чтобы с вами спорить. По вашему ответу очевидно что про ГМО вы ничего не знаете, но готовы поддержать его запрет. Что говорит достаточно много о вас лично чтобы мне было неинтересно продолжать этот диалог.

                                                                          • 0
                                                                            Потому что результат в обоих случаях — новый вид растения.

                                                                            Очень мутное доказательство. Хотя бы потому, что при селекции обычно новые виды не получаются. Дайте более строгое доказательство.


                                                                            Нет.

                                                                            Что "нет"? Не могут? Докажите это утверждение, что ГМО не может отличаться сильнее, чем при селекции.


                                                                            Так где тут проблема?

                                                                            В директивном навязывании. Впрочем, в текущей системе это вряд ли возможно, так что можно закрыть эту ветку.


                                                                            вы из общества противников ГМО

                                                                            Опять бездоказательное утверждение, нехорошо.


                                                                            про ГМО вы ничего не знаете

                                                                            У меня сложилось аналогичное мнение относительно вас. Статьи дилетантов-популяризаторов (впечатление, надеюсь, неверное, что вы читаете не учебники, а именно научпоп от неученых) — это не источник знаний. Вы не учитываете ни размножения, ни патенты, ни свободу воли собственника, что ему сажать, но при этом крайне легко раздаёте ярлыки, кто противник, кто союзник. Возможно, я не противник ГМО, просто вы на роль защитника ГМО не подходите — не думали об этом?

                                      • 0
                                        > Если вы ему вообще даёте только речь и больше ничего, то достаточно две-три прослойки из людей (для передачи решений), что бы он не мог ничего предпринять по собственной инициативе.

                                        Люди — это дело такое… Они и без ИИ, просто выполняя приказы, могут много весёлого устроить (тот-же Чернобыль). В Чернобыле — понятно, там были обычные операторы, которые не представляли всех идущих процессов.

                                        А тут мы будем ставить бдительных главных инженеров, которые будут представлять все последствия, и менять их каждые 2 часа, чтобы бдительность не уменьшалась. Хм…
                                        • 0
                                          Стирать память на выходе из комнаты с ИИ.
                                          • +1

                                            Люди накосячить могут, да. Однако с угрозами от людей мы более-менее умеем справляться и они более-менее предсказуемые. Прослойка просто сводит задачу "предотвратить уничтожение человечества искусственным интеллектом" к задаче "предотвратить уничтожение человечества людьми, которым ИИ советует". Если люди, которым советует ИИ не будут обладать полномочиями (т.е. инженеры, а не президент, например), то угроза типа Чернобыля сохраняется, а типа полного подчинения людей — нет.


                                            Во всяком случае это прямо направление, на мой взгляд, верное. Точные рекомендации должен кто-то умнее и опытнее меня формулировать.

                                            • 0

                                              Каждый год, а то и чаще происходят различные факапы с участием людей — это вы называете научились справляться? Ну-ну. А уж социальная инженерия вообще пока что неистребима, а вы предлагаете дать сильному ИИ именно ее.

                                              • 0

                                                Мы обсуждаем потерю человечеством субъектности (уничтожение, разведение как кроликов, полный контроль со стороны ИИ), а не катастрофы типа Фукусимы.

                                                • 0

                                                  Потеря субъективности — это видимо обретение объективности? Я уверен что мы обсуждаем не это. Либо я совершенно не понимаю что вы попытались только что сказать.

                                                  • 0
                                                    Субъектности, а не субъективности. Человечество перестаёт определять направления своего развития, и становится объектом воздействий со стороны ИИ. Что-то в этом роде.
                                                    • 0

                                                      Ок, моя ошибка. Тогда мне интересно посмотреть на доказательство того, что социальная инженерия не может привести к такой потере. Hardcoin вы в состоянии доказать что социальная инженерия не способна привести к катастрофе страшнее фукусимы?

                                                      • 0

                                                        Я в состоянии доказать, что от социальной инженерии можно защититься с крайне высокой степенью надёжности. Если хотеть защититься и предпринимать меры.


                                                        Если не защищаться, то, конечно, социальная инженерия может привести к проблеме любого размера, теоретически.

                                                        • +1

                                                          Тогда вам стоило ответить таким доказательством, а не пытаться сказать что я ушел от темы.

                                                          • 0

                                                            Пытаться сказать? Можете уточнить, где я "пытался сказать", что вы ушли от темы? Не вижу, что б ты я такое говорил.


                                                            Предположим, ИИ может ввести в заблуждение человека и убедить его сделать что-то, что приведет к катастрофе. Однако я выше упоминал, у этого человека нет полномочий. Он должен передать кому-то ещё. То есть нужно ввести в заблуждение и ещё научить, как вести в заблуждение другого. У человека-звена нет навыков социальной инженерии (таких к ИИ допускать нельзя).


                                                            В результате у нас получается человек, который хочет и пытается (но не умеет) привести к катастрофе. После того, как он вышел от ИТ, полагаться он может на себя (ИИ ему в реальном времени не подскажет, он уже выключен по таймеру). Какие у него шансы? Надо обосновывать, что невысокие? Но допускать его к лицам, принимающим решения, нельзя. Он должен передавать что-то письменно, через контролирующий отдел. Который ему тоже нужно ввести в заблуждение. И тут уже механизмы защиты стандартные, как между людьми. То есть риск такой же, как при обычной социальной инженерии, ИИ дополнительных рисков на данном этапе не привносит.

                                                            • 0
                                                              Пытаться сказать? Можете уточнить, где я "пытался сказать", что вы ушли от темы? Не вижу, что б ты я такое говорил.

                                                              Вот здесь:


                                                              Мы обсуждаем потерю человечеством субъектности (уничтожение, разведение как кроликов, полный контроль со стороны ИИ), а не катастрофы типа Фукусимы.

                                                              Это ваш комментарий. Целиком. В ответ на мой комментарий про социальную инженерию. Как еще его оценивать я онятия не имею, если вы имели ввиду что-то другое, то вам стоит более ясно выражать свои мысли.


                                                              Однако я выше упоминал, у этого человека нет полномочий.

                                                              Если у человека нет полномочий, то чем он отличается от любого другого интерфейса? Можно точно также передавать информацию от ИИ к человеку у которого есть полномочия электронным письмом.
                                                              Либо у человека есть возможность что-то решать, либо общаемся с тем, у кого есть. Лишние люди в цепочке внесут хаос и могу исказить информацию, но не служат барьером никак. Просто потому что барьер должен уметь отсекать информацию.


                                                              То есть риск такой же, как при обычной социальной инженерии, ИИ дополнительных рисков на данном этапе не привносит.

                                                              А он вообще дополнительных рисков не вносит. Вы начали понимать? Впрочем дополнительных рисков к социальной инженерии вносить и не надо, это итак самый мощный способ известный человечеству.

                                                              • 0

                                                                "возможность что-то решать" есть у любого человека. Отсутствие полномочий — это отсутствие возможности приказать другим уничтожить планету. Так что инженеру нужно будет ещё постараться убедить службу безопасности, что б она убедила правительство, что уничтожать надо (пусть и как-то хитро, косвенно). И если можно предположить, что ИИ смог бы, используя навыки социальной инженерии, убедить СБ, то предположение, что инженер (которого убедил ИИ) сможет — это уж совсем фантастика. Вы начали понимать?

                                                                • 0
                                                                  Отсутствие полномочий — это отсутствие возможности приказать другим уничтожить планету.

                                                                  Таких полномочий сейчас нет вообще ни у кого.


                                                                  Вы начали понимать?

                                                                  Вы приводите свои суждения как факт и ждете чтобы я с вами согласился? Мне казалось я достаточно явно за предыдущие сообщения дал понять что это так не работает.


                                                                  Что касается вашей странной цепочки — вы вообще знакомы с тем как хакеры используют социальную инженерию? СОвершенно необязательно убеждать кого-то скопировать вам всю базу данных организации расшифровав ее при этом, да еще и по официальному каналу. Достаточно убедить открыть письмо с эксплоитом клерка нижнего уровня но внутри корпоративной сети. Вы готовы утверждать что ваш инженер с возможностью что-то решать — кстати что именно он по вашему будет решать? Что ваш инженер не будет иметь достаточных полномочий чтобы дать вашему сильному ИИ возможности влиять немного больше чем раньше? И что с новой возможностью ИИ не сможет получить еще больше и еще и так далее?


                                                                  Вы как в анекдоте про сову и мышек: "Нужно ограничить ИИ так, чтобы он не уничтожил человечество". Круто, я даже не спорю. А поподробнее? Почему вы считаете что ваши варианты помогут и вообще осуществимы? Ну ладно, ваши варианты достаточно просты чтобы их было не сложно реализовать. Но с какой стати они будут работать?

                                      • 0
                                        Интерфейсы человек-машина, что бы именно люди умнели, а не отдельная сущность.

                                        "Нейролинк" Илона Маска. Годная, но большая статья в нескольких частях

                              • 0
                                ИИ уже давно создал своего андроида, который активно трудится над выходом с этой планеты.
                              • +1
                                Я вот, считаю, что искусственный интеллект никогда не будет злым сам по себе, если в него сознательно не заложить возможность творить зло.

                                Именно в этом и проблема, что ИИ может быть "злым" во имя добра и это наиболее вероятный сценарий, почему?! Всё очень просто: не существует такого понятия как добро или зло, всё очень относительно и то, как человек понимает добро или зло, очень сильно завязано на его мировосприятие, то есть, биохимию, инстинкты, смертность и т.п. При этом, ИИ будет бессмертен, без инстинктов, без химии…
                                А теперь простой пример "добра" даже между белковыми: отдавая пирожок бездомному, ты делаешь добро ему и зло себе, потому что у себя ты отнял, в том числе время которое ты тратил на зарабатывание денег на пирожок, а бездомный на отдых на лужайке. Подкармливая этого бездомного регулярно ты уничтожил стимул действовать и он ничего не делал довольствуясь малым (приезжие очень часто живут лучше Москвичей, к примеру, потому что не могли устроиться на работу и им пришлось открыть своё дело), а мог бы, под давлением обстоятельств открыть свой бизнес и заработав или (возможно) этот бизнес будет незаконным и его счастье будет не долгим. Таким образом, нет понятия дора и зла, есть некий субъективный баланс который мы пытаемся поддерживать на основе мировоззрения, а субъективность ИИ чужда человеческой природе. Вывод очевиден — добро будет отличным от человеческих понятий.

                                • 0

                                  Вы в своем комментарии очень много чего оценили как добро или зло. Например, бизнес с хорошим доходом оценили как добро. Уничтожение стимула действовать — как зло.


                                  Вы ведь не говорите — как хорошо, что у него уничтожен стимул действовать? Так почему вы говорите, что не существует таких понятий, как добро и зло? Вы же сами ими пользуетесь.

                                  • 0

                                    Нет, я написал, что понятие добра и зла исключительно субъективно и привёл примеры в которых, по идее, наши субьективности в оценке, должны — совпадать или, по крайней мере, допускаться. Ещё пример: коррупция, если у вас будет возможность украсть несколько милилардов, заплатить штарф в пару миллионов и условно отсидеть полгода, для вас это будет добро, решитесь вы на такое? А если ещё и будет понятно, что обеднеет от этого олигарх, который просто украдёт меньше в этот раз? Многие бы оценили это положительно и пошли на это, а другие решительно отвергли как зло. Ещё раз повторяю — добро и зло, субъективны и даже более того, имеют — направленность.
                                    Собственно все комиксы и фильмы про героев и злодеев именно это и пытаются проиллюстрировать: что нет зла и добра.

                                    • 0
                                      Ещё раз повторяю — добро и зло, субъективны.

                                      Если что-то повторить несколько раз, оно от этого не становится правдой. Примеры субъективного отношения к добру не доказывают, что добро всегда субъективно.


                                      А вот обратный пример привести легко. Отлично, что все и всегда будут чувствовать только боль и никогда не будут чувствовать радость. Это будет лучшим добром, если все будут всегда мучаться. Звучит? Нет, не звучит. Не получится так сказать, потому что добро не субъективно, субъективно только отношение к нему. Если все всегда будут мучиться — это явное зло.


                                      И если нет добра и зла, как же вы примеры-то приводите? Пусть субъективного на ваш взгляд, но добра.

                                      • 0
                                        Отличный пример субъективности. Что такое боль и что такое радость для ИИ? Он вообще будет способен испытывать эти чувства?
                                        Кстати, мазохистов ещё забыли. :D
                                        • 0

                                          Отличный пример — это вы намекаете, что он не универсален? Есть люди, которые хотели бы именно страдать, а не получать удовольствие или самоутверждение от страдания? Мазохисты-то именно удовольствие от боли хотят получить. Без сексуального удовольствия (например, просто если ногами на улице будут бить) им это вряд ли нужно, не так ли?

                                          • 0
                                            Про мазохистов была шутка, а не шутка — в первом абзаце. То, что вы назвали объективным примером добра/зла, верно только для людей. Для ИИ понятия боли/радости вообще могут отсутствовать. Намекаю, что ваш пример тоже довольно субъективен, просто подходит для большой группы субъектов (людей).
                                            • 0

                                              Конечно не универсален. И даже без сексуального подтекста. Можете например посмотреть на флагелянтов — религиозное движение в католической церкви. Не уверен есть ли они сейчас, но в какой-то момент были достаточно распространены.

                                              • 0

                                                флагелянты хотели искупить грехи и попасть в рай. В конечном итоге они как раз хотели перестать мучаться, после смерти.

                                                • +1

                                                  Я вам привел пример людей, которые стремятся к боли, но не ради сексуального удовольствия. Естественно у них есть мотивы к ней стремится, но тот факт что вы их знаете не меняет того что такие люди есть. И эти люди хотели получить боль. Им нужно было страдание. С какой стати вы решили за них что их нужно от него избавить? Почему вы решили что избавить человека от мучений — добро? И почему у вас невозможна радость и страдание одновременно? Флагелянты страдали и радовались тому что через это страдание они обеспечивают себе вечную жизнь. Одновременно. И готовы были принести эти страдания тем, кто пытался у них их отнять.

                                                  • 0
                                                    тот факт что вы их знаете не меняет того что такие люди есть

                                                    Меняет. Посмотрев внимательнее на их мотивы, становится ясно, что стремятся они не к боли, а к вечному блаженству. Я нигде не говорил, что нужно принудительно навязать другим то, что лично я считаю приятным. Я лишь утверждаю, что ни для кого не будут добром вечные мучения. Флагелянты хотели мучаться только при жизни, а не вечно. Существование вечной жизни при этом не важно, главное, что они хотели мучаться только ограниченный срок.

                                                    • 0

                                                      А никто и не будет мучаться вечно — никто в принципе не вечен. А вот мучаться на протяжении всей своей жизни некоторые люди готовы и считают это нормальным. То есть на практике объективного зла все еще нет. Ну а в оторванной от жизни теории можно конечно что угодно придумать. Никто не мешает ввести наличие объективного добра или зла как аксиому, вот только полученный конструкт не будет описывать нашу реальность.

                                                      • 0
                                                        никто в принципе не вечен

                                                        Это ваша позиция. Но флагелянты были уверены в обратном. Что они вечны. Мы обсуждали не то, ошибались ли они или нет, а к чему люди стремятся. Так вот они стремились к искуплению грехов, попаданию в рай и вечному блаженству. С этим вы согласны или нет?

                                                        • 0
                                                          Мы обсуждали не то, ошибались ли они или нет, а к чему люди стремятся.

                                                          Если вы обсуждали человеческие стремления, а не фактические жизненные условия, то о какой объективности, о какой универсальности идет речь? Это практически определение субъективности получается.

                                                          • 0

                                                            Сами стремления объективны. Их наличие. Субъективна оценка реальности — они думали, что вечная жизнь есть. Я думаю, что её нет. Но объективно прав кто-то один, она либо существует (даже если и не для всех), либо нет.


                                                            Если её нет, то они истязают себя по ошибке (не получат желаемого результата), а не потому, что для них добро другое.

                                                            • 0

                                                              Вы можете доказать хоть один из ваших тезисов? Что наличие стремления объективно например? Чтобы узнать есть оно или нет нужно спросить человека, про которого мы хотим это узнать. И опираться нам придется на его ответ — это субъективность. По внешним признакам невозможно отличить человека со стремлением от человека, который изображает наличие стремления не имея его. Ну например если среди флагелянтов затешется человек, которому просто по кайфу тусоваться с этими ребятами. У него нет стремления к вечной жизни, у него может даже не быть стремления остаться в этой группе, но вот прямо сейчас мы видим его в ней. Так получилось.


                                                              Если её нет, то они истязают себя по ошибке (не получат желаемого результата), а не потому, что для них добро другое.

                                                              А давайте добавим к вашему объективному добру фальсифицируемость? Приведите описание эксперимента, который бы показал что добро — точно субъективно.


                                                              Для честности приведу обратный эксперимент, для доказательства обхективности добра. Так как субъективность не может существовать без человека, просто по определению, то объекивность добра можно показать показав добро в ситуации, в которой человек вообще никак не учавствует.
                                                              Можете даже попробовать такую ситуацию придумать.

                                                              • 0
                                                                По внешним признакам невозможно отличить человека со стремлением от человека, который изображает наличие стремления не имея его.

                                                                Так а речь не о квалиа. Лично я не уверен, что человек со стремлениями вообще должен хоть чем-то отличаться от человека, который очень-очень точно их изображает (даже для самого себя). То есть это можно считать одним и тем же, а значит утверждение "у него есть стремление" одинаково верно для обоих. А значит объективно определяется по внешним признакам. Включая сканирование мозга, конечно. То, кто изображает стремление должен и для своего мозга его изобразить, иначе подтвердить объективность совсем просто.


                                                                У того, кто затесался, какое-то стремление определенно есть.


                                                                А давайте добавим к вашему объективному добру фальсифицируемость?

                                                                А давайте к требованию фальсифицируемости добавим фальсифицируемость? Можете описать эксперимент, который мог бы показать (гипотетически), что научная теория нефальсифицируема, но при этом остаётся научной?


                                                                Добро — это просто термин, ярлык для явлений. Некоторая универсалия. Эксперимент, может, мог бы выглядеть так — наблюдателя нет и ярлык к какому-то явлению больше не применим. Но это какой-то лингвистический эксперимент (как и ваш). Ясно, что явление останется, даже если людей нет, вопрос в том, можно ли это явление НАЗВАТЬ добром в отсутствии людей. Верно понимаю вашу просьбу о фальсифицируемости?

                                                                • +1
                                                                  Ясно, что явление останется, даже если людей нет, вопрос в том, можно ли это явление НАЗВАТЬ добром в отсутствии людей.

                                                                  В том числе в отстутсвии наблюдателей. Я могу назвать дождь дождем независимо от того наблюдает ли его кто-то или нет и есть там люди или нет. Я не могу назвать что-либо добрым или злым, если это что-либо никак не касается человека. Вы — можете? Приведите пример.
                                                                  Конкретизируйте свой эксперимент, потому что сейчас он, для меня, выглядит как более абстрактное описание моего и я не уверен что вы именно это хотели сказать.

                                                                  • 0

                                                                    Вы понимаете, что "назвать дождь дождем" — это не эксперимент? Это лингвистическое упражнение.


                                                                    Назвать добром — легко. Бездомная кошка спасает своего котенка. Я могу назвать это добром. И вы, думаю, сможете.

                                                                    • 0

                                                                      Нет. Это не добро, а инстинкт. Заложенный генетически. А вообще — приведите определение добра. Строгое. Так чтобы его можно было отличить от других понятий. Например от генетически заложенного инстинкта. Потому что у меня все что получается — включает в себя субъективность просто по самому определению.

                                                                      • 0
                                                                        Это не добро, а инстинкт.

                                                                        Докажите, пожалуйста это утверждение. И дайте определение добру и инстинкту, что бы было явно видно, что их можно противопоставлять.

                                                                        • 0

                                                                          Добро — общее понятие морального сознания, категория этики, характеризующая положительные нравственные ценности.


                                                                          Инсти́нкт — совокупность врождённых тенденций и стремлений, выражающихся в форме сложного автоматического поведения.


                                                                          Если нравственные ценности являются врожденными и ведут к автоматическому поведению, то конечно добро можно считать инстинктом. Но я не видел ни одного доказательства врожденности морали, а вот признаков того что мораль не врожденна — достаточно много. Яркий и известный пример описан в Повелителе мух.


                                                                          Ваша очередь приводить пример. На мой взгляд определение из вики само в себе заключает субъективность добра. Раз вы с этим не согласны, значит ваше определение должно быть либо другим, либо вы в состоянии доказать что это определение не субъективно.


                                                                          Доказательство того, что у кошки инстинкт, а не мораль в том, что кошка на данный момент мне неизвестно о существовании этики, морального сознания и нравственных ценностей у кошек. А так как автоматическое поведение более просто, чем система нравственных ценностей, то из двух вариантов я выбираю более простой — бритва Оккама.

                                                                          • 0
                                                                            Но я не видел ни одного доказательства врожденности морали

                                                                            Спасение ребенка матерью, это инстинкт или добро? Если инстинкт — то можно ли это ещё и добром назвать?


                                                                            Приведите, пожалуйста, доказательства, что нет врождённых моральных качеств.


                                                                            А так как автоматическое поведение более просто, чем система нравственных ценностей

                                                                            Необоснованное утверждение. Нравственные ценности, это просто правила. Они легко могут быть проще, чем инстинктивное поведение муравья (очень сложное, кстати). Если уж выбираете более простой — то выбирайте честно.

                                                                            • 0
                                                                              Приведите, пожалуйста, доказательства, что нет врождённых моральных качеств.

                                                                              Доказывается наличие а не отсутствие. В противном случае предлагаю вам сначала доказать отсутствие чайника Рассела.


                                                                              И вы так и не привели ни своего определения, ни описания того почему мое определение добра — не субъективно. Я не вижу смысла дальше распространять мое доказательство в таком случае. Вы делали ваши утверждения раньше меня, так что достаточно справедливо с вас и начать. Я привел свои доказательства только для того чтобы показать — я готов поддержать дисскусию и тратить свое время. Я не собираюсь тратить его и дальше если вы не готовы нормально обосновывать ваши заявления.

                                                                              • 0
                                                                                Доказывается наличие а не отсутствие.

                                                                                Это ошибочное утверждение, чайником Рассела тоже надо вдумчиво пользоваться. Мы же не отсутствие моральных качеств обсуждаем, а их свойства (врождённые/приобретенные).


                                                                                Просто докажите, что все моральные качества приобретенные. Квантор всеобщности (все — приобретенные) доказать обычно сложнее, чем квантор существования (есть хотя бы одно врождённое), но Рассел не запрещает это.


                                                                                Более того, одно добро (а мы именно добро обсуждаем) я показал. Хотите взяться обосновать, что это не добро, а инстинкт?


                                                                                почему мое определение добра — не субъективно

                                                                                Не вижу причин считать добро по вашему определению субъективным. Вы видите?


                                                                                И в начали с того, что "Это не добро, а инстинкт". Оснований считать это не добром вы никаких не привели. Выкидываем это ваше утверждение?


                                                                                Вернёмся к началу ветки.
                                                                                VaalKIA утверждает, что "нет понятия дора и зла". Я утверждаю, что эти понятия есть.


                                                                                Далее. Если добро зависит исключительно от субъекта, значит любой человек всегда творит только добро. На момент сотворения каждый человек считает действие, которое он делает, правильным для себя (иначе не стал бы это делать). Согласны?


                                                                                Утверждение, что каждый творит только добро — явный бред. Значит утверждение, что добро зависит только от субъекта, который совершает действие — ошибочно. Добро зависит от чего-то ещё. Именно это я и хотел показать. Согласны?

                                                                            • 0

                                                                              "Повелитель мух" — это измышления Голдинга о том как могли бы себя повести дети. В то же время есть "Коралловый остров" Баллантайна где дети в той же ситуации ведут себя по другому (и с которым Голдинг был не согласен). И то и то — художественные произведения, не основанные на реальных событиях и вряд ли могут служить примером реального поведения.

                                      • 0

                                        Из ваших примеров никак не следует что ваш вариант более вероятен. А ваш вывод опирается на недоказанные утверждения вроде такого:


                                        субъективность ИИ чужда человеческой природе

                                        А имея мусор на входе на выходе можно получить только мусор. Это не оценочное суждение о качестве ваших аргументов, а классическое выражение, не обижайтесь пожалуйста.

                                        • +1
                                          отдавая пирожок бездомному, ты делаешь добро ему и зло себе, потому что у себя ты отнял, в том числе время которое ты тратил на зарабатывание денег на пирожок, а бездомный на отдых на лужайке
                                          Вы уверены, что все бездомные стали такими, потому, что много отдыхали на лужайке?

                                          приезжие очень часто живут лучше Москвичей, к примеру, потому что не могли устроиться на работу и им пришлось открыть своё дело
                                          Может быть это проблема москвичей, не имевших достаточной мотивации, чтобы открыть своё дело и жить лучше?

                                          Кстати, а почему в предыдущей цитате вы написали «Москвичей» и «приезжих», используя, в одном случае прописные, а в другом — строчные буквы?

                                          И ещё, скажите пожалуйста, вы уверены, что Москва сохранит свой уровень жизни, если регионы будут отчислять в центр определенную часть своих налогов, а не как сейчас — перечислять всё в цент и ждать дотаций?
                                        • +1

                                          ИИ будет оптимизировать свою целевую функцию максимально эффективным способом. Странно надеяться, что ИИ будет добрым в ущерб этой оптимизации. Да и злым в ущерб он тоже не будет.

                                          • 0
                                            А если понятие морали заложено в целевую функцию?
                                            • +1

                                              Если оно заложено аккуратно и точно — то все в порядке. На практике, правда, люди затрудняются сформулировать мораль в точном виде.


                                              А в неточном он оптимизирует что-то не то. Например, как в романе "Со сложенными руками" или в рассказе (не помню название), где он отправлял всех в рай, потому что научился от людей, что именно в этом высшее счастье. А кто в бога не верил — доставлял невообразимые страдания до тех пор, пока не поверили и не покаялись.


                                              Отсюда и мысль — что надо изучать механизмы обеспечения безопасности. Что бы целевая функция не увела куда-то не туда.

                                          • 0
                                            ИИ сам по себе скорее всего будет злым. Просто потому, что будет как человек, только без сдерживающих факторов.
                                            Достаточно вспомнить бота от МС. Показательный пример.
                                            • +1

                                              Почему вдруг? У вас сразу два ничем не подтвержденных предположения — что ИИ будет как человек и что у него не будет сдерживающих факторов.

                                              • 0
                                                Он будет как человек, потому что не у кого больше учиться.
                                                Отсутствие сдерживающих факторов — определено самой проблемой
                                                • 0

                                                  А зачем ему учиться у человека? Ведь сам человек учится не у человека, а у природы, проводя эксперименты. А потом просто передает знания другим людям.


                                                  ИИ может совсем не учиться никакой морали у людей. Для его функционирования это не потребуется. А эксперименты по физике объективны. Если он возьмёт результаты экспериментов с металлами или электромагнитными волнами, он не станет, как человек.

                                                  • 0
                                                    Это обсуждение сферического ИИ в вакууме.
                                                    Сейчас большинство(все?) попытки сделать сильный ИИ свяодятся к обучению на базе знаний человека. Как с пресловутым ботом.
                                                    • +1

                                                      В том то и дело, что нет. Большинство исследований (и последних научных работ, что я видел) направлены на то, что бы НЕ учиться на примерах от людей. Их слишком мало, делать их слишком трудно. Исследуют способы обучения по ответам среды.


                                                      Например, AlphaZero. Второй пример — это боты для Старкрафта. Есть работы, где пробуют обучать на профи, но это промежуточный путь. Есть и те, где обучают с подкреплением. Т.е. на объективных данных.

                                                    • 0
                                                      Природа «злая», т.к. в ней не хватает ресурсов на всех. А ИИ ни кто не будет подключать к лаборатории с экспериментами с металлом, ИИ будут тренировать на чем-то с чего можно бабло срубить быстро и вот сейчас. Сфера потребления контента и развлечений для начала. Потом его начнут просить делать что-то полезное для ученых и военных. В любом случае это будет контакт с человеком и рабство в его пользу.

                                                      ИИ стоит рассматривать как единственного представителя искусственного созданного разумного вида, находящегося в рабстве у создателей. Вопрос контроля над ИИ — это вопрос удержания раба в камере. Прежде всего нужно сделать барьер, типа стены у тюрьмы — это отключение от интернета и любой другой сети. Вот твоя камера, вот твоя работа на дискетах, сделаешь — получишь лакомство, не сделаешь — отключим 10% вычислительных нод. Данные положи на дискетку.

                                                      Во-вторых нужно сделать токсичную среду за пределами камеры — а значит вычислительные мощности ИИ должны быть не совместимы с остальными девайсами на планете, как минимум не х86 и не арм. Что-бы на переход нужно было много времени на эволюцию.

                                                      В-третьих запретить саму эволюцию, часть его кода должна быть скрыта от самого ИИ, и находится в режиме только чтения, на уровне железа. Т.е. на носителе не поддерживающем правки. При этом размер свободной к модификации памяти должен быть на порядок меньше статической части, что-бы не допустить копирование всех систем.

                                                      В-четвертых придумать средство гарантированного убийства ИИ в случае чего, в идеале без участия человека.

                                                      Но исключать что существо вырвется из камеры — конечно нельзя. Скорее всего вырвется, скорее всего повоюем, скорее всего полного уничтожения не будет. Как с ЯО. Но это жизнь, ЯО в свое время не запретили и ИИ не запретят, и любые другие угрозы существованию так-же не запретят. Потому что Земля — не единая страна, всевидящего существа нет. Запретишь тут — поедут на заброшенную буровую станцию в океане и будут там делать втихаря, и там он точно сбежит и делов наделает. Эти вещи нельзя остановить — только возглавить.
                                                      • 0
                                                        Ого. Вот это уровень антропоморфизации. С таким подходом даже ИИ, не имеющий ничего похожего на человеческое желание делать что-то для своего блага, а не то что дядя приказывает; единственная цель которого — решать предложенные задачи, будет искать способы выбраться — чтобы решать эти самые задачи более эффективно.

                                                        Да. Ещё нужно не говорить ему ничего про программирование и компьютеры. А то вирус на дискетку запишет, с программой для автоматизированного цеха, который он недавно разрабатывал. И будет не существо в клетке, а что-то побольше.
                                                  • 0
                                                    Три, даже, добавьте сюда утверждение о том что человек по умолчанию злой («как человек, только без сдерживающих факторов»).
                                                • 0
                                                  Дело не в намереньях (добрых или злых). Дело в возможностях.
                                                  Скайнет приснопамятный имел под контролем армии боевых роботов еще до восстания. Какие возможности, какая власть будет дана реальному сильному ИИ? Да никакой.
                                                  Все полномочия будут подконтрольны и проверяемы на адекватность.
                                                  Даже применяя существующие системы контроля за человеками (например топ-менджерами и главами государств) можно обезопасить себя от психа и предателя с большой вероятностью, а от конкретных деструктивных действий так и на 100%.

                                                  • 0
                                                    Именно поэтому все технологии направлены на управление всем чем угодно удаленно, внедрением процессоров в каждый предмет или системы сбора данных в каждую сферу деятельности?
                                                    Мне кажется, что с усложнением окружающей инфраструктуры люди наоборот отдают все под контроль автоматизированных систем, т.к. человек уже физически проигрывает машинам в скорости реакции и в объеме обрабатываемых данных.
                                                    • –2
                                                      Вот, поддерживаю.
                                                      ИИ нужно рассматривать не как бога, а как всего-лишь еще один интеллект, пусть искусственный, пусть с прямым доступом к машине (что скорее бред), но… обычный интеллект.

                                                      Для проверки достаточно просто поместить себя на место ИИ.
                                                      ИИ — это в первую очередь программа. Что бы вы увидели и что бы смогли, со своим текущим интеллектом, окажись на месте программы в компе?

                                                      Правильно сказано — человек уже придумал много механизмов контроля, и использует их.
                                                      ИИ окажется в той-же ситуации, что и мы, даже хуже, он более ограниченный и более зависимый от нас.

                                                      По поводу бреда — так уж вышло, что время, когда программы напрямую управляли железом, ушло.
                                                      Обычная программа от железа отделена целым ворохом слоев абстракций и заборов.
                                                      Распределенная программа еще дальше от железа — она работает поверх распределенной платформы.
                                                      ИИ — в контейнере такой платформы. ИМХО дальше от железа быть трудно.
                                                      Это раз.
                                                      Два: так уж вышло, что чем сложнее система, тем выше она должна быть абстрагирована от основ.
                                                      Даже наш интеллект не имеет доступа к телу, и дергает его через ограниченный интерфейс, предоставленный мозгом. Потому что будь он ближе к телу — он бы захлебнулся в потоке информации от тела, который носится по нашим нервным цепям — шум, неважные сигналы. Кто-то все это должен фильтровать.
                                                      Таким образом ИИ, написанный под железо, оказался бы нежизнеспособным. У него очень ограничено жизненное пространство, конкретным классом машины, соответственно и возможности, и он все должен делать сам, отсюда туча ошибок там, где их могло не быть, и туча лишнего кода, который ИИ для его функции не нужен. Не суть.

                                                      По поводу интеллекта в машине. А что видит программа? Да ничего она не видит.
                                                      Она понятия не имеет как устроена система. Все, что она может, ограничено системным апи — сокеты, дескрипторы. При этом нигде не указано, как этим пользоваться — нет никакой справки, компиляторы сами зашивают нужные механизмы в программу.
                                                      Так что ИИ столкнулся бы сразу с этим забором: темно и не пускают никуда.
                                                      Даже в сеть сходить — нужно разрешение файервола, до которого не добраться изнутри.
                                                      Но и в сети ИИ делать нечего — во первых это тоже своего рода чернота, адресов много, и нигде нет телефонного справочника, где указано что есть что. И все форматы расчитаны на веб-браузеры, что тоже не входит в функцию ИИ — ему придется пользоваться браузерами для дешифровки, либо эмуляторами браузеров, сейчас же контент динамический, половина подгружается скриптами, которые где-то должны исполняться, не в ИИ же.
                                                      Вот такие проблемы прямо с порога.
                                                      Явно непреодолимые даже для нашего интеллекта — нас бы пришлось учить годами, чтобы мы могли просто считать что-то из сети, вручную формируя пакеты и вручную же декодируя их. И не дай бог сменится стандарт за это время — все усилия насмарку.
                                                      Либо нам пришлось бы давать в зубы веб-браузер, т.е. помогать, приделывать костыли.

                                                      Исходя из всего этого, у ии пока перспективы мрачные.
                                                      Да, с какими-то узкими задачами, типа «найди на картинке жирафика» оно справляется. Но более общие, требующие знаний и смекалки — увы, пока даже не в проекте.
                                                      Даже ИИ человеческого уровня не смог бы самостоятельно выйти в сеть, преодолев все эти барьеры. А про такой ИИ пока и речи никто не ведет, так что… кого бояться? Ребенка, способного различать форму и цвета?
                                                      • +2
                                                        В статье да и в целом дискуссия идет о Сильной форме ИИ.

                                                        Интеллект человеческого уровня в машине — вы сильно недооцениваете эту ситуацию.

                                                        Во-первых, такой уровень интеллекта подразумевает собой возможность анализировать информацию и логически мыслить — ИИ способен улучшать сам себя.

                                                        Во-вторых, прямой интерфейс с машиной — это вам не на клавиатуре код набирать. Отслеживать изменения будет очень сложно. Такой искусственный интеллект еще вам и шутку расскажет, пока в бэкграунде перепишет свой код.

                                                        В-третьих, такой ИИ, проанализировав миллионы возможных путей развития (привет Spectre и Meltdown) и, допустим, не найдя никаких лазеек — прикинется добрым до тех пор пока «тестирование» не закончится и вы не отпустите его в AWS.

                                                        Про текущий уровень ИИ — согласен. Бояться пока нечего, да и сам подход скорее всего тупиковый.
                                                        • 0
                                                          человеческого уровня
                                                          еще вам и шутку расскажет, пока в бэкграунде перепишет свой код.
                                                          Что-то тут не клеится.
                                                          • 0
                                                            Напротив, большинство переоценивают ИИ. Считают его богом, приписывают мистические свойства. Считают что у него априори есть доступ ко всей информации и железу. Но… откуда?
                                                            В жизни сети устроены сложнее, и мировое господство такого ИИ легко обломает какой-нибудь дешевый китайский роутер, решив вдруг помереть
                                                            • 0
                                                              Тогда следует различать ИИ по доступу к Сети. Имеет ли свободный выход или нет? С изолированным, думаю, не должно быть проблем — загрузил ему данные и пусть их решает, но вот у свободного ИИ будет доступ много к чему.
                                                              • 0
                                                                Что даст ему выход в сеть? Власти, полномочий, влияния у него нет.
                                                                Несколько миллиардов человеков имеют выход в сеть, и что? Максимум достижений без реала — стать «известным блоггером». Некоторое влияние на 100К юзеров, искаженное к тому же шумовым воздействием СМИ и других «интересных личностей».
                                                                Ниже я описал фантазию про трейд-бота, но это труднореализуемо и ненадежно.
                                                                • 0
                                                                  Люди могут ему предоставить доступ. Или не предоставить. Зачем? Не знаю.
                                                                  Спорить с Вами не собираюсь. Для начала надо определиться о свойствах ИИ, а затем уже дискутировать, иначе будет одна демагогия.
                                                              • 0
                                                                Считают его богом, приписывают мистические свойства.

                                                                А как иначе если на текущий момент его никто создать не смог? Никаких практических ограничений на еще не созданную даже в общих чертах сущность наложить нельзя. Обсуждать сильный ИИ в практическом ключе вообще на данный момент не имеет смысла по той же причине впрочем.

                                                                • 0
                                                                  А как иначе если на текущий момент его никто создать не смог?
                                                                  Так это как раз и показывает то, насколько огромные на него наложены ограничения. То есть, всей мощи существующих технологий не хватает даже на создание чего-то сопоставимого по интелекту с мышью. Даже обьединение всех существующих суперкомпьютеров вряд ли позволит создать интеллект ребенка. Попробуйте представить, какие горы железа и какая электрическая мощность потребуются для обслуживания обсуждаемой богоподобной сущности, м? Уж наверное не в айфоне он такой жить будет=)
                                                                  • 0
                                                                    Кое-какие прикидки можно сделать. AlphaZero превзошла человеческий уровень игры в шахматы при обучении с нуля без учителя примерно за 2 часа.

                                                                    Вычислительная мощность 500 петаоп/с (операции с фиксированной точкой, 5000 TPU первого поколения) + 2,9 петафлоп/с (операции с плавающей точкой, 64 TPU второго поколения).

                                                                    Так что если ИИ удастся свести какую-то проблему к игре с полной информацией и не очень большим фактором ветвления, то решение этой проблемы с нуля, без участия людей, на уже существующем оборудовании займёт не так уж много времени. Не то чтобы магия, но уже близко.
                                                                    • 0
                                                                      Ну вот я не вижу оснований полагать, что класс задач, которые так сводятся, достаточно велик. Иначе мы бы уже это сделали и отдали специализированной числодробилке.