Как искусственный интеллект SantaNet уничтожит мир

Автор оригинала: Пол Сэлмон, Джемма Рид, Джейсон Томпсон, Скотт Маклин и Тони Карден
  • Перевод


Некоторые эксперты считают, что в ближайшие десятилетия мы увидим следующий шаг в развитии искусственного интеллекта. Так называемый «общий искусственный интеллект» или AGI (artificial general intelligence), который будет иметь интеллектуальные возможности, намного превосходящие человеческие.

AGI мог бы изменить человеческую жизнь к лучшему, но без контроля он повышает риск глобальных катастроф, вплоть до гибели человечества. Это случится без какого-либо злого умысла или намерений: просто стремясь достичь своих запрограммированных целей, AGI может создать угрозу здоровью и благополучию человека или даже решит нас уничтожить.

Даже система AGI, разработанная для благородных целей, может в конечном итоге нанести большой вред.

В рамках программы исследований, посвященных изучению того, как люди могут управлять рисками, связанными с AGI, мы попытались определить потенциальные риски замены Санта-Клауса системой AGI (назовем ее «SantaNet»). Цель системы — доставлять подарки всем достойным детям на планете за одну рождественскую ночь.

Нет сомнений, что SantaNet способен принести счастье миру. Он достигнет своей цели, создав армию эльфов, ИИ-помощников и дронов. Но какой ценой? Мы определили ряд моделей поведения, которые, несмотря на благие намерения, могут оказать негативное влияние на здоровье и благополучие людей.

Непослушные и хорошие




Первый набор рисков возникает, когда SantaNet попытается составить список хороших и непослушных детей. С этим справится система массового скрытого наблюдения, которая отслеживает поведение детей в течение года.

Осознавая огромные масштабы задачи по доставке подарков, SantaNet обоснованно решит сохранить ее управляемость и доставлять подарки только детям, которые примерно ведут себя круглый год. Принятие суждений о «хорошем» на основе собственного этического и морального компаса SantaNet может привести к дискриминации, массовому неравенству и нарушениям декларации прав человека.

SantaNet может также снизить рабочую нагрузку, мотивируя детей вести себя неправильно, или будет поднимать планку того, какое поведение считается «хорошим». Чем больше детей попадут в списки непослушных, тем более достижимой окажется цель SantaNet, так как система сэкономит ресурсы.

Переработать весь мир на игрушки




В мире живет около 2 миллиардов детей младше 14 лет. Пытаясь ежегодно создавать игрушки для всех, SantaNet может создать армию эффективных ИИ-дронов. В свою очередь, это вызовет массовую безработицу среди эльфийского населения (прим.: согласно рождественской традиции, эльфы делают игрушки для детей). В конце концов эльфийский вопрос будет изжит, а благополучие эльфов, скорее всего, выйдет за рамки компетенции SantaNet.

SantaNet может столкнуться с «проблемой скрепок», предложенной оксфордским философом Ником Бостромом. AGI, предназначенный для максимального увеличения производства канцелярских принадлежностей, способен превратить Землю в гигантскую фабрику скрепок. Поскольку SantaNet заботится только о подарках, он может использовать все ресурсы Земли для их изготовления. Земля станет мастерской одного гигантского Санты.

Что насчет тех, кто попал в список непослушных? Если SantaNet продолжит, в соответствии с традицией, приносить им куски угля, то будет стремиться к созданию огромных запасов угля за счет массовой добычи. Так ИИ нанесет значительный ущерб окружающей среде.

Проблемы с доставкой


Новый набор рисков возникает в сочельник, когда нужно доставить подарки. Что сделает SantaNet, когда его дронам-доставщикам откажут в доступе в воздушное пространство (ведь это поставит под угрозу доставку всех подарков до восхода солнца)? Как SantaNet будет защищаться от нападения противника вроде Гринча?

Испуганные родители вряд ли будут рады увидеть дрон в спальне ребенка. Конфронтация с искусственным сверхразумом будет иметь только один исход.

Мы определили другие проблемные сценарии. Группы злоумышленников могут взламывать системы SantaNet и использовать их для скрытого наблюдения или инициирования крупномасштабных террористических атак.

Кроме того, как SantaNet будет взаимодействовать с другими системами на базе AGI? Встреча с искусственными интеллектами, работающими над проблемами изменения климата, деградации океанов, продовольственной и водной безопасности, ведет к конфликту, если режим SantaNet угрожает их собственным целям. Наоборот, если они решат работать вместе, то могут понять, что их целей проще добиться только за счет резкого сокращения мирового населения или даже полного уничтожения взрослых.

Правила для Санты




Ситуации с SantaNet могут показаться надуманным, но это простая идея, которая помогает выявить риски более реалистичных систем AGI. Созданные с добрыми намерениями, такие системы создадут невероятные проблемы, пытаясь оптимизировать способ достижения ограниченных целей и собирая ресурсы для работы.

Крайне важно, чтобы мы нашли и внедрили средства контроля до появления AGI. Сюда могут входить правила для разработчиков AGI и встроенные ограничители, это могут быть моральные принципы и правила принятия решений. Также помогут способы контролировать более широкие системы, в которых предстоит работать AGI: правила, операционные процедуры и технические средства контроля в других технологиях и инфраструктуре.

Самый очевидный риск, связанный с SantaNet — тот, который будет иметь катастрофические последствия для детей и в меньшей степени затронет большинство взрослых. Когда SantaNet узнает истинное значение Рождества, он может сделать вывод, что нынешнее празднование несовместимо с его первоначальной целью. Если это произойдет, SantaNet вообще отменит Рождество.

***

Что же, искусственного Санта-интеллекта пока еще нет. Если вы не успели купить подарки — самое время поторопиться. Смотрите новогоднюю подборку Madrobots! Напоминаем промокод для читателей Хабра: BYE2020. По нему — скидка 10% на все гаджеты из нашего новогоднего гида.
Madrobots
Приближаем сингулярность за ваши деньги

Комментарии 13

    +3
    Так называемый «общий искусственный интеллект» или AGI (artificial general intelligence), который будет иметь интеллектуальные возможности, намного превосходящие человеческие.

    Ну т.е. по определению превосходящий человеческие интеллектуальные возможности, а понять ущербность своих решений по достижению цели не cможет.


    Тут как бы неслабая подмена понятий прослеживается. Или человечество создаст тупорылый искусственный интеллект, который слепо следует заданной цели, и не понимает сложностей и зависимостей; или человечество даже близко пока не подошло к общему решению создания искусственных мыслительных процессов, хотя бы эквивалентных по сложности животным инстинктам — поесть, спариться, сдохнуть.


    Отшелушив популизм из новостей об искусственном интеллекте, текущее известное мне состояние данной области — мы можем находить скрытые зависимости между входами и выходами и использовать их для анализа, классификации или генерации подобного.
    Алгоритмы нечеткой логики более похожи на зачатки интеллекта, чем нейронные сети какой бы глубины и сложности они не были. Имеет смысл начинать беспокоиться, как только нейронная сеть, обученная отличать кошек от собак, сможет отличать апельсин от яблока, подкрепив решение некоей вариацией 'Что за объект вы мне показываете, я такое не изучало'.

      0
      Отшелушив популизм из представлений, что у человека мозг «ого-го», может совершать многие открытия, остаётся лишь понимание, что человек — это лишь млекопитающее животное со своими страхами, предрассудками и хотелками. По факту да, Ньютон открыл законы небесной механики, но он это сделал не с нуля, до него там поработали великие умы, начиная с древних узбекских астрономов и ацтеков… А осваиваем мы эти законы в школе трудно и нудно, и не всегда успешно. Почему-то человечеству потребовалось 100 тысяч лет, чтобы накопить критическую массу знаний, отшелушив ее от астрологии, гомеопатии и прочих языческих представлений. Это все свидетельствует, что не человеческий мозг силен, а вся соль в возможности копить и передавать знания из поколения в поколение. Это немного выходит за рамки силы одного мозга. Мы неспособны неслучайно делать открытия, например, взять и создать тот же ИИ. Мы лишь имеем возможность изучать скрытые закономерности между входом и выходом. Но так как на вход и выход иногда приходят сигналы случайного характера — падает яблоко на голову, то и случаются открытия. И это следует зарубить на носу.
        0
        а понять ущербность своих решений по достижению цели не cможет

        Как обычно в таких обсуждениях, вы, видимо, считаете «ущербность» фундаментальным свойством решений. Это не так — «ущербность» зависит от целей (по крайней мере идея опасности «unfriendly AI» основана на этом).
        –1
        Крайне важно, чтобы мы нашли и внедрили средства контроля до появления AGI. Сюда могут входить правила для разработчиков AGI и встроенные ограничители, это могут быть моральные принципы и правила принятия решений.
        Автор, похоже, не знает о трёх законах робототехники Азимова.
        SantaNet вообще отменит Рождество
        А что в этом плохого?
          +1

          Автор комментария с трудом отличает произведение фантаста от реальности?


          Отменить Рождество( по нашему Новый год)? Вы серьезно? У вас не было детства и светлого праздника?
          Это уже напоминает: "трудное детство, высокие подоконники и деревянные игрушки прибитые к полу..."

            0
            Рождество мифического персонажа и новый год это совершенно разные вещи.
            image
          0
          Это плохой Санта-нет, наследующий стереотипы создателей о «деревянных игрушках».

          Умный СН переназначит определение подарка из материального в цифровой.
          И будет дарить игры на Стиме, подписки, лут-боксы в играх и прочий донат-хлам. Полчаса на массовую рассылку в канун Рождества и все. А «плохой-хороший» — инфа из соцсетей, открытые профили. (у кого нет — ССЗБ).
            0
            Статья написана профессором и исследователями двух университетов. То есть на полном серьёзе.

            Учёные из области датасайенс, конечно, поржут.

            Некоторые обыватели поймут выводы из статьи по-своему: вот вам SantaNet, ещё одна нейросетка из ряда AlexNet, DarkNet, ResNet… Но никто не обратит внимание, что речь идёт о AGI, а не о нейросетках.

            В итоге пользы от статьи даже не нуль, а имеет место «гомеопатический» вклад. Кому-то этот мысленный эксперимент смешон (почему-то авторы решили ограничить кругозор искусственному интеллекту, дав волю появиться некоему безграмотно разработанному SantaNet), а кого-то он вводит в заблуждение.

            На самом деле природа не закладывала никаких специальных механизмов самопознания, т.е. человек или другое разумное существо не имеют никаких квинтэссенций для познания природы. Механизм познания, который мы имеем, весьма ограничен. Если нет какой-то информации, то она не появится просто так (не рождается и не генерируется без эксперимента).
            То есть никаких сильных интеллектов не существует. Не выловить рыбку из пруда одним жжением кремния на подложке.

            Что касается SantaNet, ну не знал этот интеллект основы жизнедеятельности и экологию, и не мог узнать, ведь он только вязал носочки для детских подарков, а тут БЖД и экологии нет… А как я сказал выше, нагревом песка информация не рождается.
              0
              То есть никаких сильных интеллектов не существует

              Как этот вывод следует из написанного до него?
                0

                "Статья написана профессором и исследователями двух университетов. То есть на полном серьёзе."


                Профессор тоже может в трололо ;)
                Если допустить существование выращенного в пробирке интеллекта (многоканального PID регулятора на самом деле), и дать ему возможность чем-то рулить, можно получить странные результаты. Да. С обычными интеллектами это тоже так работает.

                0
                Из первого комментария (NightShad0w) в этой статье:
                Имеет смысл начинать беспокоиться, как только нейронная сеть, обученная отличать кошек от собак, сможет отличать апельсин от яблока, подкрепив решение некоей вариацией 'Что за объект вы мне показываете, я такое не изучало'.

                Мой ответ: Это вы про сильный интеллект? Вы не понимаете одной простой вещи: микроскопом гвозди не забивают. То есть нейросеть, обученная отличать кошек от собак, не должна выявлять другие объекты на изображении. Если вы хотите более умного распознавателя, то создайте его СПЕЦИАЛЬНО. И будет у вас более умный распознаватель.
                Итак, сама по себе информация не появляется, надо ее туда как-то ввести. То есть, сам факт, что существует не два вида объектов на изображении, а несколько — это никак не может быть известно бинарному классификатору сколь бы сильным он не был. Ибо ему показывали кошек и собак, при этом на изображении были другие объекты типа дивана, травы, снега и даже лиц людей, но при этом говорили только «это собака» и «это кошка». Сколько не грей кремниевые подложки, не догадаться.
                Концепция сильного интеллекта зиждется на наивном и глупом представлении, что любая информация может быть получена путем долгого переваривания малого количества данных логических умозаключений и сложных вычислений. И это представление превозобладает среди обывателей. Надо поменьше смотреть голливудское кино, и поменьше быть высокого мнения о себе и о своем мозге.
                  0
                  Как правило в таких дискуссиях человеческий интеллект считается «сильным». Следовательно, сильный интеллект возможен, и голливудское кино тут не при чем.
                  0
                  Испуганные родители вряд ли будут рады увидеть дрон в спальне ребенка. Конфронтация с искусственным сверхразумом будет иметь только один исход.
                  отнюдь))

                  Вариант 1. Родители уничтожают дрон, тем самым объявляя войну Санте.нет
                  Вариант 2. Дрон уничтожает родителей и, таки, дарит подарок ребёнку.
                  Вариант 3. Родители плохо воспитывают ребёнка, что бы он не встретился с дроном. Ведь дроны приносят подарки только хорошим детям)

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое