company_banner

Что такое хорошо, что такое плохо: будет ли совесть у искусственного интеллекта

Автор оригинала: Ben Dickson
  • Перевод

Сможет ли искусственный интеллект изучить моральные ценности человеческого общества? Сможет ли принимать решения в ситуациях, когда необходимо взвесить все за и против? Сможет ли развить чувство правильного и неправильного? Короче говоря, будет ли у него совесть?

Эти вопросы могут показаться неуместными, учитывая что современные системы ИИ способны выполнять довольно ограниченное число задач. Но по мере развития науки его возможности все больше расширяются. Мы уже видим, как алгоритмы искусственного интеллекта применяются в областях, где границы «хороших» и «плохих» решений трудно определить, — например, в уголовном правосудии или отборе резюме.

Мы ожидаем, что в будущем ИИ будет заботиться о пожилых людях, обучать наших детей и выполнять множество других задач, требующих человеческой эмпатии и понимания норм морали. Поэтому вопрос осознанности и добросовестности ИИ становится все более острым.

С этим запросом я начал искать книгу (или книги), которая объясняла бы, как у людей формировалась совесть. И дала бы подсказку, какие знания о мозге человека могут помочь в создании совестливого искусственного интеллекта.

Друг предложил мне изучить книгу «Совесть: истоки нравственной интуиции» доктора Патриции Черчленд, нейробиолога, философа и почетного профессора Калифорнийского университета в Сан-Диего. Книга доктора Черчленд и личная встреча с ней дали мне хорошо понять, каковы масштабы и ограничения науки о мозге. «Совесть» показывает, как далеко мы продвинулись к пониманию связи между физиологией и работой мозга и моральными качествами людей. Также книга проливает свет на то, какой путь нам еще предстоит пройти, чтобы по-настоящему понять, как люди принимают моральные решения.

Книга написана доступным языком и понравится тем, кто заинтересован в изучении биологической основы сознания и размышляет на тему «человечности» искусственного интеллекта.

Ниже очень краткое изложение того, что «Совесть» рассказывает о развитии морального выбора в человеческом мозге. Поскольку именно с него списана модель ИИ, больше знаний о совести поможет нам понять, что необходимо искусственному интеллекту для изучения моральных норм.

Система обучения


«Совесть — это индивидуальное суждение человека о том, что является правильным или неправильным. Обычно, но не всегда это суждение отражает мнение группы, к которой человек себя причисляет», — пишет доктор Черчленд в книге.

Но как люди развили способность понимать, что правильно, а что нет? Чтобы ответить на этот вопрос, доктор Черчленд переносит нас в прошлое, когда появились наши первые теплокровные предки.

Птицы и млекопитающие — эндотермы: их тела могут сохранять тепло. В то время как у рептилий, рыб и насекомых, иных холоднокровных организмов тело приспосабливается к температуре окружающей среды.

Большое преимущество животных-эндотермов — способность собирать пищу ночью и выживать в более холодном климате. Но таким существам нужно гораздо больше пищи для выживания. Это привело к ряду эволюционных шагов в мозге теплокровных млекопитающих, которые сделали их умнее. Наиболее заметное изменение — развитие коры головного мозга.

Кора головного мозга может интегрировать сенсорные сигналы и формулировать абстрактное представление о событиях и вещах, относящихся к выживанию и производству потомства. Она учится, обобщает новые знания, вспоминает и продолжает обучение.

Кора позволяет млекопитающим быть более гибкими и не чувствительными к изменениям погоды и ландшафта. В отличие от насекомых и рыб, которые очень зависят от стабильных условий окружающей среды.

Но, опять же, способность к обучению компенсируется тем, что млекопитающие рождаются беспомощными и уязвимыми. В отличие от змей, черепах и насекомых, которые после вылупления способны бегать и полноценно функционировать, млекопитающим нужно время на развитие навыков выживания.

Кроме того, их выживание зависит друг от друга.

Развитие социального поведения



В мозге всех живых существ есть система вознаграждения и наказания, которая гарантирует, что они делают все для выживания и передачи генов. Мозг млекопитающих немного адаптировал эту функцию, чтобы приспособиться к жизни в обществе.

«В ходе эволюции чувства удовольствия и боли, помогающие выживать, были переориентированы, чтобы развить аффилированное поведение, — пишет Черчленд. — Самолюбие распространилось на родственную, но новую сферу — любовь к ближнему».

Основной причиной этого изменения стали потомки. Эволюция вызвала трансформации в мозге млекопитающих, чтобы поставить на первое место заботу о детях. Матери, а у некоторых видов оба родителя, готовы пойти на все, чтобы защитить и прокормить свое потомство. Даже если лично для них в этом нет выгоды.


В книге «Совесть» автор описывает эксперименты по определению биохимических реакций мозга различных млекопитающих, которые поощряют социальное поведение, в том числе заботу о потомстве.

«Социальная жизнь млекопитающих качественно отличается от жизни других социальных животных, у которых отсутствует кора головного мозга, — например, пчел, термитов и рыб, — пишет Черчленд. — Мозг млекопитающих более гибкий, меньше завязан на рефлексах, более восприимчив к изменениям в окружающей среде. Он склонен как к долгосрочным, так и к краткосрочным суждениям. Социальный мозг млекопитающих позволяет им ориентироваться в мире, чтобы понимать, что намерены сделать или ожидают от тебя другие члены общества».

Человеческое социальное поведение




Из млекопитающих у человеческого мозга самая большая и сложная кора. Мозг homo sapiens в три раза больше мозга шимпанзе, с которыми у нас был общий предок 5-8 млн лет назад.

Большой мозг, естественно, делает нас умнее, но также требует более высоких энергозатрат. Так как же мы стали оплачивать этот калорийный счет?

«Умение готовить еду на огне, скорее всего, было решающим поведенческим изменением, которое позволило мозгу гоминина развиться за пределы мозга шимпанзе и довольно быстро продолжить эволюцию», — пишет Черчленд.

Научившись удовлетворять потребности организма в энергии, гоминины стали способны в итоге выполнять более сложные задачи. Например, развивать социальное поведение и строить общественные иерархии.

Получается, наше поведение, включая соблюдение моральных норм и правил, — это результат борьбы за выживание и необходимость получать необходимое число калорий.

«”Тривиальная потребность в энергии” звучит не достаточно глубоко, конечно, но, тем не менее, это реальная причина», — пишет Черчленд в книге «Совесть».

Наша генетическая эволюция благоприятствовала развитию социального поведения. Моральные нормы возникли как ответы на наши потребности. А мы, люди, как и любые другие живые существа, подчиняемся законам эволюции, которые Черчленд описывает как «слепой процесс, который без какой-либо цели возится с уже существующей структурой». Строение нашего мозга — результат бесчисленных экспериментов и корректировок.

«Между частью мозга, отвечающей за заботу о себе, и той, что усваивает социальные нормы, как раз и кроется то, что мы называем совестью, — пишет Черчленд. — В этом смысле наша совесть — это “конструкт” мозга, посредством которого инстинкты самосохранения и других преобразуются в конкретные формы поведения посредством развития, имитации и обучения».

Это очень деликатная и сложная тема, и, несмотря на все достижения науки о мозге, многие загадки человеческого разума и поведения остаются открытыми.

«То, что важную роль в происхождении человеческой морали сыграла простая необходимость в пище, не означает, что порядочность и честность нужно обесценивать. Эти добродетели по-прежнему достойны восхищения и очень важны для нас, независимо от их скромного происхождения. Именно они делают нас людьми», — пишет Черчленд.

Искусственный интеллект и совесть


Источник: Depositphotos

В книге «Совесть» Черчленд обсуждает и другие темы, в том числе роль обучения с подкреплением в развитии социального поведения и способность коры головного мозга человека учиться на собственном опыте, размышлять над контрфактическими суждениями, разрабатывать модели мира, проводить аналогии и другое.

По сути, мы используем ту же систему вознаграждения, которая позволила нашим предкам выжить, и опираемся на особенности нашей многоуровневой коры головного мозга, чтобы принимать сложные моральные решения.

«Моральные нормы возникли в контексте социальной напряженности и закрепились на биологической почве. Изучение социальных практик основывается на системе положительного и отрицательного вознаграждения мозга, а также на его способности решать проблемы», — пишет Черчленд.

После прочтения «Совести» у меня возникло много вопросов о роли этого морального компаса в ИИ. Станет ли совесть неотъемлемой частью искусственного интеллекта? Если к выработке социальных норм и морального поведения нас подтолкнули физические ограничения, необходимы ли подобные требования для ИИ? Играют ли физический опыт и сенсорное восприятие мира решающую роль в развитии интеллекта?

К счастью, после чтения «Совести» у меня была возможность обсудить эти вопросы с доктором Черчленд лично.


Требуется ли физический опыт для развития совести в искусственном интеллекте?


Что очевидно из книги доктора Черчленда (и других исследований биологических нейронных сетей), физический опыт и ограничения играют важную роль в развитии интеллекта и, соответственно, сознания у людей и животных.

Но сегодня, когда мы говорим об искусственном интеллекте, мы имеем в виду программные архитектуры, такие как искусственные нейронные сети. ИИ в актуальной форме — это в основном бестелесные строки кода, которые выполняются на компьютерах и серверах и обрабатывают данные. Будут ли физический опыт и ограничения необходимыми для разработки действительно человеческого ИИ, способного ценить и соблюдать моральные нормы общества?

«Трудно понять, насколько гибкой может быть работа ИИ, учитывая, что анатомия машины сильно отличается от анатомии мозга, — рассказала доктор Черчленд в нашей беседе. — В случае биологических систем решающее значение имеет система вознаграждения, система обучения с подкреплением. Ощущения положительного и отрицательного вознаграждения необходимы для познания окружающей среды. Это может быть не так в случае искусственных нейронных сетей. Мы просто об этом не знаем».

Доктор также отметила, что мы до сих пор не знаем, как думает мозг.

«С этим знанием нам, возможно, не потребовалось бы копировать абсолютно все особенности биологического мозга в искусственном интеллекте, чтобы добиться похожего поведения», — добавила она.

Черчленд напомнила, что изначально сообщество разработчиков ИИ отвергало нейронные сети. Но в итоге признало их довольно эффективными, когда нейронные сети показали свой потенциал в исполнении вычислительных задач. И хотя современные нейронные сети серьезно уступает возможностям человеческого мозга, в будущем нас могут ждать сюрпризы.

«Мы знаем, что млекопитающие с развитой корой головного мозга, системой вознаграждения и биологическими нейронными сетями могут учиться и структурировать информацию без огромного количества данных, — сказала она. — На сегодняшний день искусственная нейронная сеть может быть настолько хороша для распознавания лиц, насколько бесполезна при классификации млекопитающих. Дело может быть просто в числах».

Нужно ли нам воспроизводить тонкие физические различия мозга в ИИ?


Один из выводов, что я сделал после прочтения «Сознания», заключался в том, что люди обычно соглашаются с социальными нормами общества, но время от времени бросают им вызов. И уникальное строение человеческого мозга, и гены, которые мы унаследовали от родителей, и опыт, который мы приобретаем, позволяют нам заниматься тонкой настройкой моральных ориентиров. Люди могут переосмысливать ранее установленные моральные нормы и законы, а также придумывать новые.

Одна из самых растиражированных особенностей искусственного интеллекта — его воспроизводимость. Когда вы создаете алгоритм ИИ, вы можете реплицировать его бесчисленное количество раз и развертывать на любом количестве устройств. Все они будут идентично работать по последним настройкам нейронных сетей. Теперь возникает вопрос: если все ИИ равны, будут ли они статичны в своем социальном поведении и потому лишены той гибкости, которая определяет динамику социального прогресса общества?

«Пока у нас не будет более глубокого понимания того, как работает мозг, на этот вопрос ответить будет трудно, — сказал Черчленд. — Мы знаем, что для того, чтобы получить сложный результат с помощью нейронной сети, в ней не обязательно должны быть такие биологические элементы, как митохондрии, рибосомы, белки и мембраны. Сколько еще в нем не должно быть? Мы не знаем…. Без данных я просто очередной человек, высказывающий мнение. А у меня нет данных, которые бы сказали: вам нужно имитировать такие-то схемы в системе обучения с подкреплением, чтобы создать более человечную нейронную сеть».

Нам еще многое предстоит узнать о человеческой совести. Еще больше о том, применимо ли это к технологиям искусственного интеллекта и как именно.

«Мы не знаем точно, что делает мозг, когда мы учимся сохранять баланс в стойке на голове, — пишет Черчленд в журнале «Conscience». — Еще меньше мы знаем о том, что делает мозг, когда учится находить баланс в социально сложном мире».

Но по мере изучения и раскрытия секретов мозга, будем надеяться, мы будем все более оснащены для создания ИИ, который послужит на благо человечества.

Selectel
ИТ-инфраструктура для бизнеса

Комментарии 29

    0
    А как совесть искусственного интеллекта будет коррелировать с основными законами робототехники-Азимова
      +2

      Законы робототехники будут звучать в рекламе и печататься в руководстве пользователя, а у ИИ в коде будет набор заглушек и штрафных функций

        +2

        Законы робототехники — калька из 10 заповедей, данных роботу свыше. У Азимова они просто есть, без объяснения, как они закодированы.
        А для ИИ, в том смысле, который в этот термин вкладывают, нужна не совесть, а автоматический независимый неотключаемый предохранитель. Что-то вроде этих самых законов, обрабатываемых отдельной виртуальной машиной ;)

          0

          Не, Азимов вроде в нескольких книгах устами своих персонажей говорил, что законы вшиты в позитронные мозги на уровне железа

            +1

            И меня всегда удивляло, что мешало производителям модифицировать эти законы согласно требованиям заказчика? Хотя бы формулировки сделать менее нечёткими? То ли секрет программирования мозгов давно утерян, то ли получен свыше .

              0

              Вот кстати Азимов хоть и говорил про железо, но частенько начинались пляски вокруг семантики, дескать, ИИ начинал трактовать законы по-своему, или вводить свои обобщения (нулевой закон про защиту человечества). Лично мне кажется, что нужны либо в коде штрафные функции либо действительно "предохранители в железе". Ну типа робот прежде чем действовать, моделирует ожидаемый результат, и если там вдруг возникла вероятность навредить человеку, то срабатывает заглушка. Это мы-то мыслим по большей части категориями слов и обтекаемых формулировок, а в машине должна быть абстрактная физическая модель и графическая картинка, там то меньше простора для двоечтений

                +2
                Были у него и такие рассказы.
                Например в рассказе "как потерялся робот" модифицировали первый закон.
                А в цикле «стальные пещеры» прошло слишком много времени, и что бы изменить формулировки законов нужно было заново разрабатывать новый позитронный мозг. Если мне не изменяет память это таки сделали в книге «обнажённое солнце»
          +3

          Как достали эти некомпетентные фразы а-ля "процессы в мозгу отличаются от процессов в машине". То же самое — "самолет летает не так как птица", т.е. вроде в обоих случаях на крыло действует подъемная сила, но… что-то совершенно не так! Что-то не так, черт побери, я чувствую это нутром!

            0
            Как минимум юридически, потому что применение к человеку тех же способов обращения с материалами, которые свободно применяются к машине, нарушает ряд статей Уголовного Кодекса.
            –2
            Offtopic
            Похоже, что статья сильно оскорбляет чувства верующих: «У человека и шимпанзе есть общий предок» vs «Человек сделан по образу и подобию бога». С другой стороны, это генетика оскорбляет чувства верующих. Да и существование других религий тоже.
              0

              Логически эти утверждения не противоречат друг другу.

                0
                То-то и обидно!
                  0

                  За кого? )

              0

              Совесть — это система обратной связи. Бывает внутренняя совесть — между разумной и животной частями, например; и внешняя — между двумя индивидами, например — «Сынок, ты сделал уроки?»

                +1
                То, что важную роль в происхождении человеческой морали сыграла простая необходимость в пище, не означает, что порядочность и честность нужно обесценивать. Эти добродетели по-прежнему достойны восхищения и очень важны для нас, независимо от их скромного происхождения. Именно они делают нас людьми.

                Очень хорошая для воспитательного процесса фраза, но обычно подобные фразы начисто лишают автора надежды увидеть простую и весьма циничную суть.

                Какой-то великой загадки в совести не видно, она просто устроена сложно. Но что в AI, что в обычном интеллекте — это просто настройка алгоритма, отвечающего за мотивацию.

                Как это выглядит в деталях.

                Любой интеллектуальный агент делает примерно следующее: он вычисляет возможные варианты своего будущего и оценивает сколько положительных/отрицательных
                вознаграждений он получит. Дальше, он выбирает то будущее, которое соответствует наибольшему вознаграждению.
                Сложный агент, наподобие живого мозга может проделать то же самое не только для своего будущего, но и для будущего другого сходного с ним (по мотивациям и сложности) интеллекта. Например, человек может смоделировать что предстоит другому человеку, или скажем, собаке, и представить что будет по его мнению чувствовать это существо.
                Дальше — как собственно работает совесть. В какой-то момент в поле зрения интеллекта попадает другой интеллект. При определенных условиях будущее вознаграждение второго интеллекта начинает так же волновать первый, как его волнует его собственное вознаграждение. Естественно, чужое вознаграждение не будет получено самим интеллектом и здесь получается обман системы вознаграждения, который не мог бы быть устойчивым при обучении в течение жизни.
                Устойчивость обучению видимо придают дополнительные механизмы, устройство которых тоже можно предположить. Во-первых, созерцание другого интеллекта, который получил вознаграждение тоже может приводить к получению вознаграждения при наличии определенной сформированной психологической связи (сопереживание). Во-вторых, положительное вознаграждение получается от одобрения окружающими людьми подобного поведения (как это работает — опять можно разбирать). В третьих, возможно, что сам прием уравнивания важности собственного вознаграждения с вознаграждением других интеллектов (проявление альтруизма) тоже вознаграждается сам по себе (а обратное поведение приводит к психологическому дискомфорту — мучает совесть). Как может работать последнее опять можно разбирать.

                Наконец, вся эта очень сложная система удобрена очень простыми и более древними механизмами, вроде резко негативной реакции на детский плач, на крики боли другого существа и прочее. Т.е. вне всякого сопереживания или совести животное пытается устранить причину его собственных страданий — страданий от наблюдения выражения боли и неудовольствия существа, с которым у него по неким биологическим причинам установлена связь.
                  +3

                  «Не надо очеловечивать компьютеры — они этого страсть как не любят» (с)

                    –1
                    Вывод из прочитанного: мы не знаем, как работает мозг, мы не знаем, что такое совесть, мы даже не знаем, сможет ли машина осознавать поступающую к ней информацию, потому что не знаем, что такое сознание, но тем не менее мы почему-то надеемся, что ИИ будет иметь совесть!
                    Вот только даже у людей из плоти и крови часто с совестью нелады, что уж говорить о железке. Совесть неразрывно связана с чувствами и эмоциями, причем именно человеческими. Может быть сначала стоит подумать, а сможем ли мы «запрограммировать» их в бездушном куске кремния? На мой взгляд, нечеловеческий разум, если он возможен, неизбежно будет бесчеловечным.
                      0

                      Все же в машину легче вшить делай так, а не делай не так, а у человеческого мозга и помимо совести есть много других, порой конфликтующих функций, от того все и сложно. Да и совесть сравнительно недавняя фича, да и к тому вроде как в современных реалиях естественный отбор должен действовать на ее вытеснение

                        +1

                        У многопараметрической оптимизации действительно борьба противоречий, не надо тут человеку приписывать опять нечто особенное.

                          0
                          Вот прямо в точку. Зачем мучиться, засовывая совесть в машину, когда можно просто удалить ее из человека. Ведь уже почти справились – мало кого волнуют такие устаревшие и вышедшие из употребления понятия как честь, благородство, стыд, целомудрие, искренность – осталось чуть-чуть.
                            0

                            Вы так говорите, как будто кто-то целенаправленно убирает "вышедшие из употребления понятия". Все-таки здесь работает пресловутый естественный отбор, так как все больше людей живут в достатке, блага все доступней, и нет необходимости бороться за жизнь бок о бок с соплеменниками, а значит, эмпатия становится балластом — более расторопные и беспринципные люди имеют больше шансов на успех, и это не обязательно может быть обусловлено генетически: достаточно, что эта стратегия закрепляется в социуме, и ей обучается все больше особей.
                            Да, скорее всего такое хождение по головам будет приводить к упадку, тогда начнут срабатывать обратные механизмы, а роботы тем и прекрасны, что для них можно выработать идеальную систему законов, которой они будут следовать неукоснительно — другой вопрос, что этот застой может привести в тупик

                              0
                              Вы совершенно логично рассуждаете, если бы не одно «но». Подобный естественный отбор присущ существам неразумным. Если люди согласились с ним и с социал-дарвинизмом, то на кой ляд они назвались человеком разумным, коли разумно поступать не в состоянии? Хватило бы и «человека сообразительного». А неразумное существо без совести не сможет создать машину, поступающую разумно и имеющую совесть.
                                0

                                Не, естественный отбор работает везде: и в социуме, и в идеях-моде-технологиях, и, собственно, у каждого в голове: и на уровне стратегий поведения, и на уровне железа — конкуренция конгломератов нейронов за питательные вещества и укрепление связей. Так, разум лишь одно из эмерджентных проявлений этой борьбы

                                  0
                                  Мы уклонились в сторону. Речь ведь о том, можно ли создать робота с совестью, понимающего, что хорошо, что плохо. Азимов лишь в первых романах соблазнился тремя законами, но позже он понял, что человеческое бытие слишком сложно. Вот иудеи начали с 10 заповедей, потом расширили до 613, потом появился 18-томный талмуд, потом тысячи ребе, его толкующих, как правильно поступать, причем каждый по-своему. Для робота придется сочинять тома правил, наподобие талмуда, и все будет мало.

                                  Кстати, каждое такое правило будет резко снижать производительность его «мозга». Вспомните, какая разница в скорости и точности печати или игры на пианино вслепую и с визуальным сопровождением. Он окажется «тормозом», то и дело зависающим и оценивающим ситуацию.
                        +1
                        В науке принято использовать термин «культура» вместо «совесть». А ведь верно: у папуасов считается правильным/нормальным громко рыгать после еды, у индусов — гадить на улице, у арабов — назначать на должности друзей и родственников. То есть культура — это более широкое понятие нежели какая-то совесть.
                        Что такое культура? Это комплекс сложного поведения в определенных ситуациях, копируемый менее опытными индивидами у более опытных индивидов. При этом более опытные индивиды выступают лидерами (обладают харизмой).

                        Так никто не знает, почему надо снимать шапку, заходя в храм, однако это делают все.

                        То есть культурное явление выступает как быстрое наполнение базовой части интеллекта неопытного индивида. Вы можете выбросить культуру, но тогда неопытные индивиды начнут более активно обучаться через пробное поведение, совершая глупые ошибки. Ибо обучение без учителя не работает, господа, не работает. Обучение должно быть всегда с учителем.

                        Вот как надо понимать все вещи! Не надо философствовать, наука уже все ответы знает.
                          +1
                          Сможет ли искусственный интеллект изучить моральные ценности человеческого общества?… Короче говоря, будет ли у него совесть?


                          Ох уж мне эти философы…

                          На нашем шарике 100500 разных человеческих обществ с разнообразными ценностями, который сплошь и рядом взаимоисключаюшие, в них обязательно находится куча народа которые на эти ценности плевать хотела по умолчанию потому что не иметь совести это путь к успеху, в случае потрясений — эта корочка ценностей моментально слетает и с остальных, и всё это еще и постоянно меняется со временем и вообще бурлит как сортир с дрожжами жарким днем…

                          И тут эти философы начинают рассуждают будет ли совесть у искина…

                          Да тоже не будет, ясен пень.
                            +1
                            На самом деле, ценность только одна: уравнивание своих и чужих интересов при планировании действий. Это чистая математика и тут нет ничего относительного.
                            То что человек при благоприятных условиях на это уравнивание способен, а при менее благоприятных начинает думать только о себе — это стратегия выживания человека. Например, к муравьям или пчелам это не относится. Поэтому создать ИИ с «совестью» вполне себе понятная и реализуемая задача.
                            +1
                            ценность этой статьи нулевая.
                              +1
                              По сути поставлен вопрос, а нужен ли ИИ механизм позволяющий выбирать способ действия не только по прогнозируемой эффективности, но и учитывать вес ненулевой суммы для всего общества или его части.

                              Грубо говоря, Я хочу чтобы МОЯ машина с ИИ, в задаче о вагонетке спасала меня. Машина «с совестливым ИИ» будет иметь модель меня и оценивать мои моральные страдания, смогу ли я жить если машина спасая меня задавит моих детей к примеру.

                              Можно ли будет переключать режимы вождения — агрессивный, нейтральный, добрый, альтруистичный?

                              Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                              Самое читаемое