Как стать автором
Обновить

Предотвращение негативных последствий при разработке систем искусственного интеллекта, превосходящих человеческий разум

Блог компании ParallelsМашинное обучениеРазработка робототехникиРазработка для интернета вещей
Всего голосов 37: ↑33 и ↓4+29
Просмотры18K
Комментарии 51

Комментарии 51

искусственный интелект без самостоятельного целеполагания, по моему мнению, не будет сильным. кроме того, он будет гораздо опаснее самостоятельного, т.к. цели люди задают совсем хреново, судя по ситуации в мире. бог из будущего или смерть!!!

А у человека какие цели сейчас? Я думаю что разум по природе своей сам себе поставит цель максимизировать информацию, а эту цель можно бесконечно выполнять, пока не узнаешь смысла жизни.

У живого цель, выживать приспосабливаясь к новым условиям и с оптимизацией энергопотребления! Информация важна для нас только та которая позволяет выживать и приспосабливаться. Человек развил способность накапливать и анализировать с целью использования для прогнозирования будущего. Нам важно например знать и отличать кошку от собаки и от льва для оценки опасности. Компьютеру в целом на это пофиг как ты его не уговаривай отличать. А на счет смысла жизни то у каждого он свой и поэтому нельзя дать точного ответа на этот вопрос. Мозг это та же база данных о событиях и человека отличает от ИИ восприятие личное. Пока у ИИ не будет персонального отношения ко всему он не может стать личностью и считаться полноценным.

Я думаю что современный человек строит жизнь свою абсолютно не из целей выжить. Даже работа это скорее для машины и айфона чем для еды.
Вам интересно что было до большого взрыва? мне очень. но вот как это помогает выживать непонятно.

Позвольте, выживание ведь не сводится лишь к добыче еды. И если все же свети его к таковому, то стоит понимать, что цепочка действий необходимым для добычи пропитания и обеспечение оным потомства, многократно усложнилась за время эволюции.

Если отбросить необходимые для здоровья психики базовые потребности индивида в виде: самореализации, актуализации, принадлежности и т.д и полностью сосредоточиться лишь на необходимости добывать еду, то информация о которой вы говорили вполне способна помочь. Например: найти определенный круг знакомых по интересам (стаю), закрепиться внутри за счёт кругозора и знаний (навыков/умений), получить желаемое (задействовав контакты, договориться о трудоустройстве). Разумеется пример метафоричен.

В целом моя мысль сводиться к тому, что фактически любая информация (даже бесполезная на первый взгляд) помогает выживать и приспосабливаться, через длинную цепочку следствий.
Очередное исследование «неизвестно чего» (strong AI с неизвестными свойствами) с попыткой пересчитать ангелов на острие иглы. Непонятно, кто и какие выводы должен сделать после прочтения данной статьи.
Жаль, что видимо на это еще и деньги из бюджета расходуют.
Чьего бюджета? MIRI находится в Калифорнии и является коммерческой организацией.
MIRI — некоммерческая организация
Да, Вы правы. Беглый просмотр сайта говорил об обратном, но
MIRI is a 501©(3) nonprofit committed to transparency.

Our tax ID # is 58-2565917.
Разница только в том, что некоммерческая организация должна расходовать _все_ заработанные деньги, а не оставлять часть в форме прибыли владельцам. Anyway, это вообще нерелевантное обсуждение, так как если из какого-то бюджета они деньги и тратят, то только из своего собственного.
Я больше боюсь не того, что могу порезаться ножом, а что другой человек может захотеть напасть на меня с этим ножом.
Сколько статей об ИИ, но не видел обсуждения вот чего: ИИ сопротивляется своему отключению/исправлению, так что могло бы быть, если против него запустить другой ИИ?

Также не встречал про нас:
мы не боимся опасности ИИ и наоборот ждём, чтобы что-нибудь случилось из-за него (но не с нами), не так ли? =)
Также мы ждём, чтобы автопилоты уже массово тестировались, и надеемся, что баги выявятся не у нас.
ИИ сопротивляется своему отключению/исправлению

Он не сопротивляется, просто может воспринять, как помеху в работе. А если в задачу поставлено «избегать помех»… Ну, как сейчас в Boston Dynamics роботов учат не падать или подниматься после падений. Причём более продвинутый, но не правильно обученный ИИ может воспринять как помеху саму реализацию механизма отключения.

так что могло бы быть, если против него запустить другой ИИ?

«Страж-птица».

Или Машина vs Самаритянин из более нового.

— Полагаю, компьютер корабля находится на грани полноценного разума. И он способен обучаться. Но почему-то не осознает себя.
— Да, мы предполагали. Это очень изящно реализовано, Петя. Их компьютеры не становятся разумными, потому что уже считают себя такими.
(с)
Интересно, кто-нибудь из здесь присутствующих станет утверждать, что с вероятностью более 80% через 30 лет в мире не будет запущено множество strong general AI, многократно превосходящих людей по способностям в подавляющем большинстве навыков и имеющих полный доступ к интернету (а то и полностью автономных)?
Думаю, для такого утверждения надо быть чересчур самоуверенным человеком. Ведь никто не собирается сворачивать индустрии чатботов (включая агитационных и рекламных), интернета вещей, робототехники. Выиграют те компании, которые предоставят своим ИИ максимально широкие полномочия.

И станет ли кто-то утверждать, что с вероятностью более 80% в этом случае будет найдено решение, позволяющее гарантировать безопасность всего этого множества запущенных strong general AI? при том, что их количество и качество будут постоянно расти. Кто с вероятностью более 80% уверен, что будет найдено программное решение, позволяющее гарантировать дружелюбность и покорное служение интересам человечества[1] всего этого множества ИИ, своевременную нейтрализацию тех ИИ, которые будут выходить из-под контроля? Кто будет полицейским для ИИ? Тоже ИИ? И кто будет контролировать полицейских ИИ? Если на вершине пирамиды контроля будут люди, можем ли мы быть уверенными, что они справятся с контролем над более способными существами? Утверждать всё это с вероятностью более 80% — на мой взгляд, чересчур самоуверенная затея.

Кто-то сошлётся на киборгизацию людей и сращивание с ИИ. Но вовсе не очевидно, что биологический мозг возможно совместить с электронным, не потеряв большой доли производительности последнего. Ведь биологический мозг медленный — на распространение сигнала от нейрона к нейрону требуется ~10мс, на простейшую операцию распознавания не менее ~100мс, на простую мысль уже ~1с. В этом случае я вижу две альтернативы — либо мы сохраняем главенство биологического мозга над электронным, но сильно теряем в конкурентоспособности относительно сильного ИИ, либо биологический мозг просто не поспевает за электронным, желаемость чего для поглощаемого человека крайне неочевидна.

[1] Интересы человечества — немного размытое понятие. Кто может гарантировать с вероятностью более 80%, что эти ИИ не будут успешно использованы одной частью человечества (военными, преступниками, диктаторами или просто властолюбивыми людьми) целенаправленно с целью массового ограничения основной массы человечества в правах, включая право на жизнь?
Часто в качестве аргумента за неактуальность дискуссий по безопасности ИИ приводят предполагаемую далёкость создания сильного ИИ. Но можем ли мы быть уверенными, что решение этой сложной проблемы возможно найти и внедрить всего лишь за 10 лет? или здесь нужны значительно более серьёзные изменения в мире, для осуществления которых и 30 лет может оказаться достаточно лишь едва и на грани? Вещь-то нешуточная, создание сверхинтеллекта.
В целом я не совсем понимаю, почему вы рассматриваете сильное ИИ как подконтрольное человеку.

Мы изначально поставили цель создания инструмента который эволюционно задуман как превосходящий наш вид (да даже если равный ему, не суть). И я вижу два варианта…

Либо мы ставим ему программные ограничения, что скорее всего никогда не сделает его сильным (очень мощным да, но сознание). Либо ставим тумблер для организации театра безопасности.

В любом случае то о чём вы говорите, это новый вид и самоорганизовываться он будет тоже самостоятельно и если интересы обоих видов не будут пересекаться, ок, если будут, полагаю нам не повезло.
Все довольно понятно
Я являюсь исполнительным директором Научно-исследовательского института искусственного интеллекта (MIRI).
А что такое просто интеллект этот целый институт понимает? Или это уже не важно?
Наш коллектив занимается исследованиями в области создания искусственного интеллекта в долгосрочной перспективе.
Что такое просто интеллект мы не понимаем. Но уже есть коллектив и долгосрочные перспективы.
Мы работаем над созданием продвинутых систем ИИ и исследуем возможные области его применения на практике.
Поскольку что такое просто интеллект мы не понимаем, осталось исследовать возможность применения этого на практике.

А до того как Пеано формализовал арифметику, всем просто везло, когда два плюс два равнялось четырём.


Формализация человеческого интеллекта не нужна для создания систем, решающих все классы задач, доступных человеку, если можно доказать, что система решает более широкий класс задач.

Для понимания что такое интеллект совсем не обязательно его формализовывать. Точно так же и для понимания почему два плюс два равняется четырем совсем не обязательна формализация арифметики. Вы явно существенно преувеличиваете и этим произвольным преувеличением доводите элементарное требование понимания предмета с которым мы заявляем что работаем до абсурда.
Итак я утверждаю, что пока все горе работники над искусственными интеллектом (и горе вселенские институты со своими горе исполнительными директорами и все эти Маски с IBMами) более-мение точно не заявили что они пониманиют над просто интеллектом, они просто нагло обманывают всех, что они работают над искусственным интеллектом. Хотя и не всегда они это делают (зло-)намеренно. И часто обманывают и сами себя.
более-мение точно не заявили что они пониманиют над просто интеллектом

Э? С этим есть какие-то сложности? Я потому и заговорил про формализацию, что считал интуитивное понимание того, что есть интеллект широко распространенным и примерно одинаковым — способность решать все те задачи, что и человек. Задачи, исходя из того же интуитивного понимания, не должны требовать физической активности.


Или вот цитата из Artificial Intelligence: A Modern Approach:


We will see that the concept of rationality can be applied to a wide variety of agents operating in any imaginable environment. Our plan in this book is to use this concept to develop a small set of design principles for building successful agents—systems that can reasonably be called intelligent.

В вольном переводе: "интеллект — способность достигать успеха в широком диапазоне начальных условий".


Думаю с этой книгой в MIRI знакомы.

Думаю с этой книгой в MIRI знакомы.

Ещё бы они не были знакомы — в MIRI Стюарт Рассел (один из авторов книги) числится как research advisor :)
Наше дело — создать ИИ, а что оно там такое пусть сам разбирается :D
НЛО прилетело и опубликовало эту надпись здесь
Интеллектуал, будет решать задачу. А умный даже не возьмётся за эту хернь! ;)

Разум — это сама машина. Интеллект — это его свойство, используя логику, решать проблемы.

Бачок унитаза — интеллектуален, он набирает воду до определенного уровня, но он не разумен.
Беда в том, что нет никакого чёткого общего определения этих понятий.
Каждый либо вкладывает в них какой-то свой смысл на основе субъективного интуитивного понимания, либо пользуется каким-то локальным определением, которое может быть взято из теории, относящейся к кибернетике, психологии, философии, эзотерике, или ещё Бог знает откуда.

Но при этом значительная часть людей в дискуссиях на тему ИИ даже не задумываются о том, что бывают другие определения, помимо того, которым пользуются они.
От этого и происходит значительная часть недопонимания при обсуждении ИИ.
Обсуждая ИИ, намного продуктивней будет отбросить разные плохо определяемые понятия, вроде «сознания» или «свободы воли», и сконцентрироваться на действиях, которые агент может совершать.

Здесь можно почитать подробнее:
As discussed earlier, the concept of “general intelligence” refers to the capacity for efficient cross-domain optimization. Or as Ben Goertzel likes to say, “the ability to achieve complex goals in complex environments using limited computational resources.” Another idea often associated with general intelligence is the ability to transfer learning from one domain to other domains.
Да, я тоже согласен, что нужно сосредоточиться на более предметных и конкретных сторонах вопроса.

К сожалению, не все с этим согласны, и в дискуссиях об ИИ я постоянно натыкаюсь на утверждения, что мы не сможем создать ИИ общего назначения, если не дадим ему свободу воли, или эмоции, или личность, или всё вместе.
Возможно я очень наивен (хотя в этой теме я малограмотен, так что могу сильно ошибаться), но под определение «действия которые агент может совершить» подпадает и скрипт сортировки имён в алфавитном порядке и Геннадий бухгалтер. Только один обладает «сознанием» а другой нет. И как мне кажется расширяя сценарии до бесконечности невозможно будет найти решающий «фактор х».

Как правильно выше заметили, пока понятия воли и сознания не формализованы попытки создать сравнительную таблицу для поиска ключевых отличий — бессмысленны.

Что касается меня, я полагаю как и большинство, в понятия «сознание» вкладывают — понимание того что «я» это «я» (тело, внешность, разум и т.д), «я» как сущность относительно других, принятие решений (обоснование совершенных/совершаемых действий), прогнозирование последствий относительно принятых решений.

Воля — беспрепятственность хода мысли, отсутствие «конечной цели».

В целом я конечно с вам полностью согласен, беспредметные разговоры об абстракциях контрпродуктивны и ведут в никуда, но и предметные как мне кажется невозможны в контексте текущих знаний о природе разума/интеллекта.
Хотя знаете, я сейчас подумал и понял, что моё определение сознания так же верно и для демона в linux… Не думал, что дать формализированное определение хотя бы основ будет так чертовски сложно.

P.S Даже с самостоятельной постановки задач, это все равно будет равнозначно верно как для человека так и для программы. Разве что ключевым будет возможность изменять условия для принятия решений.
Если копнуть глубже в сторону людей, обнаружите что свобода воли — это социального уровня конструкт, обеспечивающий названиями внутреннюю возможность саморегулирования в социуме. Она обеспечивает механизмы социальной регуляции понятием персональной ответственности и возможностью обвинять и наказывать, хвалить и поощрять. Сформулировалась эта группа понятий из-за того, что взаимодействующие детальки социума, люди, вынуждены облекать в слова своё поведение и поведение окружающих «от первого лица», со своей позиции. И всё это поверх безусловного детерминизма.

То есть, вопрос свободы воли можно снять с рассмотрения. Остаётся персональная ответственность, чётко зависящая от наличия возможности воздействия методом кнута и пряника.
А как же насчет самой задачи создания универсального и эффективно действующего интеллектуального агента? Из выступления может создаться впечатление, что эта задача не так уж сложна, у нас уже есть все для ее решения и она будет так или иначе решена.
Насколько я понимаю, пока есть только простейшие агенты, решающие узкие задачи типа освоения видео-игр. Совершенно немыслимо, чтобы такой агент попытался расшириться до уничтожения мешающего ему хозяина.
Может быть после того, как теория, необходимая для создания универсальных агентов, будет построена, то тогда и станет ясно как мотивировать этих агентов требуемым образом?
Задача сложна, но я уверен, что она будет решена. Законы физики, судя по всему, нам не мешают, а конкурентный рынок, имея непреодолимый стимул в виде астрономических прибылей, рано или поздно создаст подобного интеллектуального агента.

Далее, поскольку ставки высоки, а наличие «теории, необходимой для создания универсальных агентов» и близко не гарантирует быстрое и надёжное решение проблемы безопасности, то начинать исследования будет разумно уже сейчас.
Для того чтобы исследовать опасность чего-то нужно представлять как это что-то работает. «Теория, необходимая для создания универсальных агентов» ничего не гарантирует, но это необходимый минимум для начала исследований. Когда этот минимум будет, можно будет за месяц провести исследования глубже, чем за десятилетия предварительных философствований.
С чего вообще известно, что целевая функция типа «больше скрепок» совместима с интеллектом уровня человеческого? Вполне вероятно, что высокий уровень интеллекта разовьется только при наличии множества очень сложных и тонко сбалансированных конкурирующих мотиваций типа тяги к знаниям, одобрения окружающих (или зависти их же) и так далее. Тогда вопрос будет в том, как эти мотивации программировать (сейчас никто понятия не имеет как программировать что-то сложнее тяги к скрепкам) и как смешивать в нужных пропорциях для получения вменяемой особи, не пытающейся разрушить себя и все вокруг как только поумнеет достаточно. А может все обстоит как-то совсем по-другому. Сейчас гадать бесполезно.
Тезис об ортогональности гласит, что можно комбинировать любой уровень интеллекта с любой целью, поскольку интеллект и конечные цели представляют собой ортогональные, то есть независимые, переменные.

Также, отправляю вас на страницу, где в MIRI обосновывают, почему следует заниматься вопросами безопасности ИИ уже сейчас: https://intelligence.org/faq/#early/
Разработка стратегий защиты от ИИ (озвучивание таких компетенций) — не более чем маркетинговые (и политические) манёвры, не стОит принимать их слишком близко к сердцу. Strong AI — это прежде всего «бренд» (как минимум до тех пор, пока он не будет создан), кроме веры в него никакого влияния на действительность он не производит.
Спасибо, интересно. Я не знал об этом тезисе. Хотя, выглядит примерно как попытка Пенроуза доказать на основе теоремы Геделя, что мозг не может быть классическим алгоритмом. Слишком много натяжек. Подобные утверждения доказываются в пределе, а в реальных ситуациях все может быть с точностью до наоборот. Например, может оказаться что эффективность AI находится в обратной зависимости с его управляемостью. Очевидно ведь, что чем сложнее в системе обратные связи, тем труднее ей управлять. Тогда и тезис верен и AI с простыми целевыми функциями никто не создаст.
решающие узкие задачи типа освоения видео-игр

Ого. Освоение одной и той-же системой разных игр с разной механикой уже узкая задача?


"Интеллект — это то, что ИИ ещё не умеет делать", как я понимаю?

Вопрос масштабируемости. Можно написать генетический алгоритм, который за миллион шагов построит сеть для хорошей стратегии игры. Но этот алгоритм не будет иметь памяти, не сможет строить стратегию поведения на будущее и так далее. Т.е. это теория в нужном направлении, но еще далеко от решения проблемы AI.
Читали фанфик про искусственный интеллект и маленьких пони? Там не совсем про мешающего хозяина, но тоже эпично вышло.
Зато в итоге потребности каждого были удовлетворены. Через дружбу и пони.
Ну так в Дружба — это оптимум был описан ИИ скорее «дружественный», чем наоборот :)
Ну да, дружественный. А толку то. О том и статья

Надо бы добавить пояснение по обозначениям: sorta-argmax, как я выяснил поиском, не является общепринятым обозначением. Можно догадаться, что имеется в виду приблизительный argmax, но лучше бы это было сказано явно.

«sorta-softmax» — это, дословно, «ну, тут типа софтмакс»
Мысленный эксперимент о развитии будущего интеллекта через призму «конечной цели» как по мне вообще некорректен…

По сути для верификации сильного ИИ необходимо что-бы он безошибочно проходил аналог или сам тест Тьюринга в 100% случаев из ста. И то, проверка так себе. Как минимум человечеству придется убедиться в наличии у подобного интеллекта самосознания (истинного), что-бы признать его сильным.

И в таком случае мне абсолютно непонятна концепция конечной цели (возможно я неправильно понял статью, поправьте) так как я не представляю сознания без свободы воли, которая невозможна при наличии «конечной цели».

Запрограммировать конечное время, ок, но цель?

На мой взгляд как для статьи о прокачаном machine learning — интересно, но как о сильном ИИ, нет.

Да и в целом я просто не представляю, как подарить сознание без мотивации верной для человека. Даже простенькие нейронные сети работают по упрощённому эволюционному аналогу.
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.