Comments 21
Вопрос "как сделать AGI безопасным" при таком взгляде трансформируется. Это не инженерная задача контроля.
Как раз таки - инженерная. Должна быть неотключаемая самим AGI "красная кнопка". Как графитовые стержни в реакторе АЭС. Или как кнопка контроля машиниста в поезде.
Ибо человечество будет продолжать совершенствовать интеллект 1го рода (= роботы), и пытаться сделать AGI - по ленности своей. Сначала, возможно, для засылки в космос, в океан или опасные производства. Потом - шире и шире в экономике, ближе и ближе к людям, с пересечением интересов. И вот тут может наступить момент, описанный во многих фантастических произведениях (например, Р.Шекли "Страж - птица").
спасибо за замечание, задача действительно сложная и решение должно быть комплексным, без инженерии тут, конечно, человечеству никак не обойтись. Поэтому выразился в статье не слишком обдуманно в этом месте
Автор прав: не инженерная. Если он - созданный интеллект, не сможет обойти придуманную нами «красную кнопку» - это будет не интеллект, а очередная «языковая модель»))))
живой будем называть систему, которая способна выживать
тавтология) Слабое определение, не вводит новых смыслов)
Допустим, система настолько хорошо спроектировалась в процессе эволюции, что ей нет необходимости меняться вслед за средой, по крайней мере, пока сохраняются минимальные факторы поддержания жизни (кислород, едва, вода...). При этом она действует, обменивается информацией, размножается... Эта система, по вашему определению, неживая. Так?
И в обратную сторону: самоконфигурирующийся под окружающую среду механизм становится живым, далее если всего лишь выполняет заданный алгоритм, правильно?
Как она будет поддерживать жизнь, и при этом не изменяться? Тут, наверно нужно было оговорить эволюцию, так как не ясно является ли вид живым если он не эволюционирует, и вообще возможет ли открытый мир без эволюции и соперничества. Если этот вид вообще ни как не приспосабливается, то он вымрет при наличии конкурентов, иначе может быть просто стагнирует.
Жизнь - это совокупность свойств которые позволяют выживать, это и размножение, и адаптация, и интеллект. То есть если они могут поддерживать метаболизм, размножаются, то уже обладают некоторыми свойствами живых существ, может не всеми, но обладают, тут тоже градация может быть в оценке.
И механизм который ведет себя как живое существо, похоже, тоже будет являться живым, просто по определению выше. Хотя это лично мое дилетантское мнение, и определение. Его ввел для удобства дальнейшего рассуждения.
А почему ему обязательно меняться? Вот есть, скажем, тихоходки, выживающие в широчайшем спектре условий. Есть примитивные организмы, не менявшиеся тысячелетиями. Пожалуйста, жизнь? Жизнь.
Но в том и дело, что механизм едва ли является живым при этом, здесь в вашем определении прокол. Слишком широкие и размытые границы, слишком неявные признаки, требующие дополнительного определения. Ведь вести себя как живое существо по определенным параметрам еще не значит быть живым существом.
"Это не инженерная задача контроля. Это вопрос о том, как сосуществовать с новой живой системой, интересы которой могут не совпадать с нашими.
Ближе к дипломатии или воспитанию, чем к программированию."
единственное, с чем соглашусь.
Странное определение жизни: люди последние несколько тысяч лет предпочитают окружающую среду менять, а не шерстью обрастать.
Странное определение интеллекта: всякие камикадзе, безнадёжные больные, осознающие неизбежность смерти(а мы все больны старостью), верующие, считающие себя бессмертными - совершенно не обязательно интеллект означает мысли о выживании. Хотя мысли(любые), означают интеллект, естественно).
Ограничение, с которым придётся жить
Если эти рассуждения верны, человечество оказывается перед выбором:
Мощные инструменты (интеллект первого порядка) — безопасные, полностью контролируемые, но требующие постоянного человеческого целеполагания и неспособные решать по-настоящему открытые задачи.
Автономные агенты (интеллект высших порядков) — способные к сложным задачам в непредсказуемой среде, но неизбежно приобретающие свойства живых систем, включая собственные цели.
Гонка за AGI тогда — это не создание совершенного инструмента. Это создание новой формы жизни.
Неплохая аналитика, спасибо за публикацию. Биологические и социальные системы композитные, построенные на разных уровнях на сотрудничестве, более тесном симбиозе, иногда даже на паразитировании. Началось это еще с эволюции на клеточном уровне, когда предок эукариотической клетки встроил в себя другую, которая стала выполнять функцию ее энергетической станции, органелла, которая известна сейчас, как митохондрия. Это относится и к психике, которая является интегральной средой состоящей из многих относительно автономных функций разного уровня, включая мыслительных, о работе некоторых из которых мы не отдаем отчета. В когнитивной психологии имеются два подхода к познанию (и психике вообще) воплощенный и расширенного разума. Первый позволяет расширять познание за счет тела, внешней среды, ситуации, расширяя ограниченные возможности, например, исполнительных органов различными индустриальными технологиями - камнями и палками, затем орудиями труда, инструментами, машинами, и тд, а органы чувств различными приборами - линейками и весами, затем микроскопами и телескопами, детекторами частиц, и тп. Второй подход позволяет расширять ограниченные интеллектуальные возможности различными интеллектуальными технологиями - засечками на палках, затем письменностью, различными коммуникациями, компьютерами и интернетом, и тп. ИИ одна из таких наиболее продвинутых и радикальных технологий. Опасности связанные с ней имеются, но они в значительной степени преувеличены, и связаны скорее всего, с распространенным заблуждением о неком особом, собственном пути развития ИИ, отличным от интеллекта самого человека. Чтобы не повторять аргументы против такой точки зрения см. коменты с пояснениями - 1, 2.
В таком когнитивном понимании можно считать, что со времен ИИ станет одной из симбиотический способностей человека, расширяющей его интеллектуальные возможности. Что может произойти в отдаленном будущем с человеком, как отдельным видом? Есть много путей. Нейроинтерфейсы могут дополнить или заменить органы чувств человека, он будет воспринимать реальность на совершенно ином уровне, чем мы сейчас, технология ВР создаст виртуальные миры в которых будут действовать его аватары, а тело и исполнительные органы могут быть заменены или дополнены различными кибернетическими устройствами, возможно связанными с генной инженерией. Вариантов множество. Могут реализоваться не один. Возможно сам человеческий разум со временем станет той самой органеллой на подобии митохондрии в этом новом виде жизни, которая будет блюсти моральные устои человечества, хранить совокупную память поколений и кодекс разумности, позволивших успешного существовать в вечно меняющихся, часто непредсказуемых проявлениях реальности.
Очевидно, это должна быть какая-то мера эффективности.
Нет, не очевидно. При чем тут эффективность?
интеллект можно определить как эффективность изменения среды и себя как части этой среды для достижения целей
Человек смотрит обучающее видео на YouTube, анализирует информацию, получает новые знания. Где тут изменение среды?
Среда включает саму систему (существо), и его мозг или что там у него будет
По поводу эффективность я бы по другому вопрос задал, эффективность чего? Тут можно придумать бесконечное множество метрик. Но в целом что-то вроде если человек А потратил меньшее кол-во ресурсов выполним цель, чем человек Б, то человека А считаем более эффективным (интеллектуальным). Но тут опять же как считать ресурсы, если он при этом попортил экологию, то считать ли его интеллектуальным?
Это не инженерная задача контроля.
Если ИИ делают инженеры, то именно инженерная. Или вы для управления ИИ хотите привлечь волшебников?
Это вопрос о том, как сосуществовать с новой живой системой, интересы которой могут не совпадать с нашими.
Тут нет никакого вопроса. Эта система основана на компьютерных технологиях и полностью контролируется человеком, записав нужные значения в оперативную память ей можно задать любые интересы.
"Если система не изменяется в ответ на среду — она не живёт." тут слишком мутно я выразился, так как не ясно что значит изменение, если вообще нет статических сред, то все меняется, соов-но по этому критерию проходит. Скорее всего все выводы дальше уже некорректны из-за этого, но статью не хочу править, писал для себя больше.
Возможно, лучше делать акцент на предсказуемость среды, и способность ее корректно предсказывать, для достижения целей.
Ну название интересное...
Теперь по определениям. Живое - ... первым живым обьектом можно назвать клетку и главное ее свойтсво - Обособление от Внешней Среды. Т.е. устранение прямой зависимости Состояния от Внешний Условий. Мембрана дала возможность контролируемо взаимодействовать с внешней средой. В этот момент и появляется понятие Живого. И да, это все последующие организмы.
Все они вынуждены были заниматься Контролем взаимодействия с внешней средой. Для чего? Для Выживания. Т.е. пока обьект был частью Среды - конролировать внешние воздействия он в общем случае не мог. А когда отгородился - смог. Но...
Тут же возникла проблема - нужно было обрабатывать информацию о состоянии и изменени внешней среды и других взаимодействий с ней. Что есть что пить, куда бежать и от кого спасаться. Живя по сути за стеной ( мембраной), нужны были входы выходы, вводы выводы и ... любопытство.
Что такое любопытсво? Это попытка понять как и что работает снаружи - чтоб это Снаружи вас не убило. А для этого надо быдо все время уточнять и понимать Что, Как и почему происходит Снаружи. А это потребовало в процессе - усложнения внешних сигналов, все более точной Картины Мира.
Так что такое Интеллект? Это Рефлекс, черный ящик, который обрабатывает все Входы и формирует Реакцию. Просто Интеллект это такой сложный рефлект со встроенной картиной мира внутри, виртуальной конечно. Что позволяет крутить модели не соприкасаясь с внешним миром.
И выживать.
Эволюция, как процесс изменения этой картины мира, ну и конечнл усложнение ее. До известного нам - Человеческого Интеллекта.
Т.е. любое живое обладает интелеллектом просто разной степени сложности.
Это все упрощенно конечно.
И да, вопрос интересный, может ли быть ИИ - у искуственно организма, у которого никогжа не было проблемы Выживания. В том числе в поколениях биологического развития всего живого.
Но в защиту ИИ, можно привести пример с самолетом.
Человек не млг и умел летать. Как птица. Но покрутив модель полета потом бернули и прочее он придумал как обойтись без крыльев. И летает. По сути используя ту же физику - но... самолет практически совсем не похож на птиц. А уж ракета точно не использует воздух. Огрубляя конечно ))
И вот человек может летать. И даже универсальнее чем птицы. Например в космосе.
Из чего можно предположить что ИИ - сам по себе - может быть и не похож на НИ. И точно не должен. ))
Возможен ли неживой интеллект?