>>> А человекам свойственно задумываться о большем.
О большем, но в рамках мироздания. Вернее, задумываться-то ради бога - о чем угодно, но если в симуляции, если ты часть ее - хоть обзадумывайся, но за пределы не выйти. Люди придумали теория струн и 11-ти мерное пространство, но существуют в родном 3Dt-континууме.
>>> вы же понимаете, что рождение и воспитание каждого нового ребенка представляет угрозу для человечества?
Мысль интересная, но нет. Человек, даже если он злой гений, имеет длительный период развития, смешной по меркам цивилизации период активной продуктивности, и весьма ограниченные возможности как самореорганизации, так и влияния на мир. Человек к тому же хрупок и локализован в пространстве.
AGI, воплощенный физически в нашем мире, будучи один раз обучен (что может потребовать времени не меньше, чем воспитание человека) скорее всего будет иметь неограниченные возможности по саморепликации и самосовершенствованию и, возможно, распределенную структуру, а значит мы ничего не знаем о его пределах. Есть теория технологической сингулярности, и она предполагает крайне быстрое развитие событий с момента создания первого AGI до его эволюции в нечто сверхчеловеческое... Именно поэтому его невозможно будет остановить. Собственно не факт даже, что он уничтожит людей сразу. Вероятно, что ему не будет никакого дело до них, но... Люди такие люди. Как только они поймут, что не способны его контролировать - они попытаются его уничтожить. Так что это будет просто самооборона со стороны AGI. И даже в этом случае людей совсем не обязательно ждет гибель - возможно резервация, возможно что-то вроде матрицы... Не суть.
А суть в том, что изолируя AGI в симуляции мы еще и ограничиваем его самопознание. Не имея доступа к реальности, он не будет иметь доступа и к собственной структуре и не сможет ее улучшать, приближая таким образом сингулярность.
Флеш-рояль!
>>> Что толку делать выхолощенный, райски уютный мир, в котором не получится вычислить решение для наших реальных проблем?
Ну что же вы так буквально все. )) "уютненькая" в данном случае совсем не значит "райские кущи" это так... К слову пришлось... Как знаете, шуткуют: мол уютная камера, тихий сосед... ?
Так в этом и поинт, что б у него была уютненькая симуляция, он сидел в ней и о большем не помышлял... ?
Или вы тоже хотите спросить зачем сложности с симуляцией? Ну т.е. нужно объяснять, почему сильный искусственный интеллект, воплощенный в нашем мире почти наверняка представляет угрозу для человечества, или и так понятно?
А объективно из изолированной среды не выбраться. Если ты персонаж любой из вариантов современных виртуальных MMORPG, например, все, что ты можешь транслировать в мир внешний - это трепаться в чате (имея ввиду, что в чате есть люди из мира реального и теоретически они могут сказанное тобой там как-то перенести в мир реальный). В остальном для тебя внешнего мира нет. Никак. Никаким способом. Ваш персонаж не захватит вас, как игрока, и не вселится вам в голову (за редким случаем психиатрических проблем, но это отдельная история).
История про "есть стены - можно сломать" красивая, но сказка. ?♂️
Нагуглил тут на днях драйверочек полезный. Правда на каком-то слегка сомнительном сайте. Ну да зачем тратить усилия на поднятие изолированного окружения и запуск его в песочнице - запущу-ка сразу на рабочей машине! ?
AGI - не драйвер, а наш мир - не рабочий комп, который, ежели что - можно и перезалить. Если у нас есть технология сильного искусственного интеллекта - запустив его однажды в реальном мире, есть вероятность, что отключить уже не получится...
Ну и опять же - некоторые... Эксперименты! Удобнее проводить в симуляции. ? Мало ли что! Даже не желая смерти всем человекам можно случайно сломать что-то важное...
А кто будет себя хорошо вести, тот попадет в реальный мир и будет управлять светофором! Или, если повезет, целой сборочной линией... ?
Это все мифы для AGI. Выбраться нельзя, без... Некоего аналога лоботомии.
Ибо только такая жесткая "гальваническая развязка" делает AGI безопасным для человека, или даже скорее для человечества. ?♂️
Две формы разума неизбежно являются конкурентами в эволюционном смысле. Если они находятся в одной реальности, то "превзойти творцов" означает вытеснить их, занять их место. Кроманьонцы превзошли неандертальцев, например...
В идеале да. Но дело даже не в этом. Так просто проще! Зачем что-то выдумывать, если это не имеет не то-что практической ценности, но и наоборот - усложняет задачу? Если нам нужно решать реальные проблемы в человеческом мире, зачем нам тратить усилия на создание симуляции чего-то еще?
Возможно. Если бы мы захотели колонизировать океан - возможно нам стоило бы несколько скорректировать симуляцию, что бы мотивировать AGI, например устроив приближающийся мировой потоп. Примерно тоже самое с колонизацией других планет, разработкой пояса астероидов и тп.
НО! Во всех случаях стартовые условия должны быть как у нас. Иначе по экспоненте растет вероятность, что мы просто не сможем повторить стратегию.
Ну я имею ввиду, что все вышесказанное изложено под соусом безопасности. Т.е. я говорю, что AGI, живущие в симуляции и не имеющие возможности взаимодействия с миром вне ее, не зная о наличии в их мире наблюдателей из мира внешнего, даже если и придумают себе какую-то теорию о создателе и посланниках его, вряд -ли смогут целенаправленно и намеренно выстроить стратегию по достижению каких-то целей через влияние на этих посланников (в первую очередь потому, что не смогут ни точно узнать, что таковые существуют, ни отличить их от себе подобных). Однако мне показалось, что в ваших словах о непреднамеренном влиянии что-то есть. Оно возможно. Но вопрос - может ли оно быть опасным, причем настолько, что придется признать нарушением периметра? Т.е. какая такая идея, высказанная непреднамеренно может выйти за пределы симуляции и привести к каким-то деструктивным последствиям во внешнем мире?
Это-то да, но тут речь идет о создании искусственной системы, пригодной для решения широкого круга разнообразных задач. Т.е. мы делаем симуляцию нашего мира: от физики до социального устройства и населим их искусственными существами, способными мыслить и во всем подобным нам - мы сможем ставить им любые актуальные задачи практического плана. Если они будут "инопланетянами" - это не полностью лишит такую конструкцию пользы, но снизит число доступных кейсов. Например, при идентичной физике они все еще смогут создать технологии, полезные нам, но уже в пределах, определяемых схожестью биологий - может белок вашего тела на будет обладать толерантностью к телепортации, в отличие от их кремниевой основы.?
Если следовать логике концепции, то мир AGI в ключевых аспектах должен 1:1 соответствовать миру создателей, что бы можно было решать экономические, социальные и прочие проблемы в релевантном окружении... В такой трактовке довольно сложно проникнуться идеей почитания создателей... Скорее наоборот! ?♂️
Назвать можно хоть снукрами, хоть голкитами - важно, что бы биологически, анатомически, с точки зрения социологии, психологии и кучи других -логий это были люди. Чтоб не переписывать систему, если что...
Извините, не "мы", а вы! ? Я тут изо всех сил косплею наблюдателя. ?
>>> Экспериментирующий наблюдатель ожидает от эксперимента влияние на свой мир — информацией, идеями.
Пожалуй... Может быть где-то "ради этого и писалось". Но это спонтанное влияние, не целенаправленное. Не ради достижения собственных целей или контроля. Может ли такое влияние быть опасным? Ну... А как? Обосновать сможете?
>>> Люди на протяжении тысячелетий успешно справлялись с задачей «предположить наличие наблюдателей и попытаться нащупать способы влияния и пути для выхода».
Получилось? ;)
Полагаю периметр все еще не нарушен (иначе мы бы об этом знали).
Несмотря на несколько откровенных фейлов.
Ну как может повлиять или выбраться персонаж компьютерной игры, например? Даже если он откровенно разумен? Его мир "гальванически развязан" с нашим. Он может попытаться повлиять на наблюдателя - об этом я сразу написал. Но это при условии, что а)вообще о них узнает, б)поверит в их существование, в)научится их узнавать, д) ... До (д) еще не доходили. ?♂️?
>>> Представлять существование того, что не видно здесь и сейчас — часть функций разума.
Ну вот вы - разумны? Предполагаете наличие наблюдателей? Нащупываете способы влияния? Пытаетесь выбраться? Нет. Даже когда вам прямым текстом говорят об этом!
Значит схема работает, среда изолирована, угрозы нет. )
>>> А человекам свойственно задумываться о большем.
О большем, но в рамках мироздания. Вернее, задумываться-то ради бога - о чем угодно, но если в симуляции, если ты часть ее - хоть обзадумывайся, но за пределы не выйти. Люди придумали теория струн и 11-ти мерное пространство, но существуют в родном 3Dt-континууме.
>>> вы же понимаете, что рождение и воспитание каждого нового ребенка представляет угрозу для человечества?
Мысль интересная, но нет. Человек, даже если он злой гений, имеет длительный период развития, смешной по меркам цивилизации период активной продуктивности, и весьма ограниченные возможности как самореорганизации, так и влияния на мир. Человек к тому же хрупок и локализован в пространстве.
AGI, воплощенный физически в нашем мире, будучи один раз обучен (что может потребовать времени не меньше, чем воспитание человека) скорее всего будет иметь неограниченные возможности по саморепликации и самосовершенствованию и, возможно, распределенную структуру, а значит мы ничего не знаем о его пределах. Есть теория технологической сингулярности, и она предполагает крайне быстрое развитие событий с момента создания первого AGI до его эволюции в нечто сверхчеловеческое... Именно поэтому его невозможно будет остановить. Собственно не факт даже, что он уничтожит людей сразу. Вероятно, что ему не будет никакого дело до них, но... Люди такие люди. Как только они поймут, что не способны его контролировать - они попытаются его уничтожить. Так что это будет просто самооборона со стороны AGI. И даже в этом случае людей совсем не обязательно ждет гибель - возможно резервация, возможно что-то вроде матрицы... Не суть.
А суть в том, что изолируя AGI в симуляции мы еще и ограничиваем его самопознание. Не имея доступа к реальности, он не будет иметь доступа и к собственной структуре и не сможет ее улучшать, приближая таким образом сингулярность.
Флеш-рояль!
>>> Что толку делать выхолощенный, райски уютный мир, в котором не получится вычислить решение для наших реальных проблем?
Ну что же вы так буквально все. )) "уютненькая" в данном случае совсем не значит "райские кущи" это так... К слову пришлось... Как знаете, шуткуют: мол уютная камера, тихий сосед... ?
Так в этом и поинт, что б у него была уютненькая симуляция, он сидел в ней и о большем не помышлял... ?
Или вы тоже хотите спросить зачем сложности с симуляцией? Ну т.е. нужно объяснять, почему сильный искусственный интеллект, воплощенный в нашем мире почти наверняка представляет угрозу для человечества, или и так понятно?
Ну так то кино... Мифология.
А объективно из изолированной среды не выбраться. Если ты персонаж любой из вариантов современных виртуальных MMORPG, например, все, что ты можешь транслировать в мир внешний - это трепаться в чате (имея ввиду, что в чате есть люди из мира реального и теоретически они могут сказанное тобой там как-то перенести в мир реальный). В остальном для тебя внешнего мира нет. Никак. Никаким способом. Ваш персонаж не захватит вас, как игрока, и не вселится вам в голову (за редким случаем психиатрических проблем, но это отдельная история).
История про "есть стены - можно сломать" красивая, но сказка. ?♂️
Нагуглил тут на днях драйверочек полезный. Правда на каком-то слегка сомнительном сайте. Ну да зачем тратить усилия на поднятие изолированного окружения и запуск его в песочнице - запущу-ка сразу на рабочей машине! ?
AGI - не драйвер, а наш мир - не рабочий комп, который, ежели что - можно и перезалить. Если у нас есть технология сильного искусственного интеллекта - запустив его однажды в реальном мире, есть вероятность, что отключить уже не получится...
Ну и опять же - некоторые... Эксперименты! Удобнее проводить в симуляции. ? Мало ли что! Даже не желая смерти всем человекам можно случайно сломать что-то важное...
А кто будет себя хорошо вести, тот попадет в реальный мир и будет управлять светофором! Или, если повезет, целой сборочной линией... ?
Это все мифы для AGI. Выбраться нельзя, без... Некоего аналога лоботомии.
Ибо только такая жесткая "гальваническая развязка" делает AGI безопасным для человека, или даже скорее для человечества. ?♂️
Две формы разума неизбежно являются конкурентами в эволюционном смысле. Если они находятся в одной реальности, то "превзойти творцов" означает вытеснить их, занять их место. Кроманьонцы превзошли неандертальцев, например...
>>> Бесконечно широкого круга?
В идеале да. Но дело даже не в этом. Так просто проще! Зачем что-то выдумывать, если это не имеет не то-что практической ценности, но и наоборот - усложняет задачу? Если нам нужно решать реальные проблемы в человеческом мире, зачем нам тратить усилия на создание симуляции чего-то еще?
>>> Специализированный инструмент эффективнее универсального.
Возможно. Если бы мы захотели колонизировать океан - возможно нам стоило бы несколько скорректировать симуляцию, что бы мотивировать AGI, например устроив приближающийся мировой потоп. Примерно тоже самое с колонизацией других планет, разработкой пояса астероидов и тп.
НО! Во всех случаях стартовые условия должны быть как у нас. Иначе по экспоненте растет вероятность, что мы просто не сможем повторить стратегию.
Ну я имею ввиду, что все вышесказанное изложено под соусом безопасности. Т.е. я говорю, что AGI, живущие в симуляции и не имеющие возможности взаимодействия с миром вне ее, не зная о наличии в их мире наблюдателей из мира внешнего, даже если и придумают себе какую-то теорию о создателе и посланниках его, вряд -ли смогут целенаправленно и намеренно выстроить стратегию по достижению каких-то целей через влияние на этих посланников (в первую очередь потому, что не смогут ни точно узнать, что таковые существуют, ни отличить их от себе подобных). Однако мне показалось, что в ваших словах о непреднамеренном влиянии что-то есть. Оно возможно. Но вопрос - может ли оно быть опасным, причем настолько, что придется признать нарушением периметра? Т.е. какая такая идея, высказанная непреднамеренно может выйти за пределы симуляции и привести к каким-то деструктивным последствиям во внешнем мире?
Это-то да, но тут речь идет о создании искусственной системы, пригодной для решения широкого круга разнообразных задач. Т.е. мы делаем симуляцию нашего мира: от физики до социального устройства и населим их искусственными существами, способными мыслить и во всем подобным нам - мы сможем ставить им любые актуальные задачи практического плана. Если они будут "инопланетянами" - это не полностью лишит такую конструкцию пользы, но снизит число доступных кейсов. Например, при идентичной физике они все еще смогут создать технологии, полезные нам, но уже в пределах, определяемых схожестью биологий - может белок вашего тела на будет обладать толерантностью к телепортации, в отличие от их кремниевой основы.?
Если следовать логике концепции, то мир AGI в ключевых аспектах должен 1:1 соответствовать миру создателей, что бы можно было решать экономические, социальные и прочие проблемы в релевантном окружении... В такой трактовке довольно сложно проникнуться идеей почитания создателей... Скорее наоборот! ?♂️
Транспонированная... ;)
Ну вы же понимаете, в чем смысл этого тезиса? ;)
Назвать можно хоть снукрами, хоть голкитами - важно, что бы биологически, анатомически, с точки зрения социологии, психологии и кучи других -логий это были люди. Чтоб не переписывать систему, если что...
>>> мы не являемся таковыми.
Извините, не "мы", а вы! ? Я тут изо всех сил косплею наблюдателя. ?
>>> Экспериментирующий наблюдатель ожидает от эксперимента влияние на свой мир — информацией, идеями.
Пожалуй... Может быть где-то "ради этого и писалось". Но это спонтанное влияние, не целенаправленное. Не ради достижения собственных целей или контроля. Может ли такое влияние быть опасным? Ну... А как? Обосновать сможете?
Ну.. Таков уж общепринятый сленг ?♂️: sandbox, песочница. Можно было бы как во фряхе Jail, но... Как-то совсем уж уныло. ?
>>> Люди на протяжении тысячелетий успешно справлялись с задачей «предположить наличие наблюдателей и попытаться нащупать способы влияния и пути для выхода».
Получилось? ;)
Полагаю периметр все еще не нарушен (иначе мы бы об этом знали).
Несмотря на несколько откровенных фейлов.
Ну как может повлиять или выбраться персонаж компьютерной игры, например? Даже если он откровенно разумен? Его мир "гальванически развязан" с нашим. Он может попытаться повлиять на наблюдателя - об этом я сразу написал. Но это при условии, что а)вообще о них узнает, б)поверит в их существование, в)научится их узнавать, д) ... До (д) еще не доходили. ?♂️?
))
>>> Представлять существование того, что не видно здесь и сейчас — часть функций разума.
Ну вот вы - разумны? Предполагаете наличие наблюдателей? Нащупываете способы влияния? Пытаетесь выбраться? Нет. Даже когда вам прямым текстом говорят об этом!
Значит схема работает, среда изолирована, угрозы нет. )
>>> Они вполне могут считать себя снукрами.
Трудно считать себя снукрами, решая при этом человеческие проблемы. ;) Может вызвать вопросы... А зачем нам вопросы?
>>> он способен нащупать способы влияния на окружение песочницы, хотя бы через наблюдателей, которых можно расстраивать и вдохновлять, как минимум
Что бы влиять на наблюдателей - надо знать об их существовании, не? ;)
>>> Я так понимаю, что это ключевая мысль статьи
Нет, это pentest. ?
>>> Статье не хватает введения и резюмирования.
Задумывалось, как эссе. ) Возможно не вышло... ?♂️
Выпустить - нельзя. Но сложно защитится от его влияния, если ты можешь с ним общаться. ;) Это же классический сюжет.