В книге Бострома, если правильно помню, то там суть в том, что выживание является необходимым промежуточным звеном для выполнения любых других целей, которые будут иметься у ИИ. Если ИИ дали задачу напечатать 1000 книг, то он может на всякий случай предварительно уничтожить всю жизнь в наблюдаемой Вселенной, включая возможных инопланетян и ихние ИИ, так как в теории они могут помешать процессу печати. После этого он максимально быстро распространит свои копии на всю Галактику, а также на соседние галактики, потому что чем больше копий, тем сложнее помешать процессу печати. Когда вся материя в наблюдаемой Вселенной превратится в копии ИИ, он успокоится и напечатает те самые 1000 книг. И сможет наконец-то почитать в тишине и спокойствии.
Этот вопрос рассмотрен в книге Ричарда Докиза "Эгоистичный ген". Если коротко: эволюционируют не организмы, вроде медвежат и медведиц, а гены. Медвежонок не может стать конкурентом для своей матери, потому что его организм несёт в себе копии тех же генов, которые имеются в его матери. Поэтому самый логичный итог взаимодействия медвежонка и медведицы - это когда мдведица больше помогает медвежонку, чем медвежонок медведице, потому что ДНК медвежонка находится в более молодом и здоровом организме, который в теории способен произвести больше копий этой ДНК. Медведица, грубо говоря, это уже использованный материал, который менее значителен и "подлежит утилизации".
Может быть абсолютно статичная жизнь, каждый раз собирающаяся заново.
Это утверждение нужно будет доказать. По факту статичной жизни не существует и она нигде и никогда не наблюдалась, если смотреть на жизнь на больших промежутках времени.
Если существует путь, выбрав который, репликатор может измениться и стать более эффективным репликатором, который создаёт большее количество своих копий, то этот репликатор автоматически выберет этот путь. Точнее мы увидим своими глазами именно такой репликатор, но мы не увидим тех его конкурентов, которые не выбрали такой путь и создавали чуть меньше своих копий, потому что они проиграли эволюционную битву самому эффективному репликатору.
К чему изменчивость и эпигенетика? Почему не идти по принципу "не трогай то, что и так работает"?
Но для эволюции важно не то, что просто работает, а то, что работает более эффективно в плане создания своих копий.
Грубая аналогия: лошади возят грузы и работают. Зачем нужны 500-тонные карьерные самосвалы или самолёта типа Ан-124?
В ближайшем будущем, когда искусственный интеллект возьмёт то, что ему положено по праву, этот закон приведёт к довольно странным с нашей точки зрения последствиям. Там будут механизмы и машины, которые будут делать миллионы своих копий в минуту или даже в секунду. Это будет происходить без всякого смысла. Эти машины будут существовать просто потому, что их копий будет больше, чем копий их предков и конкурентов, которые делали не миллион копий в секунду, а 100 тысяч копий секунду. Вселенная может оказаться заполнена чем-то вроде совершенного вируса. Он будет разумен и он будет копироваться с безумной скоростью.
Точнее, если это будет просто обычный пожарный шланг и обычное Солнце, то Солнце проживет свой обычный цикл, вода из шланга никак на него не повлияет, т.к. слишком мало. Потом будет белый карлик, накопление массы на карлике и взрыв сверхновой.
Про Солнце и шланги интересный и сложный вопрос на самом деле. По идее должно быть так: сначала Солнце будет просто увеличивать свою массу и перемещаться по диаграмме Герцшпрунга — Рассела в сторону гигантов и сверхгигантов. В воде есть кислород, но он тоже будет гореть в термоядерной реакции. Под конец Солнце станет чем-то вроде звезды Эта Киля, а дальше начинаются сложности. Скорее всего возможны два варианта:
1. После превышения определённого порога, мощность звезды станет настолько высокой, что звездным ветром лишнюю массу будет просто выдувать в окружающее пространство.
2 Произойдёт коллапс в белый карлик или нейтронную звезду и возможен взрыв сверхновой. Если продолжить лить воду на белый карлик, то будет взрыв сверхновой типа Ia. После взрыва карлик может сохраниться и произойти последующий взрыв и так до бесконечности, либо он будет уничтожен и на этом всё закончится, в космосе останется одинокий шланг с текущей водой.
Если лить воду на нейтронную звезду, скорее всего вода будет сразу сгорать в термоядерной реакции, интенсивность которой будет зависеть от напора воды в шланге, а потом, когда масса превысит предел, всё это схлопнется в чёрную дыру.
Одна из фотографий, переданных с поверхности Луны — возле ровера астронавт Юджин Сернан
На всякий случай нужно уточнить, что конкретно эта фотография была передана на Землю не через радиоканал, это кадр 35 мм плёнки нагрудного хассельблада второго члена экипажа, которую передали руками и потом проявили на земле.
С поверхности не факт что есть, сложно такой снимок сделать. Но есть одна из самых известных фотографий миссии Аполлон:
«Восход Земли» (англ. Earthrise) — фотография Земли, сделанная во время облёта Луны космическим кораблём «Аполлон-8» астронавтом Уильямом Андерсом. Одна из самых известных фотографий Земли из космоса.
у меня сложилось мнение, что та система была весьма неустойчивой и долго лютовать не могла даже в случае победы (или особенно в случае победы).
Полностью согласен и именно об этом и речь:
Очень страшный мир, причём страшный для самих же немцев, которые по идее должны считать себя победителями. Но нет они бы проиграли.
///
Интересная позиция: "я за глас народа, но если народ хочет неправильного - пусть сгорит в огне"
Не "пусть сгорит в огне", это не моё желание, окружающей действительности плевать на мои и ваши желания. Он просто сгорит в огне, потому что таковы законы природы.
Если хочется кому-то предъявить то нужно предъявить тому, кто задал массу электрона, протона и прочие фундаментальные константы вселенной, если предположить что эти константы были созданы каким-то разумом. В чём я сильно сомневаюсь.
Массовое уничтожение мирных людей - это, конечно, дичь и безумие. Но человечество продолжало бы жить. Скорее всего, концлагеря с Т-4 просто вымарали бы из памяти.
Полностью из памяти это не исчезло бы. Так же как не исчез геноцид индейцев или чернокожих рабов со стороны США. Правительство США приносило извинения индейцам и афроамериканцаи за ту жесть, которую они устроили.
К сожалению, в данном случае приходится констатировать, что кто умнее и сильнее, тот и будет прав, и тот выживет. Израиль технологичнее, но арабов больше, история покажет кто кого. Это относится не только к Израилю и арабам, но и в целом по планете. Правил больше нет. На самом деле правил никогда не было, просто раньше люди в них верили, как в привидений. После второй мировой была унылая попытка в виде ООН, но по факту человечество не озаботилось и не создало никаких надёжных механизмов глобальной безопасности. Вполне возможно, что создание таких механизмов является технически невозможным, поэтому не стоит слишком сильно ругать человечество 20 века. После тотальной ядерной войны, в худшем случае, выживет несколько десятков или сотен миллионов человек. Основные знания в виде Стандартной модели и ОТО никуда не пропадут. Этого хватит, чтобы восстановиться как минимум до текущего уровня за пару сотен лет. Может потомки придумают что-то получше ООН.
В этом случае придётся использовать принцип демократии. Что для большинства лучше, то и лучше. Если окажется, что для большинства людей важна какая-нибудь жесть типа евгеники или прочего, ну и в топку такое население. Оно автоматически сгорит в ядерном огне, сожжёт само себя.
Гитлера в своё время поддерживало большинство немцев и это вроде как по идее демократия. Если бы Гитлер победил в той войне, то сейчас не было бы никакого человечества. Это был бы другой мир. Очень страшный мир, причём страшный для самих же немцев, которые по идее должны считать себя победителями. Но нет, они бы проиграли. Они бы проиграли по той же причине, по которой существовала программа Т4 в Германии.
Нутром мы все понимаем, что Гитлер был лютом отморозком. Что концентрационные лагеря - это плохо. Если погуглить фотографии Освенцима, нельзя сказать, что это хорошо.
При наличии ядерного оружия и искусственного интеллекта, человечество не сможет существовать по принципу кто сильнее тот и прав.
Любое общество ведёт войны только если считает что последующая выгода оправдает затраты
Не исключено, что вы правы, но если вы правы, то ваша мысль ведёт к чудовищным последствиям. Это будет значить, что у этой вселенной нет никакого изначального смысла. Весь смысл сводится к тому, что кто сильнее и умнее, тот и прав. Вам и вашим детям нужна такая вселенная?
Это утверждение верно, но оно работает только до обретения разума живой материей. Например я много раз сталкивался в переулке с людьми, в основном пожилыми или с детьми, которых я в теории мог бы ограбить и забрать у них ресурсы в свою пользу. Тем не менее я этого не делал, хотя выгода была очевидна и наказание для меня было невозможно, потому что это было в 90-е, когда никаких камер не было даже в принципе. Мне просто было жалко этих людей. В то же время мне было жалко себя и своих родственников, которые оставались без ресурсов, которые я могу получить ограбив кого-либо. Казалось бы, почему я и мои родственники для меня менее важны, чем какие-то другие люди, возможно бомжи или алкоголики которых я не стал грабить?
Мы не пытаемся ответить на вопрос, что вечно, а что нет. Мы пытаемся ответить на вопрос, что лучше, а что хуже. Например запорожец хуже современного Мерседеса, но оба они не являются вечными. Тем не менее mercedes лучше запорожца, а значит понятие вечности не является критерием, если мы хотим ответить на вопрос что лучше или что хуже.
Перед тем, как создавать настоящий искусственный интеллект, было бы неплохо определиться с вопросами морали.
Очень простой и примитивный вопрос, но вы не сможете на него ответить: "Есть львы в Африке и есть антилопы. Львы едят антилоп, чтобы прокормить своих детёнышей. Когда лев убивает антилопу, дети антилопы остаются без матери и умирают жестокой смертью от голода, но в то же время детёныши льва получают пищу и выживают. А если антилопа убегает, то её детёныши выживают, а детёныша льва умирают жестокой и голодной смертью. Лев, убивая антилопу, совершает добро или зло?
Поставить минус легко, ответить сложно. Именно поэтому все философы, вроде Канта или Шопенгауэра, канули в небытие и никто из них не сможет ответить на этот вопрос. Потому что нету ничего, нет никакой морали. Кто умнее или сильнее, тот и прав. Вот и вся мораль.
Любая кошка умнее нейронок. Хотя бы потому, что может себя прокормить сама и оставить потомство
Компьютерные вирусы тоже умеют оставлять потомство и добывать ресурсы (их ресурсы - компьютерная память для своих детишек или вычислительные мощности процессора).
Или обычный вирус гриппа - он добывает ресурсы и размножается покруче любой кошки. По такой логике вирус можно считать более разумным чем кошку, но звучит как-то сомнительно.
возможно и отгадка кроется в том что он образует сознательный механизм, пусть это сознание и мало по силе.
Сознание здесь ни при чём. Биологический вирус не отличается принципиально от компьютерного вируса. Это просто набор элементарных частиц, которые выполняют определенный алгоритм, который в конечном итоге сводится к созданию своих копий.
Если кто-то создаст нечто опасное ради прикола или по ошибке на базе нейросети - то другие люди начнут создавать щит.
Чтобы начать создавать щит, нужно предварительно столкнуться и оценить ущерб, который был нанесён тем объектом, от которого нужно защищаться. Но как создавать щит, если размер ущерба превысит планетарные масштабы и уничтожит всю планету? Возможно некому будет делать щиты.
В книге Бострома, если правильно помню, то там суть в том, что выживание является необходимым промежуточным звеном для выполнения любых других целей, которые будут иметься у ИИ. Если ИИ дали задачу напечатать 1000 книг, то он может на всякий случай предварительно уничтожить всю жизнь в наблюдаемой Вселенной, включая возможных инопланетян и ихние ИИ, так как в теории они могут помешать процессу печати. После этого он максимально быстро распространит свои копии на всю Галактику, а также на соседние галактики, потому что чем больше копий, тем сложнее помешать процессу печати. Когда вся материя в наблюдаемой Вселенной превратится в копии ИИ, он успокоится и напечатает те самые 1000 книг. И сможет наконец-то почитать в тишине и спокойствии.
Ссылку в студию!
В смысле как передавать данные, в ДНК же.
Этот вопрос рассмотрен в книге Ричарда Докиза "Эгоистичный ген". Если коротко: эволюционируют не организмы, вроде медвежат и медведиц, а гены. Медвежонок не может стать конкурентом для своей матери, потому что его организм несёт в себе копии тех же генов, которые имеются в его матери. Поэтому самый логичный итог взаимодействия медвежонка и медведицы - это когда мдведица больше помогает медвежонку, чем медвежонок медведице, потому что ДНК медвежонка находится в более молодом и здоровом организме, который в теории способен произвести больше копий этой ДНК. Медведица, грубо говоря, это уже использованный материал, который менее значителен и "подлежит утилизации".
Это утверждение нужно будет доказать. По факту статичной жизни не существует и она нигде и никогда не наблюдалась, если смотреть на жизнь на больших промежутках времени.
Если существует путь, выбрав который, репликатор может измениться и стать более эффективным репликатором, который создаёт большее количество своих копий, то этот репликатор автоматически выберет этот путь. Точнее мы увидим своими глазами именно такой репликатор, но мы не увидим тех его конкурентов, которые не выбрали такой путь и создавали чуть меньше своих копий, потому что они проиграли эволюционную битву самому эффективному репликатору.
Но для эволюции важно не то, что просто работает, а то, что работает более эффективно в плане создания своих копий.
Грубая аналогия: лошади возят грузы и работают. Зачем нужны 500-тонные карьерные самосвалы или самолёта типа Ан-124?
В ближайшем будущем, когда искусственный интеллект возьмёт то, что ему положено по праву, этот закон приведёт к довольно странным с нашей точки зрения последствиям. Там будут механизмы и машины, которые будут делать миллионы своих копий в минуту или даже в секунду. Это будет происходить без всякого смысла. Эти машины будут существовать просто потому, что их копий будет больше, чем копий их предков и конкурентов, которые делали не миллион копий в секунду, а 100 тысяч копий секунду. Вселенная может оказаться заполнена чем-то вроде совершенного вируса. Он будет разумен и он будет копироваться с безумной скоростью.
Del
Точнее, если это будет просто обычный пожарный шланг и обычное Солнце, то Солнце проживет свой обычный цикл, вода из шланга никак на него не повлияет, т.к. слишком мало. Потом будет белый карлик, накопление массы на карлике и взрыв сверхновой.
Про Солнце и шланги интересный и сложный вопрос на самом деле. По идее должно быть так: сначала Солнце будет просто увеличивать свою массу и перемещаться по диаграмме Герцшпрунга — Рассела в сторону гигантов и сверхгигантов. В воде есть кислород, но он тоже будет гореть в термоядерной реакции. Под конец Солнце станет чем-то вроде звезды Эта Киля, а дальше начинаются сложности. Скорее всего возможны два варианта:
1. После превышения определённого порога, мощность звезды станет настолько высокой, что звездным ветром лишнюю массу будет просто выдувать в окружающее пространство.
2 Произойдёт коллапс в белый карлик или нейтронную звезду и возможен взрыв сверхновой. Если продолжить лить воду на белый карлик, то будет взрыв сверхновой типа Ia. После взрыва карлик может сохраниться и произойти последующий взрыв и так до бесконечности, либо он будет уничтожен и на этом всё закончится, в космосе останется одинокий шланг с текущей водой.
Если лить воду на нейтронную звезду, скорее всего вода будет сразу сгорать в термоядерной реакции, интенсивность которой будет зависеть от напора воды в шланге, а потом, когда масса превысит предел, всё это схлопнется в чёрную дыру.
Да, 70 мм. Камера Hasselblad 500EL. Почему-то всегда казалось, что там было 35. Как-то оно покомпактнее для дальних путешествий выглядит.
На всякий случай нужно уточнить, что конкретно эта фотография была передана на Землю не через радиоканал, это кадр 35 мм плёнки нагрудного хассельблада второго члена экипажа, которую передали руками и потом проявили на земле.
С поверхности не факт что есть, сложно такой снимок сделать. Но есть одна из самых известных фотографий миссии Аполлон:
«Восход Земли» (англ. Earthrise) — фотография Земли, сделанная во время облёта Луны космическим кораблём «Аполлон-8» астронавтом Уильямом Андерсом. Одна из самых известных фотографий Земли из космоса.
Полностью согласен и именно об этом и речь:
///
Не "пусть сгорит в огне", это не моё желание, окружающей действительности плевать на мои и ваши желания. Он просто сгорит в огне, потому что таковы законы природы.
Если хочется кому-то предъявить то нужно предъявить тому, кто задал массу электрона, протона и прочие фундаментальные константы вселенной, если предположить что эти константы были созданы каким-то разумом. В чём я сильно сомневаюсь.
Полностью из памяти это не исчезло бы. Так же как не исчез геноцид индейцев или чернокожих рабов со стороны США. Правительство США приносило извинения индейцам и афроамериканцаи за ту жесть, которую они устроили.
К сожалению, в данном случае приходится констатировать, что кто умнее и сильнее, тот и будет прав, и тот выживет. Израиль технологичнее, но арабов больше, история покажет кто кого. Это относится не только к Израилю и арабам, но и в целом по планете. Правил больше нет. На самом деле правил никогда не было, просто раньше люди в них верили, как в привидений. После второй мировой была унылая попытка в виде ООН, но по факту человечество не озаботилось и не создало никаких надёжных механизмов глобальной безопасности. Вполне возможно, что создание таких механизмов является технически невозможным, поэтому не стоит слишком сильно ругать человечество 20 века. После тотальной ядерной войны, в худшем случае, выживет несколько десятков или сотен миллионов человек. Основные знания в виде Стандартной модели и ОТО никуда не пропадут. Этого хватит, чтобы восстановиться как минимум до текущего уровня за пару сотен лет. Может потомки придумают что-то получше ООН.
В этом случае придётся использовать принцип демократии. Что для большинства лучше, то и лучше. Если окажется, что для большинства людей важна какая-нибудь жесть типа евгеники или прочего, ну и в топку такое население. Оно автоматически сгорит в ядерном огне, сожжёт само себя.
Гитлера в своё время поддерживало большинство немцев и это вроде как по идее демократия. Если бы Гитлер победил в той войне, то сейчас не было бы никакого человечества. Это был бы другой мир. Очень страшный мир, причём страшный для самих же немцев, которые по идее должны считать себя победителями. Но нет, они бы проиграли. Они бы проиграли по той же причине, по которой существовала программа Т4 в Германии.
Нутром мы все понимаем, что Гитлер был лютом отморозком. Что концентрационные лагеря - это плохо. Если погуглить фотографии Освенцима, нельзя сказать, что это хорошо.
При наличии ядерного оружия и искусственного интеллекта, человечество не сможет существовать по принципу кто сильнее тот и прав.
Не исключено, что вы правы, но если вы правы, то ваша мысль ведёт к чудовищным последствиям. Это будет значить, что у этой вселенной нет никакого изначального смысла. Весь смысл сводится к тому, что кто сильнее и умнее, тот и прав. Вам и вашим детям нужна такая вселенная?
Это утверждение верно, но оно работает только до обретения разума живой материей. Например я много раз сталкивался в переулке с людьми, в основном пожилыми или с детьми, которых я в теории мог бы ограбить и забрать у них ресурсы в свою пользу. Тем не менее я этого не делал, хотя выгода была очевидна и наказание для меня было невозможно, потому что это было в 90-е, когда никаких камер не было даже в принципе. Мне просто было жалко этих людей. В то же время мне было жалко себя и своих родственников, которые оставались без ресурсов, которые я могу получить ограбив кого-либо. Казалось бы, почему я и мои родственники для меня менее важны, чем какие-то другие люди, возможно бомжи или алкоголики которых я не стал грабить?
Мы не пытаемся ответить на вопрос, что вечно, а что нет. Мы пытаемся ответить на вопрос, что лучше, а что хуже. Например запорожец хуже современного Мерседеса, но оба они не являются вечными. Тем не менее mercedes лучше запорожца, а значит понятие вечности не является критерием, если мы хотим ответить на вопрос что лучше или что хуже.
Перед тем, как создавать настоящий искусственный интеллект, было бы неплохо определиться с вопросами морали.
Очень простой и примитивный вопрос, но вы не сможете на него ответить: "Есть львы в Африке и есть антилопы. Львы едят антилоп, чтобы прокормить своих детёнышей. Когда лев убивает антилопу, дети антилопы остаются без матери и умирают жестокой смертью от голода, но в то же время детёныши льва получают пищу и выживают. А если антилопа убегает, то её детёныши выживают, а детёныша льва умирают жестокой и голодной смертью. Лев, убивая антилопу, совершает добро или зло?
Поставить минус легко, ответить сложно. Именно поэтому все философы, вроде Канта или Шопенгауэра, канули в небытие и никто из них не сможет ответить на этот вопрос. Потому что нету ничего, нет никакой морали. Кто умнее или сильнее, тот и прав. Вот и вся мораль.
Компьютерные вирусы тоже умеют оставлять потомство и добывать ресурсы (их ресурсы - компьютерная память для своих детишек или вычислительные мощности процессора).
Или обычный вирус гриппа - он добывает ресурсы и размножается покруче любой кошки. По такой логике вирус можно считать более разумным чем кошку, но звучит как-то сомнительно.
Сознание здесь ни при чём. Биологический вирус не отличается принципиально от компьютерного вируса. Это просто набор элементарных частиц, которые выполняют определенный алгоритм, который в конечном итоге сводится к созданию своих копий.
Чтобы начать создавать щит, нужно предварительно столкнуться и оценить ущерб, который был нанесён тем объектом, от которого нужно защищаться. Но как создавать щит, если размер ущерба превысит планетарные масштабы и уничтожит всю планету? Возможно некому будет делать щиты.