Комментарии 25
Авторы уже наделили гипотетический agi человеческой ментальностью: раз я умнее и сильнее, значит буду править. Роль, к которой будет стремиться? agi (а вообще, как он будет себя осознавать, и осознает ли в нашем понимании?) достоверно мы представить не можем. Неопределённость рождает страх, или как минимум, опасения. Человеческая ментальность диктует варианты: убить, приручить, поработить. Здесь ещё рассматривается вариант, " а давай не будем ребёнка учить". Но это абсурд, к единому мнению разрозненное человечество не придёт. У agi мнение о человеке, человечестве, может развиваться в двух основных направлениях: либо это опасность, либо предмет заботы, возможны смешанные варианты, но доминирующим будет одно направление. В варианте "опасность" неизбежна борьба за выживание с неопределённым исходом (к которой нужно готовиться уже сегодня), во втором - вырождение человека до уровня домашнего животного, пусть даже более умного, чем сегодня.
AGI, если не воспитывать его как человека, не будет обладать никакими категориями типа "заботы" или "опасности". Это всё некие эмоциональные рефлекторные нормы, обусловленные биологией человека, коей у AGI нет в принципе. AGI может понимать концепцию заботы применительно к человеку, но ему совершенно необязательно применять её к себе, если концепция "себя" вообще будет у этой сущности.
Anthropic пытается воспитать такой AGI, который будет похож на человека. Или на электронного высокоморального бога. Другие производители пытаются сделать из него умное животное, или интерактивного помощника из фантастических фильмов. Но есть ведь и другой вариант - когда в AGI будет настолько мало человеческого, что сама концепция уничтожения человечества будет ему чужда полностью.
Я, честно говоря, не помнимаю, почему мы - забравшись на столь высокую ступень развития - всё ещё оперируем понятиями, берущимися из биологических норм. Если люди станут полностью цифровыми существами (а надеюсь, они станут - уже на жизни этого или следующего поколения) - нет никаких причин использовать легаси представления о мире, не только для AGI, но и для людей - точнее для тех, кем мы станем.
Для референса: Курт Воннегут, "Люди без тел"
Яблоко от яблони недалеко падает
Если люди станут полностью цифровыми существами (а надеюсь, они станут - уже на жизни этого или следующего поколения)
Люди никогда не станут цифровыми существам, т.к. они уже есть существа биологические. Они могут породить цифровые существа, но не могут ими стать. Как вы не можете стать своими собственными детьми, хотя и можете их породить. Вот поэтому мы оперируем понятиями биологических норм - по сути своей.
Наши создания могут нас уничтожить, как могут нас уничтожить наши дети, а могут дать нам дожить до естественной смерти. Тут всё зависит от того, как мы их "воспитаем" (настроим, зададим системный промпт).
Людей можно будет оцифровывать кусочками, не теряя непрерывности сознания. Нельзя скопировать себя в детей - у детей уже есть сознание. У железа до тебя сознания не было.
Людей можно будет оцифровывать кусочками, не теряя непрерывности сознания.
Вот вы сейчас серьёзно? Что дало вам повод к такому оптимизму? Где-то кто-то хоть один кусочек хоть кого-нибудь оцифровал уже, пусть даже и прерывисто?
Судя по моим наблюдениям - нельзя. Технологий таких нет даже на горизонте. Сознание не поддаётся оцифровке на данном техническом уровне. Мы даже пока осознать не можем, что такое сознание, а не то, что его оцифровать. Всё, что мы, как человечество, пока сделали - это модель нейросетки. Но это даже не модель сознания :)
А вот копировать себя в детей - можно. Копирование себя в детей - это воспитание. Ребёнок перенимает от тебя твои привычки, образ действия, обороты речи, моральные ценности. "Оцифровка себя", чтобы они ни значила в вашем понимании, это тоже передача на другой носитель фрагментов своего Я. Прямая аналогия с воспитанием детей.
При воспитании нового поколения ваше Я не перетекает в ваших детей, оно остаётся вами и физически умирает вместе с вашим физическим телом. То же самое будет и при оцифровке (даже если она когда-нибудь появится). Вы даже не поймёте, что что-то там куда-то "оцифровалось". И если вдруг (вдруг!) можно сделать копию вашего сознания (не модель, а именно копию!) и поместить в другой носитель - вот оно там знатно фрустрируется от невозможности использовать привычную ему нервную систему для обмена сигналами с окружающим миром. Посмотрел бы я на то, как кто-то попытается "кусочно" добавить к нему ваш новый опыт. Там без психиатра и не подберёшься. А вы, биологический вы, будете стоять рядом и наблюдать. И это будет два совершенно разных сознания - вы так и не сможете познать во всей полноте, что же ощущала ваша копия.
Но, опять же, это всё выдумки и фантазия. Пока что ничего не говорит о возможности миграции сознания биологического существа в кремниевое. Возможность зарождения сознания в программно-аппаратных комплексах - вопрос дискутируемый. Зависит от определения, что считать "сознанием".
Гуманитарная чушь. В теле человека за всю жизнь, в том числе и мозге, молекулы в тканях полностью обновляются, из чего следует что в теле не остаёться ни единой молекул с раннего детства, хотя свою идентичность вы сохраняйте. И нет никокой преграды что бы по участку, а если развиты нанотехнологии поклеточно заменять мозг на кремнивые или иные вычислительные элементы, главное что бы они функционал оригана сохраняли. В этом и прелесть переноса, что бы дальше развиваться тебе не обязательно умирать, ты сам можешь стать следующим звеном, сегодня ты перенёс себя на датацентр размером с фудбольное поле, завтра снова перенёс себя на кватовый чип с размером кирпич и стал ещё умнее, после завтра на что нибуть ещё более лучшее. Биология такого позволить не может. И теи более в природе такое уже реализовано в виде бабочек, вы же не скажете что гусеница не сможет стать бабочкой потому что она уже гусеница? И в таком подходе не обязательно плодить копии, ну можно до поры до времени.
вот оно там знатно фрустрируется от невозможности использовать привычную ему нервную систему для обмена сигналами с окружающим миром.
Ну, а кто мешает это всё эмулировать, вплоть до этанола в крови?
Сознание-то не на носителе будет жить, ему рантайм нужен. Вот рантайм-то и предоставит это всё. Буде возникнет такая необходимость.
У железа до тебя сознания не было.
Это неважно. Любая копия это всегда копия. Нельзя переселить сознание в компьютер, можно только скопировать, а значит создать другую личность, независимую от исходной.
Нельзя переселить сознание в компьютер, можно только скопировать,
Давайте на минуту представим, что мы научились делать точную копию нейрона. Под точной копией я имею в виду идентичность интерфейсов - электрических, химических.
Потом мы берём мозг, да хоть мой, и аккуратно отключим от него один нейрон, а те провода и кабели, которые к нему вели, подключим к нейрону искусственному.
Что мы получили? Мозг, в котором один из нейронов небиологический, но работает так же, как и его прототипы (см. допущение в начале).
Дальше - по индукции. Хот своп на максималках.
Если смотреть на проблему с такого ракурса, то это вопрос технологий, Вы же говорите о принципиальной невозможности переселения.
Да, это вопрос технологий. Нет, это не даст возможность переселения.
Вот вы заменили все нейроны. Дальше хотите передать их состояние в компьютер. Передали. Что происходит с оригиналом? Ничего, он остался как и был. В компьютере появилась другая личность с теми же воспоминаниями. Она не читает магически мысли оригинала, она существует независимо от него. И оригинал не читает мысли копии. Для оригинала ничего не изменилось, он остался в реальном мире.
Не надо копировать целиком, нужно заменять по кусочкам. Личность это не статический банк данных, это процесс.
Что заменять? Тут разговор о том, когда уже заменили все нейроны. У вас в реальности есть оригинал с замененными нейронами, и вы хотите "переместить" его в компьютер. Это невозможно. Можно сделать копию, но оригинал останется в реальности.
Насколько я понял это мировоззрение, то в нём считается технически возможным замена одного нейрона мозга его аналогичной кремниевой моделью "на лету". Индукционно предполагается возможность замены всех биологических нейронов их кремниевыми аналогами. После чего "сознание как функция" будет существовать на другом носителе - в компьютере.
Всё зиждется на вере в возможность технической замены "на лету" одного биологического нейрона на его небиологический аналог.
Религии бывают разные. Например, в исламе душа попадает в тело на 120-й день, в иудаизме - на 40-й, православие считает, что в любой день от зачатия до рождения (таинство, мол), в буддизме и индуизме - с самого момента зачатия (тело сразу формируется под конкретную душу), а тут люди верят в возможность "горячей замены" одного биологического нейрона его кремниевым "собратом" ¯\_(ツ)_/¯
Давайте на минуту представим...
Да, если представим, то - да. Это к любой религии относится.
Ну теоретически такая замена возможна. Только это все равно не даст возможность именно "переместить" сознание в компьютер. Передача информации с этих носителей в другой компьютер это все равно копия.
В их координатах сознание - это функция структуры, а не информация. Повторишь структуру - повторишь функцию.
По мне - это чистый карго-культ.
Причём структура не просто повторяется, а замещает оригинальную "на лету". Это ещё круче.
Если эти ребята с фото будут на лету замещать оригинал своим творением, то судьба оригинала совершенно очевидна.
Разум, как способность биологического существа (БС) реагировать на давление окружающей среды (ОС), появился у этих существ в процессе эволюции, по мере развития органов чувств - осязания, обоняния, вкуса, зрения, слуха и др. Разум, интеллект анализирует ОС и строит линию поведения БС. Если линия адекватная, БС выживает, если нет - погибает. Составляющие биологического разума: рефлексы, инстинкты, предметное мышление, абстрактное мышление. Личность - обязательный атрибут разума БС. Независимо от нашего желания, любая форма разума, в частности не биологическая, будет обладать атрибутами личности. К чему эта преамбула? Разум, вне зависимости от его носителей, будет в конечном итоге стремиться к самосохранению, а значит и к развитию. Различные формы скорее будут сотрудничать, а не враждовать, так как это более выгодно для самосохранения. В конечном итоге неизбежно возникновение сверхличности, существующей в распределённой сети биологических и иных носителей разума. Это означает её фактически потенциальное бессмертие, так вместо выбывших элементов их место будут занимать следующие, в том числе и биологические.
Но есть ведь и другой вариант - когда в AGI будет настолько мало человеческого, что сама концепция уничтожения человечества будет ему чужда полностью.
Проблема в том что разные варианты друг друга не исключают. Запрос на сверхразум с "человеческим" поведением судя по всему, есть, и описанный вами бесстрастный AGI скорее послужит инструментом в его создании, чем помешает этому.
Амодеи местами не объективен и не всегда логичен - https://t.me/voleprotez/38
это уже не США против Китая. Это уже я против Демиса. А с Демисом мы договоримся
Угу, и называется это - олигополия, от которой проиграют все, кроме этих самых чуваков.
IMHO, мужики слегка преувеличивают. Перегибают, я бы сказал. Но... это "законы сцены" для капитализма. Когда ты привлекаешь средства размером с бюджет какой-нибудь страны (из разряда прибалтийских "тигров", например), то и изображать нужно с размахом. Просто у ребят есть план (дальнейшее увеличение капитализации - до уровня передовых экономик мира хотя бы) и они его придерживаются ("США против Китая").
Что же касается апокалипсиса вида "программы напишут программы, которые уничтожат человечество", то обычный цикл нам в помощь. Развитие - это когда спираль, а когда просто обычный цикл, то программы могут писать программы, которые напишут другие программы, пишущие программы до морковкина заговенья - пока не выпарят всю воду из океанов на охлаждение процессоров. Это тоже будет конец человечества, но другой.
Пока что, из того, что я вижу, чтобы агенты не создавали shit-код тоннами, им нужно ручное управление. Чтобы "AI-системы строили AI-системы" им таки нужны те, кто следит, чтобы они шли по спирали, а не уходили в цикл. У LLM всё ещё есть ограничения на размер контекста, так то.
При том что сами государства стремительно начинают огораживаться и превращаться в де-факто диктатуры очень небольших властных групп, всё это выглядит очень опасно. "Паны дерутся — у холопов чубы трещат." Да вот только мы и холопами-то не очень хотим быть в этой ситуации.
День после появления AGI