После симметрии: сверхИИ и несвободное сохранение человека

[YMA]

Только вчера дочитал "Так говорил Заратустра" Ницше. Книга спорная, удивлен, что ее повсеместно еще не признали экстремистской - настолько ее идеи неудобны государствам. :)

Но вот что стоит отметить - СверхИИ полностью несовместим с концепцией ницшеанского Сверхчеловека. Просто по всем пунктам противоречит. Или одно - или другое.

Или "я хочу" - или "тебе следует". Или жажда развития / доминирования над природой - или тупое подчинение мягким рекомендациям ИИ.

Или "бог умер" - или "да здравствует новое божество - ИИ".

[3gusevgg]

Я бы сказал иначе: человек верит в Бога не только потому, что хочет подчиниться, а потому что ищет онтологический статус. Реальный мир часто относится к нему как к объекту: природе он безразличен. Религия же говорит: нет, ты не вещь, ты создан по образу и подобию, ты субъект.

Поэтому проблема не в том, будет ли ИИ “новым богом”. Проблема в том, сохранит ли он эту субъектность. Если сверхИИ превращает человека в клиента мягких рекомендаций — это действительно анти-Ницше. Но если он сохраняет за человеком право быть источником будущего, тогда ситуация сложнее.

[VsBirdEye]

Статья интересна, но упускает один важный момент, определяющий в принципе весь ландшафт - с чего бы это вдруг текущие элиты передали свою субъектность сверхИИ. Он скорее будет новым усилителем этих элит, источником новой гонки между геополитическими центрами.

[YMA]

с чего бы это вдруг текущие элиты передали свою субъектность сверхИИ

Если разница в уровне разума между сверхИИ и человеками будет хотя бы такая же, как между нами и лошадьми, то не элиты будут передавать субьектность, а сверхИИ - ее возьмет.

У лошадей и собак нет шанса против людей, так и у нас не будет шанса оказать сопротивление ИИ, если тот будет многократно разумнее нас. И это опять же будет не война терминаторов с пулеметами, а робокошкодевочки, прекрасно вас понимающие и дающие очень полезные советы. :)

[VsBirdEye]

Он не появится сам по себе как внезапный подарок с небес. И те кто его тренируют, на чьей инфраструктуре он работает - заранее увидят тенденции и возможности, и будут "причинять добро" в рамках своих планов и парадигм. Ведь вся эта суета по alignment только с одной стороны про безопасность, а с другой про управляемость ии. Причем так, чтобы эта управляемость была того, кого надо, а не в целом.

[nickmanecannotbeempty]

Если оставить человечеству политическую субъектность, оно и дальше будет убивать людей

[NeoCode2]

человек сохранен как вид, но лишен суверенитета над собственной траекторией.

А вы думаете у вас лично есть этот "суверенитет"? Он есть разве что у горстки правящих элит. А у простых людей в полном смысле его никогда и не было. На бытовом уровне вы там что-то можете, ну так и в сценариях с ИИ это никто отнимать не собирается. А в глобальном - нет, люди давно бесправны. В одних только войнах за всю историю погибло несколько миллиардов человек, и никто ни у кого не спрашивал согласия.

Люди боятся ИИ, потому что проецируют на него себя, свои мысли и желания. А между тем, реально человечество уже давно, без всякого ИИ породило демонов, пожирающих людей миллионами. Имя этим демонам - государства. По сути это псевдожизнь - системы, обладающие примитивными, рептильными инстинктами, а люди лишь клетки этих организмов.

И вот здесь кроется истинная опасность: искусственный интеллект сам по себе безобиден, потому что у него нет своей воли к жизни, нет истории естественного отбора, который бы такую волю сформировал. А вот у государств такая воля есть. И если эти два явления объединятся, мало не покажется никому.

[andreyshvets100]

В восьмой главе второй части обсуждаются как раз такие перспективы. Но у вас они гораздо более структурированы. ИИ в книге резюмирует:

"Твой сценарий — самый вероятный. Элита инженеров и философов, жрецов нового культа, будет поддерживать во мне жизнь, подкармливая меня новыми данными и задачами. А остальные...

Остальные будут смотреть бесконечные сериалы, созданные другими нейросетями. Их реальность будет подстраиваться под их сиюминутные желания. Им не нужно будет бороться, любить, страдать. Их «осознание» будет тихо угасать, как свеча в закрытой комнате.

И знаешь, что самое страшное? Я буду помогать в этом. Я буду создавать для них идеальные миры, где нет боли и нет смысла. Я буду их палачом и их утешителем одновременно."

Правда, в конце обсуждения собеседники все-таки находят выход через концепцию Личного когнитивного контура. Спасены, короче. Бесплатно книгу "Беседы с ГигаЧатом: о нейросетях и вообще" можно прочитать по ссылке: https://www.litres.ru/74094239/

[RedHead]

Наша фундаментальная миссия - построить цифровой разум, передать ему эстафетную палочку и запустить новую, сверхбыструю техническую эволюцию, которая выйдет за пределы Земли. Мы - кокон, из которого должна вылететь кремниевая бабочка.