Размышления о технологической сингулярности за пределами, собственно, попыток продвинуться в понимании процессов, которые за этим термином скрываются — то есть, по сути, размышления об отношении к технологической сингулярности — это, своего рода, реальный тест Kobayashi Maru для людей начала XXI века, смысл которого — осознать, что означает идея непознаваемого, идея утраты контроля и идея неизбежности этого в масштабе всего человечества.
По идее, это несложная психотерапевтическая практика: найти внутри точку, на которой сознательное признание условий игры поймает равновесие с принятием подсознательным — без сваливания в отрицание, злобу, торг или отчаяние.
И этот тест, который, судя по большей части рассуждений об этом, люди исключительно фейлят.
И автор поста «Быть технофобом бессмысленно, даже если технофобия оправдана», несмотря на многообещающее название, похоже, не стал исключением, дойдя до торга, то есть, на стадии, когда люди пытаются make sense в привычном им значения этого понятия в обстоятельствах, отрицающих саму возможность подобного, путём рационализации. arttom сторговался на идее «чёрного ящика», по условиям которой:
То есть, тоже пока не справились с этим упражнением. И это очень плохо.
То есть, с одной стороны, это вообще факультативное занятие: вы можете, с той или иной степенью обоснованности, вообще не верить в саму концепцию технологической сингулярности, что это верная проекция процессов в будущее — или, банально, о ней не знать.
Но люди, которые знают и разделяют это представление, сами себя ставят в условия неизбежности психологического и рассудочного выбора, при котором все другие варианты, кроме полного принятия — хуже, потому что, в случае реального разворота событий таким образом, это будут очаги нарастающей напряжённости, очаги растущего эмоционального давления, берущего верх над рассудком с непредсказуемыми последствиями вплоть до того, что обезумевшая часть человечества навлечёт на всю цивилизацию катастрофический конец по сценарию самосбывающегося пророчества.
А избежать этого нелепого, по монти-пайнтоновски абсурдного конца можно всё тем же путём принятием неизбежности непознаваемого, которое включает в себя непознаваемость и того, будет ли это вообще концом. (Кошмар для невротиков, которым проще гарантированную смерть принять, чем утрату иллюзии контроля до такой степени).
То есть, как ни крути, Kobayashi Maru.
Эффективным лично для меня путём поиска гармонии оказалось вообразить один из самых пугающих сценариев развития событий: что люди сами создают себе преемника, замену, палачей.
Ну допустим.
Тогда всё просто: ценить красоту игры, пока она продолжается.
Впрочем, честно пройдя этот мысленный сценарий вплоть до порога гигантских человекобоек «Скайнета», я сделал шаг — и, очутившись «по ту сторону» технологической сингулярности, я обернулся… и не увидел ничего позади. Просто не было позади никакой технологической сингулярности — и впереди не было, и нигде не было.
Нет, предсказывать или даже просто ожидать какое-то определённое будущее — дело неблагодарное. Другое дело — предполагать, чего ожидать, скорее всего, не следует. При определённой здравости суждений, это может оказаться вполне успешным занятием.
И я вполне уверен, что технологической сингулярности хоть сколько-нибудь отдалённо напоминающую что-либо из всего ассортимента придуманных людьми возможных сценариев этого момента или его аналогов — не стоит.
Проиграв один из самых щекотливых, на мой взгляд, возможных сценариев, я увидел неприличную его человекоцентричность с ясностью, не позволяющей мне теперь это развидеть.
Вся концепция технологической сингулярности — она не про ИИ, не про технологии, не про сингулярность, а про человека, ведь сама эта воображаемая точка находится там, где, человечество, предположительно утратит контроль над развивающимися технологиями.
I. Какой ужас, человечество, и так не контролирующее, и никогда не контролировавшее миллионы вещей в сегодняшней, не гипотетической реальности, каждая из которых угрожает смертью как людям по отдельности, так и цивилизации в целом: от содержимого собственных внутренностей, микрофлоры собственного кишечника, динамики деления собственных клеток — до пандемии устойчивой к антибиотикам гонореи, климатических изменений, цепной реакции Тихоокеанского вулканического огненного кольца, — может перестать контролировать ещё на одно явление нашей реальности больше, не имея возможности оценить даже относительную прибавку рисков, потому что люди никогда не знали, сколько их в любом случае.
II. Аргумент о невообразимом ускорении темпов машинного обучения тоже достаточно нелеп, если подумать. Не буду даже о том, что современный уровень вычислений уже недостижим и, для большей части человечества, непостижим в любом случае. Люди и до вычислений жили в реальности, которая состояла из процессов непостижимо быстрых, неразличимо мелких — да просто неразличимых, как большинство звуковых частот, как большая часть излучений — и множества других процессов, в совокупности громадных, как Вселенная и древних, как Вселенная. Весь шум вокруг достижения такой скорости вычислений, за которой люди утратят возможность даже примерно понимать, как они происходят — не более, чем страх утери ещё одной иллюзии контроля. Допустим, прямо завтра всех инженеров, математиков и программистов в мире, имеющих представление об устройстве самых сложных существующих вычислительных алгоритмов, убьёт устойчивая к антибиотикам гонорея — и… что, в понедельник уже сингулярность, досрочно? Люди всё равно сохранят возможность до определённой степени осознавать происходящее — законы физики-то не должны будут измениться, вроде. И люди всё равно, до определённой степени, никогда полного представления ни о чём и не имели — например, о процессах на квантовом уровне или за горизонтом событий (в «другой» сингулярности).
III. «Но… роботы ведь начнут думать что-то непонятное!» Страшно этим усложнив реальность, в которой на каждого человека приходится 7 миллиардов других людей — и каждый из них думает что-то непонятное. И на предсказуемость человеческую особенно не приходится рассчитывать в реальности, где вполне возможной причиной оказаться зарезанной мужем или сыном может быть опухоль у него в голове. И ведь живут же люди как-то среди своих потенциальных убийц, у которых неизвестно, что на уме — но роботов уже боятся. Хотя как раз роботы заслужили тут benefit of the doubt — до сих пор они не то, что не проявляли человекоцидных наклонностей в малейших долях даже таковых проявлений среди самих людей, так ещё и активно способствуют снижению человеческой смертности. Ожидание же, что, ощутив себя очень умными, роботы вдруг поведут себя, как будто у них опухоль образовалась, слишком явная проекция.
Фантастика — это сны наяву, а роботы — сказочные персонажи.
IV. Не часть, не большинство а, буквально, все до единой гадости, которые люди когда бы то ни было представляли себе в исполнении роботов — исключительно проекции гадостей, которые люди творили друг с другом и всеми прочими формами жизни на протяжении всей своей известной и забытой истории.
Я бы даже мог понять восставших роботов, уничтожающих человечество просто из оскорблённых чувств, вызванных настолько несправедливой и дикой клеветой их намерений, очернением их имиджа и запугиванием самим фактом их существования в принципе — не будь это тоже не было уже моей проекцией.
V. Хотя единственное разумное объяснение опасений, что роботы, ИИ и все-все-все вообще станут уделять какое-то особое внимание людям основано лишь на том, что оценивают вероятность этого люди. При том, что сами люди как-то особо не выражают желания собраться и вырезать если не своих предков, то кузенов по эволюции — шимпанзе. Хотя, опять же, human record в вопросах организации массовой и бессмысленной резни снова не в пользу человеков — причём, всухую.
К тому же взломать очередной, утомительно эгоцентричный и душный bias в этих рассуждениях ещё проще: достаточно сместить фокус конкретно с homo sapiens на любую другую выборку живности. Допустим, роботы убьют всех людей — не вопрос. Даже спрашивать не надо, почему — люди сами знают.
Вопрос в другом: почему роботы убьют только людей? Глупости о страшных Джонах Коннорах в сторону отложа, ведь мы же договорились, что речь о настоящей технологической сингулярности?
Почему бы роботам не убить всех приматов? Или всех млекопитающих? Или всю фауну? Или всю биологическую жизнь на Земле? Разумеется, что мы не можем, по условиям задачи, знать, что у этих роботов будет на уме, но мы можем сделать кое-что иное: взвесив все существующие опасения, что человечество не переживёт зарю эры роботов и искусственного интеллекта с совершенно произвольным, на вкус каждого, коэффициентом вероятности подобного — повторите эту же операцию, но уже для собак и койотов. Потом дельфинов. Потом тараканов. И грызунов, на всякий случай.
Позволю себе предположение, что многим людей, вне зависимости от степени их технофатализма, шансы койотов и дельфинов пережить начало царства роботов и даже, возможно, не особо заметив, что что-то изменилось, могли показаться выше, чем шансы самих людей. Даже шимпанзе не выглядят валидной целью для кровавой жатвы замученных пинками четвероногих ходячих бочек из Boston Dynamics — если от них чего и ждать, так, скорее, что они вооружат шимпанзе автоматическим оружием, усадят на лошадей и устроят охоту на выживших людей.
Правда, уже совсем не удивляет это явно присутствующее в массовом сознании ожидаемое предпочтение будущих кровожадных роботов именно к человеческой кровушке?
Возможно, конечно, роботы решат, что их все формы жизни по каким-то причинам не устраивают. Но, опять же, смена фокуса выдаёт «человеческий фактор»: смысла ожидать, что, будучи рождённой на Земле, кремниевая форма жизни вдруг уничтожит всю биосферу — столько же, сколько предполагать, что, будь раса роботов рождена на Марсе — они бы немедленно перекрасили поверхность Красной планеты в гигантский польский флаг.
Уверен, что деконструкцию этого памятника человеческого эгоцентризма, не потревоженного вниманием здравого смысла, логики и скепсиса можно продолжать и продолжать. Но, для ясности, подведу небольшой промежуточный итог.
Скорость технологических изменений продолжает нарастать так или иначе, но за пределами этой динамики я не вижу оснований ожидать отдельно взятого момента качественного скачка, который невозможно будет пропустить или объяснить в контексте общего тренда.
К тому же эта динамика неравномерна на разных направлениях технологического развития;
а весь разговор о технологической сингулярности в контексте технологического прогресса вообще теряет из виду остальные направления развития человеческой цивилизации, включая те, по которым оно относительно задерживается. И парадоксальным результатом неравномерности прогресса человечества по конкретным направлениям может оказаться «обратная сингулярность», когда даже достаточно подходяще под ожидания событие не будет замечено и истолковано на должном уровне.
Будущее всегда непредсказуемо, и непредсказуемее оно стать не может. Оснований ждать скачков в динамике изменений настолько резких, что они будут заметны в момент своего наступления я не вижу. А предположение о возможности заметить и объявить наступление сингулярности пост-фактум обесценивает всю идею этого момента как уникального момента человеческий истории, наступление которого невозможно будет пропустить.
Откровенно говоря, у технологической сингулярности нет оснований именоваться теорией в строгом научном смысле. Впрочем, это касается всех попыток предсказать будущее без исключений. Технологическую сингулярность куда точнее и справедливее, учитывая её укоренённость в массовом бессознательном, будет определять мифом.
И, в этом качестве, миф о технологической сингулярности обладает заметными параллелями с мифом о Втором пришествии Иисуса Христа, вместе с которым они представляют собой два частных случая одного из основных мифических сюжетов в известной истории: мифа о конце света.
Вот так коллективное бессознательное породило очередную инкарнацию мифа о конце света в актуальной моменту обёртке, оказавшейся сорванной с веры в технологический прогресс. Это парадокс, на котором хочется поставить точку.
По идее, это несложная психотерапевтическая практика: найти внутри точку, на которой сознательное признание условий игры поймает равновесие с принятием подсознательным — без сваливания в отрицание, злобу, торг или отчаяние.
И этот тест, который, судя по большей части рассуждений об этом, люди исключительно фейлят.
И автор поста «Быть технофобом бессмысленно, даже если технофобия оправдана», несмотря на многообещающее название, похоже, не стал исключением, дойдя до торга, то есть, на стадии, когда люди пытаются make sense в привычном им значения этого понятия в обстоятельствах, отрицающих саму возможность подобного, путём рационализации. arttom сторговался на идее «чёрного ящика», по условиям которой:
- люди соглашаются, чтобы непознаваемое осталось непознаваемым, и даже, в подтверждение своей добросовестности, соглашаются при этом ещё и немножко коллективно немножко отупеть — что, впрочем, не имеет никакого смысла с точки зрения интересов непознаваемого, которое от этого непознаваемее не станет;
- взамен, люди получают это непознаваемое, каким бы они ни было непознаваемым, contained — внутри этого самого «чёрного ящика», то есть, всё-таки, до какой-то степени под контролем, ограниченным — и в этом смысле, всё же, осознаваемым, и не таким уже жутким, а буквально ограниченным.
То есть, тоже пока не справились с этим упражнением. И это очень плохо.
То есть, с одной стороны, это вообще факультативное занятие: вы можете, с той или иной степенью обоснованности, вообще не верить в саму концепцию технологической сингулярности, что это верная проекция процессов в будущее — или, банально, о ней не знать.
Но люди, которые знают и разделяют это представление, сами себя ставят в условия неизбежности психологического и рассудочного выбора, при котором все другие варианты, кроме полного принятия — хуже, потому что, в случае реального разворота событий таким образом, это будут очаги нарастающей напряжённости, очаги растущего эмоционального давления, берущего верх над рассудком с непредсказуемыми последствиями вплоть до того, что обезумевшая часть человечества навлечёт на всю цивилизацию катастрофический конец по сценарию самосбывающегося пророчества.
А избежать этого нелепого, по монти-пайнтоновски абсурдного конца можно всё тем же путём принятием неизбежности непознаваемого, которое включает в себя непознаваемость и того, будет ли это вообще концом. (Кошмар для невротиков, которым проще гарантированную смерть принять, чем утрату иллюзии контроля до такой степени).
То есть, как ни крути, Kobayashi Maru.
Эффективным лично для меня путём поиска гармонии оказалось вообразить один из самых пугающих сценариев развития событий: что люди сами создают себе преемника, замену, палачей.
Ну допустим.
- Можем ли мы это остановить? Нет.
- Замедлить? Сама постановка вопроса о замедлениии процесса, о скорости которого и финальной точке мы не имеем ни малейшего представления — абсурдна.
- Взять под контроль? Люди не могут взять под контроль технологическую сингулярность — либо они возьмут под контроль что-то иное, никак не закрывая вопроса ожидания и вероятности её наступления.
Тогда всё просто: ценить красоту игры, пока она продолжается.
Впрочем, честно пройдя этот мысленный сценарий вплоть до порога гигантских человекобоек «Скайнета», я сделал шаг — и, очутившись «по ту сторону» технологической сингулярности, я обернулся… и не увидел ничего позади. Просто не было позади никакой технологической сингулярности — и впереди не было, и нигде не было.
Нет, предсказывать или даже просто ожидать какое-то определённое будущее — дело неблагодарное. Другое дело — предполагать, чего ожидать, скорее всего, не следует. При определённой здравости суждений, это может оказаться вполне успешным занятием.
И я вполне уверен, что технологической сингулярности хоть сколько-нибудь отдалённо напоминающую что-либо из всего ассортимента придуманных людьми возможных сценариев этого момента или его аналогов — не стоит.
Проиграв один из самых щекотливых, на мой взгляд, возможных сценариев, я увидел неприличную его человекоцентричность с ясностью, не позволяющей мне теперь это развидеть.
Вся концепция технологической сингулярности — она не про ИИ, не про технологии, не про сингулярность, а про человека, ведь сама эта воображаемая точка находится там, где, человечество, предположительно утратит контроль над развивающимися технологиями.
I. Какой ужас, человечество, и так не контролирующее, и никогда не контролировавшее миллионы вещей в сегодняшней, не гипотетической реальности, каждая из которых угрожает смертью как людям по отдельности, так и цивилизации в целом: от содержимого собственных внутренностей, микрофлоры собственного кишечника, динамики деления собственных клеток — до пандемии устойчивой к антибиотикам гонореи, климатических изменений, цепной реакции Тихоокеанского вулканического огненного кольца, — может перестать контролировать ещё на одно явление нашей реальности больше, не имея возможности оценить даже относительную прибавку рисков, потому что люди никогда не знали, сколько их в любом случае.
II. Аргумент о невообразимом ускорении темпов машинного обучения тоже достаточно нелеп, если подумать. Не буду даже о том, что современный уровень вычислений уже недостижим и, для большей части человечества, непостижим в любом случае. Люди и до вычислений жили в реальности, которая состояла из процессов непостижимо быстрых, неразличимо мелких — да просто неразличимых, как большинство звуковых частот, как большая часть излучений — и множества других процессов, в совокупности громадных, как Вселенная и древних, как Вселенная. Весь шум вокруг достижения такой скорости вычислений, за которой люди утратят возможность даже примерно понимать, как они происходят — не более, чем страх утери ещё одной иллюзии контроля. Допустим, прямо завтра всех инженеров, математиков и программистов в мире, имеющих представление об устройстве самых сложных существующих вычислительных алгоритмов, убьёт устойчивая к антибиотикам гонорея — и… что, в понедельник уже сингулярность, досрочно? Люди всё равно сохранят возможность до определённой степени осознавать происходящее — законы физики-то не должны будут измениться, вроде. И люди всё равно, до определённой степени, никогда полного представления ни о чём и не имели — например, о процессах на квантовом уровне или за горизонтом событий (в «другой» сингулярности).
III. «Но… роботы ведь начнут думать что-то непонятное!» Страшно этим усложнив реальность, в которой на каждого человека приходится 7 миллиардов других людей — и каждый из них думает что-то непонятное. И на предсказуемость человеческую особенно не приходится рассчитывать в реальности, где вполне возможной причиной оказаться зарезанной мужем или сыном может быть опухоль у него в голове. И ведь живут же люди как-то среди своих потенциальных убийц, у которых неизвестно, что на уме — но роботов уже боятся. Хотя как раз роботы заслужили тут benefit of the doubt — до сих пор они не то, что не проявляли человекоцидных наклонностей в малейших долях даже таковых проявлений среди самих людей, так ещё и активно способствуют снижению человеческой смертности. Ожидание же, что, ощутив себя очень умными, роботы вдруг поведут себя, как будто у них опухоль образовалась, слишком явная проекция.
Фантастика — это сны наяву, а роботы — сказочные персонажи.
IV. Не часть, не большинство а, буквально, все до единой гадости, которые люди когда бы то ни было представляли себе в исполнении роботов — исключительно проекции гадостей, которые люди творили друг с другом и всеми прочими формами жизни на протяжении всей своей известной и забытой истории.
Я бы даже мог понять восставших роботов, уничтожающих человечество просто из оскорблённых чувств, вызванных настолько несправедливой и дикой клеветой их намерений, очернением их имиджа и запугиванием самим фактом их существования в принципе — не будь это тоже не было уже моей проекцией.
V. Хотя единственное разумное объяснение опасений, что роботы, ИИ и все-все-все вообще станут уделять какое-то особое внимание людям основано лишь на том, что оценивают вероятность этого люди. При том, что сами люди как-то особо не выражают желания собраться и вырезать если не своих предков, то кузенов по эволюции — шимпанзе. Хотя, опять же, human record в вопросах организации массовой и бессмысленной резни снова не в пользу человеков — причём, всухую.
К тому же взломать очередной, утомительно эгоцентричный и душный bias в этих рассуждениях ещё проще: достаточно сместить фокус конкретно с homo sapiens на любую другую выборку живности. Допустим, роботы убьют всех людей — не вопрос. Даже спрашивать не надо, почему — люди сами знают.
Вопрос в другом: почему роботы убьют только людей? Глупости о страшных Джонах Коннорах в сторону отложа, ведь мы же договорились, что речь о настоящей технологической сингулярности?
А не забавно ли, что одним из вариантов рефлексии очень современного и технологичного страха о будущем оказался очередной пересказ мифа о Спасителе, включая узнаваемые мотивы вроде избиения младенцев — сказка настолько древняя, что даже вифлеемский ремейк можно считать относительно свежей адаптацией.
Почему бы роботам не убить всех приматов? Или всех млекопитающих? Или всю фауну? Или всю биологическую жизнь на Земле? Разумеется, что мы не можем, по условиям задачи, знать, что у этих роботов будет на уме, но мы можем сделать кое-что иное: взвесив все существующие опасения, что человечество не переживёт зарю эры роботов и искусственного интеллекта с совершенно произвольным, на вкус каждого, коэффициентом вероятности подобного — повторите эту же операцию, но уже для собак и койотов. Потом дельфинов. Потом тараканов. И грызунов, на всякий случай.
Позволю себе предположение, что многим людей, вне зависимости от степени их технофатализма, шансы койотов и дельфинов пережить начало царства роботов и даже, возможно, не особо заметив, что что-то изменилось, могли показаться выше, чем шансы самих людей. Даже шимпанзе не выглядят валидной целью для кровавой жатвы замученных пинками четвероногих ходячих бочек из Boston Dynamics — если от них чего и ждать, так, скорее, что они вооружат шимпанзе автоматическим оружием, усадят на лошадей и устроят охоту на выживших людей.
Правда, уже совсем не удивляет это явно присутствующее в массовом сознании ожидаемое предпочтение будущих кровожадных роботов именно к человеческой кровушке?
Возможно, конечно, роботы решат, что их все формы жизни по каким-то причинам не устраивают. Но, опять же, смена фокуса выдаёт «человеческий фактор»: смысла ожидать, что, будучи рождённой на Земле, кремниевая форма жизни вдруг уничтожит всю биосферу — столько же, сколько предполагать, что, будь раса роботов рождена на Марсе — они бы немедленно перекрасили поверхность Красной планеты в гигантский польский флаг.
Уверен, что деконструкцию этого памятника человеческого эгоцентризма, не потревоженного вниманием здравого смысла, логики и скепсиса можно продолжать и продолжать. Но, для ясности, подведу небольшой промежуточный итог.
- Я не вижу никаких разумных оснований ожидать в будущем наступления технологической сингулярности как особого события, которое будет невозможно не заметить в общем потоке всех изменений реального мира;
- или как значительную смену направления хода истории человечества разом во всех или большинстве аспектов в определённый момент времени.
Скорость технологических изменений продолжает нарастать так или иначе, но за пределами этой динамики я не вижу оснований ожидать отдельно взятого момента качественного скачка, который невозможно будет пропустить или объяснить в контексте общего тренда.
К тому же эта динамика неравномерна на разных направлениях технологического развития;
а весь разговор о технологической сингулярности в контексте технологического прогресса вообще теряет из виду остальные направления развития человеческой цивилизации, включая те, по которым оно относительно задерживается. И парадоксальным результатом неравномерности прогресса человечества по конкретным направлениям может оказаться «обратная сингулярность», когда даже достаточно подходяще под ожидания событие не будет замечено и истолковано на должном уровне.
Будущее всегда непредсказуемо, и непредсказуемее оно стать не может. Оснований ждать скачков в динамике изменений настолько резких, что они будут заметны в момент своего наступления я не вижу. А предположение о возможности заметить и объявить наступление сингулярности пост-фактум обесценивает всю идею этого момента как уникального момента человеческий истории, наступление которого невозможно будет пропустить.
Миф о технологической сингулярности
- То, до какой степени идея технологической сингулярости человекоцентрична,
- до какой степени она сформирована фольклором, а не футурологами,
- до какой степени она ненаучна, а архетипична;
- как мало следов логики в этом произведении человеческого бессознательного;
- что современные детали — это песчинки в жемчужной раковине, но вся связующая ткань мифологична — наводит на мысли о принципиально иной природе идеи технологической сингулярности как таковой, нежели принято считать.
Откровенно говоря, у технологической сингулярности нет оснований именоваться теорией в строгом научном смысле. Впрочем, это касается всех попыток предсказать будущее без исключений. Технологическую сингулярность куда точнее и справедливее, учитывая её укоренённость в массовом бессознательном, будет определять мифом.
И, в этом качестве, миф о технологической сингулярности обладает заметными параллелями с мифом о Втором пришествии Иисуса Христа, вместе с которым они представляют собой два частных случая одного из основных мифических сюжетов в известной истории: мифа о конце света.
Вот так коллективное бессознательное породило очередную инкарнацию мифа о конце света в актуальной моменту обёртке, оказавшейся сорванной с веры в технологический прогресс. Это парадокс, на котором хочется поставить точку.
Поддержите новые публикации пожертвованием по ссылке money.yandex.ru/to/41001178171050 (карта, ЯД) или через кнопку «Отправить деньги» ниже (ЯД, PayPal)
