В 2023 году в медиа стало все чаще звучать понятие TESCREAL — его называют идеологией современного технологического капитализма. Ее главная идея в том, что благополучие современного мира — это не цель, к которой должно стремиться, а средство для достижения блага для будущих поколений. А главный инструмент TECREALистов — буквально Deux Ex Machina — общий искусственный интеллект.
Принято считать, что ее главные апологеты — топ-менеджеры компаний-лидеров ИИ-индустрии, которые стремятся повернуть Кремниевую долину вправо и, по мнению критиков с левого фланга, могут уничтожить человечество. Разбираемся, что и кто стоит за этой аббревиатурой, и что не так с ее критикой.
Как появился TESCREAL?
Сам термин TESCREAL — это не самоназвание сторонников идеологии, а напротив, собирательное понятие, придуманное для их критики.
Изобретение термина принадлежит философу Эмилю П. Торресу и эритрейской программистке доктору Тимнут Гибру — в 2020 году ее уволили из Google за радикальную критику этических стандартов корпорации по отношению к расовым меньшинствам. Начиная с 2021 года оба исследователя выпускают публицистические статьи и дают интервью, посвященные критике TESCREALизма.
Сама аббревиатура TESCREAL объединяет в себе целую группу связанных друг с другом идей: трансгуманизм, экстропианизм, сингуляритаризм и т. д. — по одному на каждую букву.
Несмотря на критический характер аббревиатуры, некоторые из тех, кого считают сторонником этих идей, с гордостью ее используют. Так, крупный американский инвестор в ИИ-секторе Марк Андриссен называл себя TESCREALистом в описании профиля в X.
В своих статьях Торрес рассказывает, что увлечение TESCREAL в компаниях Кремниевой долины ведет человечество к экзистенциальной катастрофе.
В 2023 году с критикой концепции выступил социолог Джеймс Хьюз — бывший исполнительный директор Всемирной трансгуманистической организации и основателем Института этики и новых технологий.
В своей статье «Теории заговора, левый футуризм и нападки на TESCREAL» ученый выставляет идеи Торреса и Гибру конспирологией, лишенной смысла. В ответ Торрес выпустил статью «Теория заговора о теории заговора TESCREAL», в которой в свою очередь назвал аргументы оппонента бездоказательными.
Торрес заявлял, что после того, как он начал публично критиковать TESCREALистов, он получил множество твитов и письмо с угрозами. Впрочем, против самого ученого тоже выдвигались обвинения в преследовании философа Питера Богоссиана и британского теоретика культуры Хелен Плукроуз.
Сам Торрес называет обвинения скоординированной кампанией против него, при этом подчеркивая, что оба названных деятеля — представители «радикальных ультраправых взглядов».
В своей обзорной статье о TESCREAL и Торресе на Guardian Эндрю Энтони пишет, что Богоссиан и Плукроуз не согласились бы с таким определением. При этом журналист не оспаривает ценности философии Торреса.
В общем, публицистическая дискуссия по теме очень быстро перешла к стадии оскорблений и угроз. Торрес анонсировал, что у них с Гибру выйдет обстоятельная научная работа по ней — это будто бы должно добавить их доводам весомости. Но пока она не опубликована.
Что такое TESCREAL?
Чтобы понять, что пугает Гибру и Торреса в идеях резидентов Кремниевой долины, нужно разобрать, что стоит за каждой из букв термина и как он связан с ИИ.
T — трансгуманизм
Трансгуманизм — основная философская концепция в наборе TESCREAL. Она постулирует, что мы движемся к постчеловеческому будущему, в котором технологии помогут нам построить совершенную утопию.
Один из теоретиков современного трансгуманизма философ Ник Бостром (коллега вышеупомянутого Хьюза по Институту этики и новых технологий) описывает состояние, в котором человечеству будут доступны бессмертие, повышенный уровень интеллекта и полный контроль над эмоциями.
К наиболее трансгуманистическим разработкам можно отнести микрочипы от Neuralink Илона Маска, которые призваны связать человеческий мозг с ИИ, запустив новый этап эволюции человечества.
Торрес называет трансгуманизм новой религией, в которую верят крупнейшие игроки Кремниевой долины — с соответствующими религиозными составляющими. Например, калифорнийский криогенный стартап Alcor, клиентом которого является Бостром, занимается посмертной заморозкой людей с надеждой когда-то «оживить их».
E — экстропианство
Экстропианство — первое оформленное течение трансгуманизма, возникшее в 1980-х годах. Само слово экстропия впервые появилось в научных дискуссиях еще в конце 1960-х и использовалось метафорически как антоним понятию энтропия — мера неопределенности, неизвестности и беспорядка во вселенной.
В 1988 году определение понятию дал Макс Мор, британский философ и будущий исполнительный директор Alcor. В противовес теории энтропии ученый провозгласил, что экстропия — «это степень живучести или организованности системного интеллекта, функционального порядка, живучести, энергии, жизни, опыта, способности и двигателя совершенствования и роста».
В 1988 году Мор, автор термина экстропианство (extropianism) создал одноименный научный журнал. Вокруг него образовалось сообщество, которое стало проводить конференции, научные столы и дискуссии, посвященные робототехнике, генной инженерии, исследованиям космоса и другим футуристичным направлениям науки.
S — сингуляризм
Сингуляризм постулирует, что главный способ достижения трансгуманистического будущего — развитие интеллекта. «Тупая материя и механизмы вселенной будут преобразованы в изысканно возвышенные формы интеллекта», — пишет о технологической сингулярности один из главных теоретиков направления, ученый-исследователь в Google Рэй Курцвейл.
Сингуляристы верят, что, когда человечество создаст ИИ умнее, чем его собственный разум, наступит точка технологической сингулярности — момент, после которого человек не будет контролировать дальнейший ход развития технологического прогресса.
Некоторые из тех, кого считают TESCREALистами, подчеркивают, что к наступлению сингулярности необходимо подготовиться. Среди них — шведский философ Ник Бостром. Но большинство сингуляристов смотрит на приближение этого момента с оптимизмом.
Важно отметить, что сингуляризм не стал идеологией на бумаге. В Кремниевой долине существует созданный при поддержке НАСА и Google научный центр — Университет Сингулярности. В 2009 году его создали тот самый сингулярист Рэй Курцвейл и основатель космического туризма Питер Диамандис. Его цель — готовить следующее поколение лидеров, которые будут работать над ускорением изменений.
Впрочем, университет в основном попадает в заголовки СМИ по мало связанным с сингулярностью поводам: обвинения в харрасменте и гендерной дискриминации и масштабные COVID-вечеринки.
C — космизм
Космизм — большой спектр разных религиозно-философских течений, которые связывает представление о человечестве как части общей с космосом системы, которая развивается по общим закономерностям. Одним из самых известных представителей учения был российский пионер космонавтики Константин Циолковский.
Современный космизм —тоже во многом про ИИ. Одним из его главных идеологов стал американский футуролог Бен Герцель, который одним из первых заговорил об общем искусственном интеллекте (о нем ниже). В своем «Манифесте космиста» он пишет, что человечество движется к разработке разумного ИИ. Технологии загрузки его в человеческий разум «откроют неограниченную продолжительность жизни всем, кто решит оставить свою биологию позади».
R — рационализм
Рационализм — мировоззрение, ставящее во главу угла человеческий разум. Его истоки находятся в философии начиная с Сократа, но особое развитие получил в XVII- начале XVIII вв. трудах Спинозы, Декарта и Лейбница.
В дискурс ИИ-технологий рационализм ввел экстрапист Элизер Юдковский, создавший на своем портале LessWrong полушуточный манифест рационализма. В нем провозглашаются принципы совершенствования человеческой рациональности для скорейшего достижения прогресса.
EA — эффективный альтруизм
Один из создателей движения эффективного альтруизма Питер Сингер представляет его как философию, которая помогает улучшать мир наиболее эффективным способом. От классического альтруизма его сторонников отличает стремление к вычислению наилучших методов «причинения добра», которое Торрес язвительно называет «оптимизацией нашей морали».
Именно поэтому многие сторонники эффективного альтруизма трудятся в ИИ-индустрии: идея, стоящая за развитием нейросетей — сделать человеческую деятельность более эффективной.
L — Лонгтермизм
Идею лонгтермизма (longtermism) или долгосрочного планирования ввел другой эффективный альтруист, профессор философии Оксфордского университета Уильям МакАскилл.
В своих работах ученый предлагает сосредоточиться на будущем: на вопросах выживания цивилизации и заботе о миллиардах еще не рожденных людей. Идея МакАскилла основана на том, что потенциальный размер человечества в миллионы лет почти бесконечно больше, чем нынешнее население мира, и мы должны отдать приоритет этим триллионам нерожденных людей, а не краткосрочным потребностям немногих миллиардов, живущих сегодня.
Среди прочего ученый призывает обратить внимание на развивающийся ИИ и подготовиться к моменту, когда он станет совершеннее человеческого. Об этом МакАскилл подробно рассуждает в книге «Что мы должны будущему», вышедшей в 2022 году. Новость о выходе книги репостнул Илон Маск, назвав работу близкой его философии.
Заканчивая обзор своей концепции, Торрес призывает громко подвергать критике идеологию, стоящую за технокапиталистами и предостерегает: «пакет TESCREAL уже глубоко формирует наш мир и мир наших детей».
Кого называют сторонниками TESCREAL?
Под зонтичным термином TESCREAL Торрес объединяет связанных с ИИ-разработками многих визионеров, венчурных капиталистов, компьютерных исследователей, философов.
Тем не менее, между ними есть важный философский раскол — и он затрагивает ИИ. Часть экспертов видит в скорейшем развитии искусственного интеллекта решение множества глобальных проблем, другие же — угрозу исчезновения человечества (авторы концепции TESCREAL критикуют и тех, и других). Первых критики TESCREAL называет акселераторами, а, вторых — ИИ-думерами.
ИИ-акселераторы
В список TESCREAL-оптимистов, горящих идеей светлого ИИ-будущего, автор концепции включает как различных философов-трансгуманистов, таких как профессор Ник Бостром и эффективный альтруист Уильям МакАскилл, так и практиков — например, исполнительного директора Open AI Сэма Альтмана.
Как заключает Торрес, для TESCREALистов, объединенных верой в достижение прогресса, общий искусственный интеллект — кратчайший путь к этому рывку. Ведь именно такой инструмент поможет рассчитать все необходимые переменные для создания утопического будущего.
Его слова подтверждает и самоназванный TESREALист, член совета директоров корпорации Марка Цукерберга, eBay и HP Марк Андриссен. Он пишет, что разработка общего ИИ может стать ответом на множество вызовов — от излечения всех болезней до межзвездных путешествий, и называет развитие этой технологии «нашим моральным долгом перед самими собой, нашими детьми и нашим будущим».
ИИ-думеры
В противоположном лагере TESCREAL находятся алармисты или, как называют их Торрес и Гибру, ИИ-думеры (от «doom» — тьма). Самый известный их представитель — экстропист Юдковский, который призывает остановить все разработки в области нейросетей, поскольку те ведут человечество к экзистенциальной катастрофе.
В своей статье в журнале TIME Юдковский говорит о необходимости предусмотреть возможность сбросить на ИИ-серверы ядерные заряды — ведь в отличие от появления общего искусственного интеллекта, это приведет к уничтожению только части человечества, а не всего вида.
Deus Ex Machina — почему для TECREAL важен общий ИИ
По мнению Торреса и Гибру, комплекс TESCREAL-идей не случайно воплощается в увлеченности Кремниевой долины темой искусственного интеллекта.
На стыке всех его идеологий — вера в наступление технологической утопии, в которой технологии развивают сами себя неконтролируемо для человека. В своей книге «Суперинтеллект: пути, опасности, стратегии» Ник Бостром описывает этот момент «взрыв интеллекта», который произойдет, когда машины гораздо умнее нас и начнут проектировать свои собственные машины
Бостром и другие современные трансгуманисты соотносят ту самую точку сингулярности с моментом созданием общего искусственного интеллекта (AGI — artificial general intelligence).
Единого определения концепции AGI нет, но в общих чертах ее можно представить так. Даже самые продвинутые нейросети, существующие сегодня, способны решать только узкопрофильные задачи, для которых они и были разработаны: генерировать текст или изображение, находить экономические макротенденции или предсказывать погоду.
Общий ИИ – это принципиально новое поколение моделей, которые, как считается, будут максимально приближены к человеческому разуму и способны к самообучению. Общая (или сильная) нейросеть, по выражению сооснователя Apple Стива Возняка, будет способна зайти в случайный дом и приготовить себе кофе: то есть, самостоятельно поставить себе цель освоить новый навык и сделать это.
Размытость в определении общего ИИ обусловлена тем, что никто не может с уверенностью сказать, когда искусственный интеллект достигнет такого уровня, как это будет выглядеть и к чему приведет. Потенциал и опасность такого инструмента вызывают ожесточенные дискуссии в индустрии.
Почему критикуют TECREAL
По статьям Торреса может показаться, что он упрекает TESCREALистов во всех грехах на свете. Например, он обвиняет их в том, что трансгуманистские идеи якобы берут корни в евгенике, или в расистких скандалах, в которых оказались замешаны их сторонники. Тем не менее, в критике ученого прослеживается одна магистральная тема — критика утилитаризма.
Как считает Торрес, пагубной отправной точкой и для оптимистов, и для скептиков является вера в отдаленное утопическое будущее, ради которого придется принести в жертву благосостояние отдельных людей.
Именно этот «прагматичный» подход объединяет самых разных сторонников TESCREAL-идеологий. Ученый приводит в пример шутку Альтмана о том, что катастрофы, которые не повлияют на наше постчеловеческое будущее на небесах — «простая рябь на поверхности великого моря жизни».
Этой же порочной логике, как считает Торрес, подчинены и высказывания Юдковского, и книга МакАскилла «Что мы должны будущему», где тот, в частности, рассуждает о том, что целенаправленное уничтожение живой природы может быть полезным и рациональным, так как положит конец страданиям диких животных.
По мнению Торреса, счастье будущих поколений, которым оперируют все TESCREAL-исты — абстрактное понятие, ведь речь идет о благополучии еще несуществующих людей.
Критикуя идеологию радикального долгосрочного планирования, Торрес утверждает, что ее результатом всегда будет взгляд на человека не как на цель, а как на средство достижения ценности. И вера в счастливое технологичное будущее, и самые мрачные прогнозы по поводу него выводят в повестку дня утилитаризм, где человек настоящего — только способ для достижения чего-то грядущего.
Вспоминая кантовский императив, согласно которому человек — цель, а не средство, Торрес призывает человечество отказаться не от того или иного взгляда на технологический прогресс, а от парадигмы, в которой цель превалирует над средством, которым неизбежно оказываются живые люди.
Утопия против вымирания: что не так с критикой TECSREAL
Может показаться, что в критических замечаниях Торреса не хватает предметности: по большей части его рассуждения опираются на громкие цитаты TESCREALистов.
Автор сосредотачивает свое внимание на риторике и дискурсе TESCREALистов, которая, по его мнению, и создает вокруг их идей ареол культа.
Главная проблема теории Торреса — в том, что его идеи не менее экстравагантны, чем TESCREAL, и радикально противоположны им в видении идеального будущего для человечества. Если TESCREALисты предлагают пожертвовать всем, чтобы будущие поколения были счастливы, то левый философ считает гуманным будущем человечества несмешное вымирание.
Собственный взгляд на глобальные проблемы Торрес излагает в своей книге «Вымирание человечества: история науки и этики аннигиляции», вышедшей в 2023 году. Автор рассказывает, как христианство вывело проблему исчезновения нас как вида из повестки дня, заменив ее идеей неизбежного спасения душ.
Первый сдвиг в этой области произошел с появлением ядерного оружия, но тогда казалось, что только человек может уничтожить сам себя. Затем появились и другие опасения по поводу возможного вымирания человечества: извержение супервулканов, падение метеоритов (с появлением соответствующей теории о вымирании динозавров), а затем и страх перед надвигающимся климатическим кризисом.
Это привело к идее необходимости предотвратить вымирание человечества любым возможным способом. Но так ли она неоспорима?
Полезное от Онлайн Патент:
Какие выгоды можно получит от регистрации программы для ЭВМ?
Не только айтишники: какие компании могут внести свои программы в Реестр отечественного ПО?
Больше контента о сфере интеллектуальной собственности в нашем Telegram-канале
