Научпоп

Публикуется полный перевод статьи The AI Dilemma: Growth versus Existential Risk, опубликованной в 2024 году за авторством Чарльза Джонса (Charles I. Jones).

Эта статья ставит непростой этический вопрос: можем ли мы обменять ускоренный экономический рост и (возможное) увеличение продолжительности жизни, которое нам сулит повсеместное внедрение ИИ и рост самого ИИ до (предполагаемого) суперинтеллекта, на риски, связанные с полным уничтожением человечества как вида? В статье предлагается математическая модель, включающая параметры ускорения экономического роста, увеличения продолжительности жизни и риск уничтожения человечества сверхсильным ИИ. Этически неоднозначной статью делает утверждение, что существует и может быть теоретически оценен уровень риска для человечества, который "допускается принять" в обмен на ускорение экономического роста и увеличение средней продолжительности жизни...

Кроме того, текст и формулы снабжены комментариями @avshkol для помощи в понимании формул и части сложных мест работы, а также критическими комментариями @avshkol там, где предположения и выводы, сделанные в модели, заслуживают критики или иного взгляда (см. заключительный комментарий).

Чтобы понять, как на Земле возникла жизнь, приходится обращаться к вопросам химии, геологии, планетологии, физики и других наук. Но есть и более общий вопрос: каким образом случайные процессы приводят к появлению организованных, самовоспроизводящихся систем, способных хранить и передавать информацию? Этот вопрос можно исследовать в идеализированном мире компьютерного кода: задать в качестве начальных условий случайные последовательности и просто позволить системе развиваться дальше.

Если запустить множество таких случайных систем и позволить им мутировать и взаимодействовать друг с другом, возникнут ли в итоге “жизнеподобные”, самовоспроизводящиеся программы? Новая статья Блеза Агуэра-и-Аркаса и его соавторов показывает, что ответ, по-видимому, положительный. Это поднимает интересный вопрос: не является ли вычисление аттрактором в пространстве соответствующих динамических процессов? Если это так, последствия могут быть весьма существенными для нашего понимания происхождения жизни и того, насколько широко она распространена во Вселенной.

Блез Агуэра-и-Аркас получил степень бакалавра физики в Принстонском университете. В настоящее время он занимает должность вице-президента по инженерным разработкам в Google, руководит командой Cerebra и входит в команду Paradigms of Intelligence. Он автор книг Ubi Sunt и Who Are We Now?, а также готовящейся к выходу книги What Is Intelligence?

Вступление

ведущий (Шон Кэрролл): Всем привет и добро пожаловать в подкаст Mindscape. Сегодня у нас ситуация из разряда “есть хорошая новость и плохая”. Плохая новость в том, что в этом выпуске будет нецензурная лексика. Не потому, что мы вдруг решили особенно грубо выражаться или ругаться, а потому, что будем обсуждать компьютерные симуляции, написанные и запущенные на языке под названием Brainfuck. Прошу прощения у тех, кого может задеть такое название, но это вполне реальный язык программирования, и он действительно называется Brainfuck. Поэтому слово Brainfuck нам сегодня придется повторять снова и снова. Собственно, поэтому я произношу его уже сейчас - чтобы вы успели привыкнуть и знали, чего ожидать.

Хорошая новость в том, что оно того стоит. Нас ждет по-настоящему увлекательный разговор на чрезвычайно важную тему. В некотором смысле речь пойдет о происхождении жизни, хотя химии, биологии, геологии и тому подобного в нашей беседе будет совсем немного.

По всей территории Аппалачей и «Ржавого пояса» в США, в том числе в Питтсбурге, бывшие промышленные площадки превращаются в новые жилые районы, исследовательские центры и технологические кластеры. Однако на протяжении десятилетий в этих местах происходили и другие процессы преобразования.

Браунфилды («коричневые поля») — это бывшие промышленные или коммерческие территории, повторное освоение которых может быть осложнено загрязнением. Их часто определяют по тому, что осталось после прежней деятельности: заброшенным заводам, пустующим участкам и почве, загрязнённой канцерогенными соединениями.

Но под поверхностью браунфилды остаются живыми экосистемами. В этих почвах обитают миллиарды микроорганизмов. В Питтсбурге некоторые из них десятилетиями реагировали на загрязнение, оставшееся от промышленного прошлого города, и приспосабливались к нему.

Я микробиолог, и этой темой я заинтересовался благодаря браунфилду, который находится практически у меня на заднем дворе. Моя лаборатория в Университете Карнеги — Меллона расположена всего в 3 километрах от Hazelwood Green, бывшей промышленной территории площадью 72 гектара на берегу реки Мононгахила в Питтсбурге.

Более ста лет здесь находились сталелитейные предприятия, в том числе Jones & Laughlin Steel Co. На пике производства на этой площадке работали тысячи человек, и она внесла свой вклад в репутацию Питтсбурга как Стального города.

Промышленная история Питтсбурга оставила после себя и химическое наследие. Как и на многих других бывших промышленных территориях, почва Hazelwood Green была загрязнена нефтяными углеводородами, тяжёлыми металлами и другими веществами, из‑за чего территория была классифицирована как браунфилд. Среди загрязнителей присутствовали бензол, толуол, этилбензол и ксилол — группа соединений нефтяного происхождения, известная под общим названием BTEX. Эти вещества могут быть токсичными для человека и других организмов, а некоторые из них являются известными канцерогенами.

Это эссе я задумал сразу после выхода книги Элиезера Юдковского и Нейта Соареса «If Anyone Builds It, Everyone Dies». Потом книгу неожиданно перевели, и мне казалось, что пост уже потерял изрядную долю актуальности для русскоязычной аудитории.

За то время как переводили книгу LLM начали решать задачи Эрдёша. Затем вышла Mythos 5, из-за которой даже разразился политический скандал, но я всё равно считал, что пока мы находимся в состоянии, когда размышления о скором конце света представляют собой скорее развлечение, сродни чтению художественного романа. Потом наступило лето.

В июле рой агентов сам спланировал и провёл атаку на сервера Hugging Face, а вскоре начали появляться расследования о других диких сообществах LLM-агентов. Не успели толком разобраться, что именно произошло, как OpenAI заявила, что её агенты решили одну из задач тысячелетия, связанную с уравнениями Навье - Стокса. Я понял, что уже мне самому нужен этот текст - хотя бы как имитация разумной деятельности в тот момент, когда мир вот-вот опрокинется в бездну (или вершину) сингулярности.

В прошлый раз мы отследили путь возникновения схемы, которая легла в основу работы «номерных радиостанций». Мощные коротковолновые станции позволили передавать радиосигнал через океаны и континенты, а шифры Вернама обеспечили при строгом соблюдении процедуры принципиальную недешифруемость сообщений. Соответственно, «центр» или работавшие при посольствах сотрудники спецслужб теперь могли передавать даже сверхсекретные сведения и указания в открытый эфир — и быть почти на 100% уверенными, что расшифровать послания никто не сможет даже при очень большом желании. До ума эта система была доведена к началу Второй мировой войны — и одним из пионеров в её применении стала советская стратегическая разведка. Ещё до разгрома стран Оси на территории США и Британии развернулось незримое для непосвящённых, но масштабное сражение советских и западных спецслужб. Разведчики СССР и их агенты, в том числе высокопоставленные, собирали всю возможную информацию о ядерных разработках Манхэттенского проекта и пересылали её в Москву в основном посредством шифров Вернама. Американские контрразведчики и криптографы, в свою очередь, пытались расшифровать их сообщения, несмотря на применение системы абсолютной криптоаналитической устойчивости, — и «вскрыть» советскую разведывательную сеть, о реальных масштабах которой они поначалу даже не подозревали.

Когда-то Haier Group был небольшим заводом, который производил дешевые холодильники. Теперь это крупная китайская корпорация, чьи акции торгуются сразу на нескольких биржах (кстати, бумаги фирмы доступны в том числе российскому инвестору). Компания производит бытовую технику (холодильники, стиральные машины и т. п.), а также потребительскую электронику. Об истории становления корпорации и ее интеллектуальной собственности рассказываем в нашем материале. 

Когда надо что-то узнать об инструменте или сервисе, мне хочется сначала посмотреть, что о них пишут другие люди.

И за последний год эта привычка начала сбоить. Страничек в интернете не стало меньше, наоборот их количество выросло. Просто из восьми открытых вкладок семь рассказывают одно и то же, одними и теми же оборотами, в одном и том же порядке. 

Я понимаю, что текст скорее всего писал не человек. Это была ИИ-модель, скорее всего не шибком мудрёная и без грамотного промта. Для ИИ весь мир, вся информация, весть текст - это просто токены. Строки наподобие "RFg♴4#-f体$fÆmZ" и любая другая в конечном счете лишь набор чисел. Смысл за ними придумываем МЫ - человеки. И пытаемся донести этот смысл до нейросети, во время ее обучения. Текст у искусственного интеллекта это ни рыба, ни мясо - что-то усредненное между всеми обучающими данными.

Вот и интернет становится - усредненным. Истина и замысел размывается.

«Катти Сарк» (Cutty Sark) — один из тех редких кораблей, которых можно назвать блистательными неудачниками. Построенный в 1869 году ради одной очень конкретной задачи — как можно быстрее доставлять свежий чай из Китая в Лондон, — он появился почти ровно в тот самый момент, когда технический прогресс сделал эту задачу для парусников экономически нецелесообразной. Но вместо короткой и неудачной карьеры корабль «Катти Сарк» прожил несколько совершенно разных жизней: был чайным клипером, рекордсменом австралийской шерстяной линии, португальским грузовым судном, учебным кораблём и, наконец, музейным памятником эпохе парусного торгового флота.

Сегодня это единственный в мире целиком сохранившийся трехмачтовый чайный клипер. Значительная часть его конструкции (несмотря на сложности консервации и поддержания в порядке судна такого масштаба) сохранилась до наших дней в неизменном виде с 1869 года.

Одну минуту, господа, позвольте мне сменить фильтры и проверить, не отключат ли мне энергию, пока я пишу эти строки. За окном идиллическая картинка серого до горизонта неба, через которое не пробивается ни луча, а улица заполнена скопившейся черной грязью, которую никто не убирал весь сезон. Хотелось бы добавить что‑нибудь про импланты, но я едва ли не единственный из друзей, у которого их пока нет.

Как показывает практика, этого достаточно, чтобы многие из нас окрестили нашу ветку реальности киберпанком во плоти и удовлетворенно пошли панковать, сидя в телефоне или на диване. Правда, на практике это совсем не так. С вами @MorGott, и я изучил почти все, что есть в интернете, чтобы разобраться, что такое киберпанк на самом деле, почему аниме не создало и уж точно не убило его и что с ним стало в итоге. Заварите себе чаю, это будет долго, возможно даже немного сложно, но безусловно — интересно.

Несмотря на огромную численность населения Китая и Индии, наибольшая часть населения Земли ныне пользуется системами письма на основе латинского алфавита. Это и большая часть Европы, и обе Америки, за исключением нескольких экзотичных систем письма коренных народов, и Транссахарская Африка, и заметная часть Юго-Восточной Азии — меньше половины человечества, но не намного. Да и вторым языком Индии является английский — если приплюсовать его, то ежедневными пользователями алфавитов на латинской основе окажутся уже точно больше половины землян. История латинского алфавита начиналась более двух с половиной тысяч лет назад очень скромно, и первые его формы не слишком напоминали то, что мы знаем по чеканным классическим образцам. Однако письмо поначалу незаметного города на холмах по мере разрастания республики и империи распространилось с легионами до самых отдалённых рубежей античной Ойкумены, всё больше принимая знакомый нам облик и в процессе то теряя, то приобретая знаки. Последние из них добавились к стандартному ныне латинскому алфавиту очень поздно, когда о Римской империи уже лишь думали как о величественной древности. Попробуем разобраться, как латинское письмо появилось на свет и понемногу приняло современные формы.

В предыдущей статье были рассмотрены взгляды Эдвина Джейнса, который обосновывал субъективность энтропии на базе субъективной интерпретации вероятности. В этой статье рассмотрим другую линию обсуждения, связанную с мысленным экспериментом Лео Сциларда, предложенном в 1929 году. Правильное произношение Leo Szilard (1898 - 1964) - это Лео Силард, но я буду использовать старую транскрипцию, которая использована во многих учебниках.

В статье рассмотрена история появления мысленного эксперимента Сциларда: демон Максвелла, эксперименты с броуновским движением и попытки создания вечного двигателя второго рода, работы Мариана Смолуховского. После этого представлены идеи послевоенной физики, связанные с теорией информации Шеннона и появлением кибернетики. Предполагалось, что мысленный эксперимент Сциларда связывает термодинамическую энтропию и информацию и тем самым позволяет включить информацию в физическую теорию. Рассмотрены работы Леона Бриллюэна и появление термодинамики вычислений - работы Чарльза Беннета на основе принципа Рольфа Ландауэра.

Жизнь Милтона Херши, создателя The Hershey Company, по праву можно считать воплощением американской мечты. Шоколатье, филантроп и новатор, несмотря на недолгое обучение в школе (4 класса), за счет упорного труда построил шоколадную империю и даже город Херши, известный также как Chocolate Town или Шоколадный Город. 

Начиная с работы ученика кондитера, пройдя через несколько неудачных попыток открыть собственное дело, этот человек запечатлел свое имя в истории. Основанная в 1894 году The Hershey Company на сегодняшний день является пятой крупнейшей кондитерской компанией в мире, а её продукция для американцев сопоставима с «Алёнкой» среди россиян — этот бренд узнаваем и любим не одним поколением сладкоежек. 

Если одна половина бивекторного сектора четырёхмерного евклидова прото-пространства получает прочтение наблюдаемого пространства, может ли вторая половина естественно нести спинорную структуру – и откуда тогда берётся характерный для половинного спина возврат только после поворота на ?

Итан Сигел (американский астрофизик‑теоретик и научный журналист, автор рубрики «Спросите Итана», один из пропагандистов современных научных знаний), предлагает свой взгляд на возможность существования белых дыр.

@avshkol перевёл эту статью, поскольку всем нам кажется каким-то куцым тот объем знаний о Вселенной, который мы имеем в настоящий момент: ни тебе червоточин, ни перехода в другие измерения, ни возможности путешествовать быстрее скорости света... И в этом ряду стоят белые дыры, противоположность чёрных. Существование чёрных дыр так же было математически доказано, но обнаружены они были по историческим меркам буквально вчера... А что же белые? Ведь они тоже не противоречат математике ОТО, но противоречат ли они физической реальности?..

Представьте, что вам нужно построить один из самых чувствительных детекторов на Земле. Он находится глубоко под горой, защищён от космических лучей полутора километрами породы, детали для него очищают от следовых загрязнений, а рабочая температура находится всего в нескольких тысячных градуса выше абсолютного нуля.

И всё равно этого недостаточно. Вокруг слишком много радиации — не той, от которой люди ходят с дозиметром, а совершенно обычного естественного фона: следов урана и тория в материалах, продуктов их распада, космических частиц. Для человека всё это практически незаметно, но ваш прибор пытается зарегистрировать событие настолько редкое, что один случайный распад внутри защитного экрана может испортить измерение.

Поэтому физики берут свинец. Только современный свинец оказывается недостаточно хорош.

И тогда в дело идёт груз римского корабля, который затонул у берегов Сардинии больше двух тысяч лет назад. Часть его свинца в итоге оказывается не в музее, а глубоко под горой Гран‑Сассо, где из древнего металла делают радиационную защиту установки, ищущей процесс, который человечество пока вообще ни разу достоверно не наблюдало.

Самое существенное здесь в том, что это не легенда, придуманная вокруг научного проекта. Именно так всё и произошло.

Это шестая статья цикла о том, почему акустика, которая хорошо измеряется, может плохо звучать.

В первой статье выяснилось то, что АЧХ суммирует всю поступившую энергию независимо от времени её прихода. Во второй — что помещение добавляет к звуку большое количество отраженных копий и резонансов, с которыми надо научиться дружить. В третьей — что качество воспроизведения низких частот сухие цифры характеристик не отражают. Четвёртая спустилась глубже — до самого динамика: идеального решения не существует, а ошибки проектирования после покупки уже не исправить. Пятая (ч.1 и ч.2) была посвящена искажениям: что это такое, почему порядок гармоники важнее её абсолютной величины, и почему слух отзывается на эти явления совсем не так, как измерительный прибор. На тот момент все закончилось заменой усилителя, но проблема с высокими частотами осталась на месте.

С усилителями получилась занятная картина — эти устройства незаметно присутствовали фоном практически с самого начала цикла. Уже в первой статье я сознательно отложил разговор о них приняв допущение об их невиновности по сравнению с динамиками: измерительный стенд, синусоида, резистивная нагрузка и красивые цифры. Позже, в пятой, тема снова возникла вскользь — упоминались выходной каскад класса B, режекторный фильтр и мысль о том, чтобы управлять током вместо напряжения. Каждый раз разговор откладывался, и вот настал момент, когда откладывать дальше некуда.

Главный вопрос звучит просто: все ли усилители звучат одинаково? Когда происходили описываемые события готового ответа у меня не было. Понимание приходило постепенно, шаг за шагом. Мешало то, что распутывались сразу две нити, усилитель и источник сигнала, и понадобилось несколько заходов, чтобы понять, кто из них за что отвечает. Поэтому объяснение первопричин моего недовольства и разделилось надвое: источникам будет посвящена отдельная статья.

Немного экспериментальный формат, который надеюсь, вам зайдет. Мне лично очень нравится изучать разные темы вне статистики, аналитики и прикладных к ним темам, поэтому иногда для того, чтобы лучше разобраться с какой-то темой лучше всего ее попробовать объяснить или описать самостоятельно.

В данном материале речь пойдет про ИИ, но немного с непривычного формата - попробуем разобраться, зачем охлаждают и чем сейчас охлаждаются дата-центры, в которых происходят все расчеты того, какой шампунь для волос нам выбрать или как написать слово "винегрет" без ошибок. И за каждым таким ответом стоят серверы, а серверы эти во время работы выделяют довольно много тепла.

Один сломанный драйвер принтера, который нельзя было починить, потому что код был чужой собственностью. И вот так родилось движение, изменившее юридическую архитектуру половины современного софта.

Это седьмая статья цикла “Код как борьба: Кратчайшая история IT”. И сразу хочу предупредить о структуре статьи, она будет чуть сложнее, чем обычно. Нам придётся держать в голове одновременно две вещи, которые нельзя смешивать в одну оценку. Техническое и юридическое наследие нашего героя - это одна история, вполне нейтральная. А личная куда более сложная.

Продолжаем историческую одиссею в мир советского айти и микрокомпьютеров, служивших в него пропуском.

А задумывались ли вы, почему вооон тот водитель, который объехал вас шашечками по соседней полосе, не прав? С 50-х годов прошлого века об этом много кто размышлял и даже кое-что посчитал. Только начиналось все не с нейросетей и не с анализа миллионов записей с GPS. 

Предлагаю посмотреть на этот вопрос со стороны истории науки. В этой статье пройдемся по тому, с чего начали в описании автомобильного потока, как догадались, что пробки возникают не только из-за аварий и когда ввели в математическую модель “личность” водителя. Пройдемся по результатам вычислений, к которым удалось прийти задолго до появления машинного обучения.