Исследователь из компании Anthropic Джейкоб Коксон ушёл из ИИ-индустрии, опасаясь, что гонка технологических корпораций приближает мир к «точке невозврата»:
Я ушёл из Anthropic сегодня. Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями. Больше мыслей ниже.
Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и прогресс не замедляется.
Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Если уж на то пошло, многие руководители и старшие исследователи будут подбирать слова в прессе так, чтобы звучать разумно, — но я слышу, как те же самые люди выражают страх наедине. Никакая другая человеческая деятельность не несёт такой степени опасности.
Типичный ответ: «Если они действительно в это верят, почему они всё ещё это строят?» В OpenAI многие не осознали в полной мере цивилизационные ставки. В Anthropic ставки хорошо поняты, но они оказались в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому им самим приходится это делать, несмотря на риск.
Принятие этой гонки и вступление в «эндшпиль» — это горделивый риск, который не должен запускаться из Slack частной компании. Попытка форсировать выравнивание должна требовать чрезвычайной уверенности в том, что нет лучших траекторий.
Я оптимистично настроен относительно потенциала координации. Предупреждающие сигналы, такие как атака на Hugging Face, сделали соглашения о темпах между американскими лабораториями более осуществимыми. Я не чувствую, что мы на правильном пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей.
Если вы исследователь в лаборатории, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения RL с суперразумным интеллектом, не имея строгого понимания его разума? Должны ли вы просто опустить голову, потому что «это всё равно произойдёт» — или использовать этот момент, чтобы призвать к иным условиям?
блоков, вы к ним добавляете еще 
блоков и получаете право потерять любые 
блоков из
, РС код позволит восстановить потерянное. РС код состоит из нескольких рутин с многочленами, реализация за 
-- уровень сложного практического задания на курсе по вычислительной алгебре. В теории еще с 80-х годов было подозрение, что эти рутины можно полностью сделать на основе FFT, получить вычислительную сложность хотя бы 
и быстрый алгоритм на его основе. На практике с этим было много проблем, первая и по большому счету единственная практическая реализация со сложностью 
появилась в 2016 году в Leopard-RS на основе работы 
, у XDRS параметры должны быть степенями двойки) 
можно расширить. Пусть 
получается путем перемножения всех этих чисел и прибавления единицы:
. Но ни одно из простых чисел 
не является делителем 
, потому что при делении 
на каждое из них остается остаток 1. Следовательно, 
является новым простым числом, которого не было в предыдущем списке. Таким образом, мы всегда можем найти еще одно простое число, а значит, простых чисел должно быть бесконечно много.
. Затем перемножим их и прибавим единицу:
, поэтому его разложение на простые множители должно содержать новые простые числа, которых нет в списке. Это противоречит нашему предположению о том, что в списке уже содержатся все простые числа.
доказывают напрямую, предполагают 
, а затем выводят различные дальнейшие следствия
и так далее, прежде чем в конечном итоге прийти к 
. Таким образом, мы получаем целый контекст, описывающий, как устроены миры, в которых выполняется 
.
, а затем выводят дальнейшие следствия, описывающие, как устроены миры, в которых q не выполняется, прежде чем в итоге заключить 
.
и 
, то есть нечто, что в конечном счете оказывается невозможным ни в одном мире. Поэтому такое доказательство ничего не сообщает нам ни об одном математическом мире, кроме самого факта истинности импликации 
."
