К 2030 году человечеству придется принять одно из самых важных решений в истории технологий — разрешить ли ИИ обучать себя самому. Так считает Джаред Каплан, сооснователь и главный ученый Anthropic, один из авторов законов масштабирования, которые легли в основу GPT-3 и последующих моделей. В большом интервью The Guardian он назвал это "самым большим решением" и "предельным риском" эпохи ИИ.

Почему именно 2030-й? По оценке Каплана, ИИ человеческого уровня — тот, что справляется с большинством офисных задач не хуже человека — появится в ближайшие 2–3 года. После этого откроется возможность для рекурсивного самоулучшения: система проектирует более мощную версию себя, та — еще более мощную, и так далее. Сейчас ИИ уже помогает обучать ИИ, но люди остаются в петле: выбирают архитектуру, проверяют результаты, ставят ограничения. Вопрос в том, когда отпустить руль.

"Представьте процесс, где ИИ умнее вас создает ИИ, который намного умнее. Потом подключает его, чтобы сделать еще более мощную систему. Это выглядит довольно страшным. Вы не знаете, где он остановится", — описывает Каплан сценарий, который может стать реальностью к концу десятилетия.

Дилемма, которую он обозначает, не сводится к простому выбору между прогрессом и безопасностью. С одной стороны — огромный потенциал: ускорение открытий в медицине, физике, материаловедении. Внутри Anthropic использование ИИ для написания кода уже удваивает скорость работы программистов. С другой — риск потери контроля и наблюдаемости: если люди не понимают, как модель принимает решения уже сейчас, то многошаговый автономный цикл станет полностью непрозрачным. Каплан прямо говорит: разрешим самоулучшение — рискуем потерять контроль; запретим — отстанем в гонке, причем не только отдельные компании, но и цивилизация в целом.

При этом Каплан — не пророк апокалипсиса. Он верит в позитивный потенциал ИИ, но считает важным заранее проговорить самый сложный сценарий. Это эволюция его позиции, а не разворот: тот же человек, который продвигал идею "масштабируем и используем ИИ для надзора за ИИ", теперь честно признает — у этой логики есть потолок, за которым начинается зона радикальной неопределенности.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.