Илья Суцкевер, сооснователь OpenAI и глава новой лаборатории SSI, в интервью Дваркешу Пателю заявил о завершении "эпохи масштабирования" (Age of Scaling). По его мнению, период с 2020 по 2025 год, когда прогресс достигался преимущественно наращиванием вычислительных мощностей и объемов данных, сменяется новой "эпохой исследований" (Age of Research). Следующие годы будут во многом похожи на ранний период глубокого обучения, когда ключевыми были архитектурные прорывы и новые идеи, а не просто размер кластера. Стратегия экстенсивного роста уперлась в естественный потолок — конечность данных для предварительного обучения (pre-training).

Главная проблема, которую предстоит решить, — колоссальная неэффективность обучения нейросетей по сравнению с человеком. Суцкевер приводит в качестве примера вождение: подростку достаточно 10–20 часов практики без четкой функции вознаграждения, чтобы поехать в потоке. Современным же RL-системам для аналогичного результата требуются огромные ресурсы и долгое время в симуляциях.

Суцкевер отмечает, что люди много раз успешно осваивали навыки, которых не было в их эволюционной истории — например, программирование, высшая математика. Это доказывает существование в нашем мозге универсального и мощного алгоритма адаптации, который превосходит используемую в нейросетях связку Backpropagation и Reinforcement Learning. Пока мы не найдем этот "секретный ингредиент", современные модели будут оставаться парадоксально хрупкими: способными решать олимпиадные задачи по математике, но "сыпаться" на простых логических тестах или зацикливаться при исправлении элементарных багов.

Именно поэтому стратегия новой компании Суцкевера, SSI (Safe Superintelligence), строится не на участии в коммерческой гонке, а на "прямом выстреле" к суперинтеллекту через фундаментальную науку. Илья намерен изолировать команду от рыночной суеты и выпуска промежуточных продуктов, чтобы сос��едоточиться на поиске этого недостающего звена в ML. Если раньше масштабирование давало гарантированный результат, то теперь инженерам снова придется изобретать.

Конечная цель SSI — создать систему, которая не просто обладает энциклопедическими знаниями (что уже сделано), а способна осваивать любую новую интеллектуальную работу так же быстро, глубоко и надежно, как это делает человек. Разница лишь в том, что, однажды освоив этот "правильный" метод обучения, цифровая система сможет масштабироваться бесконечно, преодолев биологические ограничения, которые есть у нас.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.