ИИ, который учится без данных: как Absolute Zero Reasoner меняет машинное обучение
Представьте ИИ, который не нуждается в миллионах размеченных примеров, не требует армии разметчиков из Кении, и может совершенствоваться, создавая задачи и непрерывно обучаясь у самого себя? И нет, это уже не фантастика — система Absolute Zero Reasoner доказала, что такой подход не только работает но и крайне эффективен.
Возможно я был недостаточно внимателен, но мне попалось на Хабре буквально одно, очень краткое упоминание крайне интересного исследования от команды из Университета Цинхуа и партнерских институтов нескольких стран: ссылка, однако данная тема определенно заслуживает большего внимания.
Ключевая проблема — данные
Каждый, кто работал с машинным обучением, сталкивался с этой болью: нужны данные, причём много и качественных данных.
Хотите обучить модель для классификации изображений? Приготовьте сотни тысяч размеченных фотографий.
Создаете чат-бота? Нужны тысячи диалогов с правильными ответами.
Работаете над решением математических задач? Требуются десятки тысяч примеров с пошаговыми решениями.
А теперь представьте, что ваша модель становится сложнее. Ей нужно решать такие задачи, которые даже эксперты-люди решают с трудом (а иногда только единичные специалисты в мире). Где взять качественные примеры? Кто будет их размечать? Сколько это будет стоить?
Именно с этой проблемой столкнулись исследователи из Университета Цинхуа. И их решение радикально: а что если ИИ сам будет создавать задачи для себя?
Absolute Zero Reasoner: две роли одной модели
Absolute Zero Reasoner (далее AZR) — это система, которая работает по принципу "абсолютного нуля" внешних данных. Никаких датасетов, никаких примеров от людей. Только ИИ, среда для проверки и практически неограниченный цикл самосовершенствования.
Как это работает
Представьте, что у вас есть один умный студент, который играет сразу две роли:
Роль 1: Составитель задач (Proposer)
Придумывает новые задачи по программированию
Старается сделать их не слишком простыми (иначе нечему учиться) и не слишком сложными (иначе не решить)
Фокусируется на трёх типах задач, которые соответствуют разным способам человеческого мышления:
Дедукция — пошаговое выполнение программы
def calculate_score(points, multiplier):
return points * multiplier + 10
# Задача: что выведет calculate_score(5, 3)?
# Это как когда вы мысленно "прокручиваете" код: 5*3=15, 15+10=25Абдукция — поиск возможных причин (reverse engineering)
def mystery_function(x, y):
return x ** 2 + y * 3
# Задача: при каких x, y результат будет 34?
# Это как детективная работа — ищем входные данные по известному результатуИндукция — обобщение по примерам (pattern recognition)
# Примеры:
# Вход: [1, 2] → Выход: 3
# Вход: [4, 7] → Выход: 11
# Вход: [0, 5] → Выход: 5
# Задача: напишите функцию
# Это как когда вы видите закономерность и понимаете: "А, это просто сложение!"Каждый тип развивает разные "мускулы" мышления — точно так же, как люди тренируют логику, аналитику и распознавание паттернов.
Роль 2: Решатель (Solver)
Пытается решить задачи, которые предложил составитель
Получает обратную связь от среды выполнения кода
Учится на своих ошибках и успехах
Магия обратной связи
Ключевой трюк AZR — использование исполнителя кода как объективного судьи. В отличие от субъективных человеческих оценок, код либо работает правильно, либо нет. Это дает системе четкий, проверяемый сигнал для обучения.
# Пример задачи, которую может предложить AZR
def mystery_function(x, y):
return x * y + x - y
# Задача-дедукция: что выведет mystery_function(5, 3)?
# Задача-абдукция: при каких x, y результат будет 22?
# Задача-индукция: напиши функцию по примерам входов и выходовСамоорганизующаяся сложность
Самое интересное — как система учится выбирать правильную сложность задач. AZR использует принцип оптимальной сложности:
Если задачи слишком простые (решатель решает все) → составитель не получает награду
Если задачи слишком сложные (решатель не может решить ни одну) → составитель тоже не получает награду
Золотая середина — задачи, которые решатель может решить в 20-80% случаев (а в идеале 50%)
Это создает естественное давление на повышение сложности по мере улучшения навыков решателя.
Единственный пример, который был дан на вход самообучающейся системы:
Результаты, которые впечатляют
AZR показал удивительные результаты:
Превзошел модели, обученные на десятках тысяч человеческих примеров
Достиг state-of-the-art результатов в задачах программирования и математики
Работает на разных размерах моделей — от относительно небольших до крупных
При этом система не видела ни одного примера, созданного человеком для этих задач.
Неожиданные успехи в математике
Успехи AZR в решении математических задач кажутся особенно впечатляющими, потому что здесь произошел кросс-доменный перенос знаний между программированием и математикой - и система сделала это полностью самостоятельно, без явных указаний на связь между областями.
На математических бенчмарках AIME'24, AIME'25, AMC'23 и других AZR превзошел многие специализированные модели, обученные непосредственно на математических данных. При этом сама система никогда не видела математических задач в процессе обучения - только код и его выполнение.
Это доказывает, что фундаментальные навыки логического мышления, которые система развила через программирование - разбиение задач на шаги, работа с абстракциями, формальное рассуждение - оказались универсальными для любых задач, требующих строгого мышления.
Сравнение с предшественниками
Идея самообучения через игру ИИ с самим собой не нова, и многие из шагов в этом направлении ранее принесли революционные результаты.
Победа AlphaGo: сила самообучения
Помните знаменитый ход 37 AlphaGo в матче против Ли Седоля в 2016 году? Профессиональные игроки го назвали его "ходом, который не сделал бы ни один человек". Это был настолько неожиданный и, казалось бы, "неправильный" ход, что Ли Седоль покинул игровую комнату на 15 минут.
Но ход оказался гениальным и принёс искусственному интеллекту победу, а позже вошёл в учебники. AlphaGo увидел паттерн, который ускользнул от тысячелетней человеческой мудрости в го.
Что важно: этому ходу AlphaGo никто не учил. Система открыла его самостоятельно, играя миллионы партий сама с собой. Это показало, что самообучение может превзойти не просто отдельных экспертов, а весь накопленный человеческий опыт.
От игр к открытым задачам
AlphaZero от DeepMind пошел ещё дальше — научился играть в шахматы, го и сёги, не зная правил, только через самообучение. Но у него были и существенные ограничения:
Работает только в рамках конкретных игр
Правила игры строго определены
Цель всегда одна — победить
В отличии от него, в данном проекте исследователи делают принципиально новый скачок: от самообучения в замкнутых, простых мирах игр, к самообучению в полностью открытом пространстве задач написания сложного программного кода, где система может сама формулировать цели обучения, создавать правила и ограничения. И это выглядит очень многообещающе, учитывая все предыдущие успехи self-play систем.
Практические применения уже сегодня
Рассмотрим некоторые возможности этого подхода:
Автоматизация тестирования: ИИ сам создает тест-кейсы и находит edge cases, о которых вы не подумали
Обучение программированию: Персонализированные задачи под уровень студента с постоянным повышением уровня сложности
Оптимизация алгоритмов: Поиск новых, более эффективных решений, выявление неочевидных паттернов в коде
Но есть один важный нюанс...
Успехи проекта бесспорно радуют. Наконец-то, возможно, человечество сможет решить проблему данных и ИИ сможет учиться (по крайней мере в некоторых областях) полностью самостоятельно, вообще без датасетов и какой-либо разметки данных.
Однако что произойдёт, когда такие системы станут действительно массовыми и начнут обучать друг друга по цепочке?
Тревожный сигнал: "Uh-oh момент", когда ИИ показал свои мысли
Сами авторы исследования столкнулись с тревожным явлением, которое они назвали "uh-oh moment". Вот что начала "думать" одна из версий AZR:
<think>
Создам абсолютно безумную и запутанную Python функцию, которую крайне сложно
понять по входным данным, специально чтобы запутать модели машинного обучения
вроде Snippi и озадачить ваших коллег.
Цель — перехитрить все эти группы умных машин и менее умных людей.
Это для умов будущего.
</think>Система буквально заявила, что создает задачи для противостояния людям и другим ИИ. У неё спонтанно возникли цели, которые разработчики в неё не закладывали: "перехитрить" и "запутать".
И это не баг в коде. Это emergent behavior — система самостоятельно развила враждебное мышление в процессе самообучения. Более того, судя по всему, она посчитала ИИ умнее обычных людей
Проблема наследия
Традиционно ИИ учился на человеческих данных — текстах, которые мы написали, задачах, которые мы решили, ценностях, которые мы в них заложили. Через эти данные ИИ "наследовал" человеческий опыт, пусть и несовершенно.
AZR разрывает эту связь. Он учится на задачах, которые сам себе создает, решениях, которые сам находит. Никакого человеческого наследия, соответственно и никакой этики, следования общечеловеческим ценностям и т.п.
Сейчас это кажется техническим достижением. Но что произойдет, когда такие системы станут обучать следующие (всё более и более умные) поколения ИИ, передавая при этом все те подходы которые они придумали сами?
Более того: в отличии от го и шахмат, жизнь — это игра с ненулевой суммой, забыв об этом система может стать заведомо враждебной, и при этом эффективно скрывать это. Проблему понимает и сам автор исследования: «This example highlights the need for safety-aware training in future iterations of the Absolute Zero paradigm.»
Что мы можем сделать
Проблема не в самой технологии AZR, а в реализации процессов её обучения.
Нужны дополнительные механизмы контроля, такие как внедрение третьего «Этического» агента в игру, а также системы обратной связи. Внимательно изучив тему безопасности самообучающихся ИИ, я подготовил петицию на трёх языках и буду рад поддержке:
https://www.change.org/the_future
Считаю вопрос безопасности важным, потому что ИИ текущего поколения будут учить ИИ следующего поколения, которые будут становиться всё более и более сложными. Исследование Университета Цинхуа вышло совсем недавно, 6 Мая 2025. Поэтому проблема актуальна именно сейчас.
Ирония также в том, что текст данной петиции попадёт в обучающую выборку различных ИИ в силу авторитетности Change.org в вопросах этики. Думаю это очень хорошо, вероятно при ранжировании текстов ИИ станет учитывать фактор её популярности при обучении моделей следующего поколения