До недавнего времени все взаимодействия с нейросетью использовались лишь как контекст для следующего шага – и тут же забывались. Команда ученых из Принстона посчитала такой подход системной ошибкой и разработала архитектуру, которая превращает эти мимолетные сигналы в тренировочный материал. Фреймворк не делает различий между личной перепиской, работой в командной строке, задачами по разработке ПО или вызовами инструментов – все стекается в один конвейер для улучшения единой модели.
По словам исследователей, в этих постсигналах скрыты два типа информации, которые ранее игнорировались. Первый – оценочный. Если пользователь переспрашивает то же самое, модель фиксирует неудовлетворенность. Если автоматический тест проходит – действие было верным. Сигналы становятся естественной оценкой качества каждого шага без необходимости ручной разметки. Прежние методы в лучшем случае использовали такие данные постфактум, выуживая их из заранее собранных датасетов.
Второй тип – направляющий. Когда человек пишет “Надо было сначала проверить файл”, эта реплика содержит не просто оценку (“плохо”), а конкретное указание, что именно следовало сделать иначе. Обычные системы обучения с подкреплением сжимают такую обратную связь в обычное число (награду), теряя по дороге всю содержательную часть.
Архитектура OpenClaw-RL разбита на четыре несвязанных блока: один обслуживает запросы к модели, второй управляет окружениями, третий оценивает качество ответов, а четвертый занимается непосредственно тренировкой весов. Ни один из них не ждет другой: модель отвечает на следующий запрос пользователя в тот момент, когда модель-оценщик анализирует предыдущий ответ, а тренировочный модуль параллельно обновляет веса.
Исследователи проверили OpenClaw-RL на модели Qwen3-4B в двух симулированных сценариях. В первом языковая модель играла студента, который использует OpenClaw для домашних заданий, но не хочет, чтобы его распознали как ИИ. Во втором – преподавателя, которому нужен конкретный фидбек по работам.
В сценарии со студентом показатель персонализации подскочил с 0,17 до 0,76 всего за восемь шагов обучения при комбинированном методе. Binary RL в одиночку достиг лишь 0,25, и OPD в одиночку также показал 0,25 после восьми шагов, но догнал до 0,72 после 16 шагов. В сценарии с учителем оценка выросла с 0,22 до 0,90.
Для общих агентов фреймворк протестировали с разными версиями Qwen3 на задачах с командной строкой, графическим интерфейсом, разработкой ПО и вызовом инструментов. И здесь интеграция добавочных оценок помогла. В сценарии с вызовами инструментов точность выросла с 0,17 до 0,30, а для графического интерфейса – с 0,31 до 0,33.
Исследователи утверждают, что их фреймворк – первая система, объединяющая несколько одновременных потоков взаимодействия (от личных разговоров до задач разработки) в едином тренировочном цикле. Исходный код доступен на GitHub.
Хотя принстонский проект использует название популярного открытого AI-агента OpenClaw и опирается на его инфраструктуру, это независимое исследование, уже не связанное напрямую с основной командой платформы. Основатель OpenClaw Питер Штайнбергер передал проект в фонд и перешел в OpenAI для работы над следующим поколением персональных AI-агентов.
Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!
