Что такое Nested Learning? Попросила об этом подробнее рассказать моих коллег из лаборатории искусственного интеллекта в «Криптоните».
У языковых моделей существуют фундаментальные ограничения, которые не дают им непрерывно обучаться.
В Google Research совместно с Университетом Южной Калифорнии предложили новую парадигму обучения.
Она получила название Nested Learning, или «вложенное обучение», поскольку использует набор вложенных задач оптимизации, каждая из которых имеет свой контекстный поток. С ней модель рассматривается как динамичная архитектура, в которой каждый компонент модели обучается в своём собственном контексте и со своей частотой обновления.
Nested Learning — это подход к разработке алгоритмов обучения с большим количеством уровней, приближающий к идее непрерывного обучения. В нём используются три ключевых элемента: оптимизаторы с глубокой памятью, самореферентный (изменяющий сам себя) модуль обучения и система непрерывной памяти (continuum memory) вместо её традиционного разделения на долговременную и кратковременную.
Авторы проводят параллель с человеческим мозгом: в отличие от сферы ИИ, где «запоминание» и «обучение» часто считаются синонимами, в нейрофизиологии эти понятия различаются. Запоминание — это обновление нейронных состояний под воздействием сигнала, в то время как обучение — приобретение «полезной» памяти, фиксирование нейронных изменений, способствующих решению какой-либо задачи.
Оба процесса лежат в основе ассоциативной памяти — способности логически связывать события. Авторы показывают, что все компоненты моделей (нейросети и оптимизаторы) являются системами ассоциативной памяти, сжимающими свой поток контекста. То есть, они отображают множество ключей на множество значений.
В качестве доказательства концепции NL авторы разработали архитектуру Hope, которая представляет собой самоизменяемый модуль с непрерывной памятью. Hope сочетает быстрое обучение (как у трансформеров) с долговременным хранением вновь полученных знаний. Он показал мноогообещающие результаты в задачах обучения новым языкам и в обработке сверхдлинных (свыше 10 М токенов) контекстов с сохранением логической цепочки рассуждений.
Возможно, Nested Learning и другие концептуально новые подходы в ML помогут создавать модели, которые учатся непрерывно и адаптивно — ближе к тому, как учится человек.
