Что такое Nested Learning? Попросила об этом подробнее рассказать моих коллег из лаборатории искусственного интеллекта в «Криптоните».
У языковых моделей существуют фундаментальные ограничения, которые не дают им непрерывно обучаться.
В Google Research совместно с Университетом Южной Калифорнии предложили новую парадигму обучения.
Она получила название Nested Learning, или «вложенное обучение», поскольку использует набор вложенных задач оптимизации, каждая из которых имеет свой контекстный поток. С ней модель рассматривается как динамичная архитектура, в которой каждый компонент модели обучается в своём собственном контексте и со своей частотой обновления.
Nested Learning — это подход к разработке алгоритмов обучения с большим количеством уровней, приближающий к идее непрерывного обучения. В нём используются три ключевых элемента: оптимизаторы с глубокой памятью, самореферентный (изменяющий сам себя) модуль обучения и система непрерывной памяти (continuum memory) вместо её традиционного разделения на долговременную и кратковременную.
Авторы проводят параллель с человеческим мозгом: в отличие от сферы ИИ, где «запоминание» и «обучение» часто считаются синонимами, в нейрофизиологии эти понятия различаются. Запоминание — это обновление нейронных состояний под воздействием сигнала, в то время как обучение — приобретение «полезной» памяти, фиксирование нейронных изменений, способствующих решению какой-либо задачи.
Оба процесса лежат в основе ассоциативной памяти — способности логически связывать события. Авторы показывают, что все компоненты моделей (нейросети и оптимизаторы) являются системами ассоциативной памяти, сжимающими свой поток контекста. То есть, они отображают множество ключей на множество значений.