Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) разработали новую модель искусственного интеллекта, вдохновлённую нейронными колебаниями в мозге. Цель работы — усовершенствовать процессы обработки длинных последовательностей данных алгоритмами машинного обучения.
ИИ часто испытывает трудности с анализом сложной информации, которая получает апдейты в течение длительных периодов времени, например климатических изменений или финансовых данных. Один новый тип модели ИИ — «модель пространства состояний» (state-space model) — был разработан специально для более эффективного понимания этих последовательных закономерностей.
Существующие модели пространства состояний часто сталкиваются с трудностями: они могут быть нестабильными или требовать значительного количества вычислительных ресурсов. Чтобы решить эти проблемы, исследователи CSAIL Константин Раш и Даниэла Рус разработали «линейные колебательные модели пространства состояний» (LinOSS), которые используют принципы вынужденных гармонических осцилляторов — концепцию, глубоко укоренившуюся в физике и наблюдаемую в биологических нейронных сетях. Этот подход обеспечивает стабильные и вычислительно эффективные прогнозы без чрезмерно ограничивающих условий для параметров модели.
«Наша цель состояла в том, чтобы зафиксировать стабильность и эффективность, наблюдаемые в биологических нейронных системах, и перевести эти принципы в структуру машинного обучения. С LinOSS мы можем изучать дальние взаимодействия, даже в последовательностях, охватывающих сотни тысяч точек данных или больше», — объясняет Раш.
Более того, исследователи доказали универсальную аппроксимирующую способность модели, то есть она может аппроксимировать любую непрерывную причинно-следственную функцию, связывающую входные и выходные последовательности.
Эмпирическое тестирование показало, что LinOSS последовательно превосходит существующие современные модели в различных сложных задачах классификации и прогнозирования последовательностей. В частности, она обошла широко используемую модель Mamba почти в два раза в задачах, связанных с последовательностями данных чрезвычайной длины.
Исследователи ожидают, что LinOSS может существенно повлиять на любые области, которые выиграют от точного и эффективного долгосрочного прогнозирования и классификации, включая аналитику здравоохранения, климатологию, автономное вождение и финансовое прогнозирование.
«Эта работа является примером того, как математическая строгость может привести к прорывам в производительности и широкому применению. С LinOSS мы предоставляем научному сообществу мощный инструмент для понимания и прогнозирования сложных систем, сокращая разрыв между биологическим вдохновением и вычислительными инновациями», — говорит Рас.
Исследователи планируют применить свою модель к ещё более широкому диапазону различных модальностей данных. Более того, они предполагают, что LinOSS может предоставить ценные идеи в области нейронауки, потенциально углубив понимание мозга.
Ранее, чтобы повысить надёжность моделей обучения с подкреплением для сложных задач с вариативностью, исследователи Массачусетского технологического института представили более эффективный алгоритм. Он стратегически выбирает лучшие задачи для обучения агента ИИ, чтобы он мог эффективно выполнять все таски из одного набора.
