Что такое «сверхвыразительные» нейросети?

С точки зрения математики нейронные сети аппроксимируют многомерные непрерывные функции при помощи более простых одномерных.

Проблема точного представления многомерных функций через одномерные ещё в 1900 году была сформулирована немецким математиком Давидом Гильбертом. Она известна как «13-я проблема Гильберта о суперпозициях непрерывных функций».

В общем виде решение этой проблемы описывает теорема Колмогорова — Арнольда. Она показывает, что любую непрерывную функцию нескольких переменных можно выразить с помощью непрерывных функций одной переменной и операции сложения.

Проще говоря, теорема Колмогорова — Арнольда даёт возможность выразить сложные функции как комбинации простых. В машинном обучении на этом строится численная модель, которую дальше можно подстраивать для выражения заданной функции.

Построенная таким способом модель используется при создании так называемых «сверхвыразительных» нейросетей, которые обладают высокой способностью к аппроксимации сложных функций и представлению сложных зависимостей в данных.

Главная особенность сверхвыразительных нейронных сетей состоит в том, что при конечной сложности они способны аппроксимировать достаточно широкий класс непрерывных функций.

Причины сделать нейросети сверхвыразительными:

• академический интерес;

• поиск универсального инструмента для максимально широкого спектра задач.

Но не всегда рационально использовать мультитул. Часто сочетание специализированных инструментов оказывается эффективнее. К тому же, слишком большая выразительная способность нейросети потребует гораздо более строгого обучения, которое может стать экстремально сложным, создавая проблемы надёжности и безопасности.