Привет. Меня зовут Макс, с недавнего времени я занимаюсь в AIRI вопросами ИИ для вычислительной химии и физики. А до того работал в научной группе Т‑Банка, где занимался проблемой неопределенности нейронных сетей. Недавно нашу статью «Identity Curvature Laplace Approximation for Improved Out‑of‑Distribution Detection» приняли на WACV 2025 — престижную конференцию по машинному зрению.
В этой работе мы доказываем, что традиционные методы оценки неопределённости из семейства аппроксимаций Лапласа, основанные на учёте кривизны параметров модели с помощью Гессианов, не только излишне ресурсозатратны, но и в ряде случаев неточны. Взамен мы предлагаем использовать аппроксимацию с единичной матрицей и показываем, что на некоторых датасетах это работает лучше других классических вариантов аппроксимаций Лапласа, а иногда даже лучше небайесовских методов.
Подробнее о новом методе — в тексте ниже.
Нейронные сети применяются во многих областях, например, компьютерном зрении или обработке языка. Некоторые из них, однако, требуют серьезного внимания к механизму принятия моделями решений. Возьмём медицину: нам полезно разделять ситуации, когда нейронная сеть четко понимает, какой диагноз поставить, а когда нет, и научить её отказываться от своего решения в нужный момент. От этого может зависеть здоровье или даже жизнь пациента!
В таких случаях полезно оценивать неуверенность модели, решая задачу обнаружения примеров вне обучающего распределения (out‑of‑distribution detection). Она заключается в том, чтобы отличить данные из тренировочного домена (in‑distribution или ID) от различных выбросов и аномалий (out‑of‑distribution или OOD).
Например, если мы тренируем классификатор для задачи классификации кошек и собак, то кошки и собаки — это ID данные, а вот картинка танка, змеи или любого объекта, не относящегося к задаче, — это OOD. В идеальном случае модель должна сохранять высокую точность работы на ID данных, при этом показывая равномерное распределение вероятностей на OOD, то есть быть полностью не уверенной в предсказании.
В это месте мы и встречаемся с такими разделами статистики, как оценка вероятности (uncertainty estimation) и вероятностные методы (probabilistic methods). Дело в том, что модели зачастую слишком уверены в своих предсказаниях. В англоязычной литературе эта проблема называется overconfidence. Она имеет разные теоретические объяснения (например, рост величины активаций во время тренировок), и её решение сейчас является активной областью исследований.
Один из лучших методов для решения uncertainty‑задач — это аппроксимация Лапласа. Аппроксимация Лапласа — это байесовский метод, который пытается оценить параметры модели через нормальное распределение. Логика здесь в следующем: пусть наши предсказания — это среднее какого‑то распределения, а дисперсия — неуверенность, и мы ее не знаем. Тогда через оценку дисперсии мы можем понять, насколько широкая оценка у нашей модели, и насколько она уверена. Это один из вероятностных взглядов на параметры модели и ее предсказания.
Применительно к нейросетям аппроксимация Лапласа использует информацию о кривизне параметров для оценки дисперсии распределения. Кривизна — это информация о вторых частных производных параметров — гессиане.
И вот тут‑то и кроется главная проблема этого метода: гессиан очень сложно посчитать, поскольку он скейлится квадратично от количества параметров. Даже для очень маленьких сетей невозможно посчитать полный гессиан из‑за ограничений по памяти на популярных GPU.
Для решения этой проблемы гессиан аппроксимируют рядом разных методов. Самые популярные: матрица Фишера, GGN и K‑FAC. Но в конечном итоге исследователи всё чаще задаются вопросом о целесообразности применения лапласовой аппроксимации к оценке неопределенности, если есть не менее эффективные, но более простые методы. Например, методы, использующие активации, такие как ASH.
В нашей статье мы показываем, что на самом деле гессианы не нужны, и традиционная аппроксимация Лапласа может очень плохо работать на практике. Мы вообще предложили заменить дорогостоящий гессиан на простую единичную матрицу, из‑за чего наш метод получил название Identity Curvature Laplace Approximation (ICLA).
Казалось бы, убирая информацию о кривизне параметров модели, мы убираем очень важную часть, так как интуитивно кажется, что именно она должна нам говорить о сложности в предсказании конкретного семпла. Однако мы показали, что это не так. На игрушечных датасетах‑полумесяцах наглядно видно, что без гессиана метод сохраняет свою зону неопределенности, но делает ее шире, что хорошо:
Также мы оценили ICLA на популярном бенчмарке для OOD detection — OpenOOD. Он состоит из наборов ID‑ и OOD‑датасетов для задачи классификации изображений. Например, обучаясь на CIFAR100, мы расцениваем датасет Textures, как OOD (в первом у нас изображения объектов, а во втором геометрические текстуры). На этом бенчмарке наш метод показывает лучшие метрики по сравнению со всеми остальными аналогами из семейства аппроксимаций Лапласа, и, что важно, отлично соперничает с небайесовскими методами!
Такой контринтуитивный результат не мог остаться без анализа. В статье мы решили найти связь между феноменом эффективности единичной матрицы как кривизны модели и сложностью данных. Сложность данных мы решили измерять как среднюю поклассовую косинусовую близость кластеров эмбеддингов (mean class-wise cosine similarity, MCCS). Такая метрика напрямую помогает оценить насколько схожи классы в датасете.
Проведя анализ, мы выявили, что аппроксимация Лапласа с традиционным гессианом плохо работает на датасетах с высокой разделимостью. Это мы объяснили через эмпирическое различие между равномерным распределением классов в пространстве эмбеддингов и очень необычной структурой кривизны параметров модели.
Всё дело в том, что гессиан, как правило, имеет спектральное распределение с заметным хвостом:
Далее мы задались вопросом: «Как этот факт согласуется с ковариацией классов?». Чтобы на него ответить, мы выбрали четыре датасета с различной межклассовой разделимостью: CIFAR-10, CIFAR-100, C100–5-SP и C100–5-NSP по 5 классов в каждом. Стоит отметить, что выбранные классы обладают разной степенью схожести: SP означает «separable» (непохожие классы), NSP — «non‑separable».
Для них мы сравнивали метрику MCCS с разницей (gap) между результатами работы LLLA и ICLA:
Эти результаты наглядно демонстрируют корреляцию между разделимостью классов и тем, насколько кривизна информативна по отношению к ковариацией данных. Другими словами, для моделирования ковариации в определенных датасетов гессианы никак не подходят.
Здесь я описал не все эксперименты, которые мы провели. Подробнее о нашей работе вы можете узнать, заглянув в статью. Главное, что мы смогли доказать парадоксальную на первый взгляд идею: отбрасывание информации о кривизне делает оценку OOD не только быстрее, но и точнее на определенных датасетах. Надеемся, что наши изыскания помогут создавать более безопасные ИИ‑системы.
Если у вас остались какие‑то вопросы или хочется что‑то обсудить, с радостью отвечу в комментариях!