Comments 2
Замечательные статьи, особенно полезны LoRA Meets Riemannian Geometry: The Muon Optimizer for Parametrization и Enhancing the Stability of Physics-Informed Neural Network Training: A Saddle-Point Reformulation Approach. Самые перспективные, на мой взгляд, направления на сегодня. Единственное, что смущает, так это разрыв между теоретической и практической частью в обоих статьях, для иллюстрации теории используются алгоритмы использующие эвристики, сглаживание и стохастику, не предусмотренные теоретической частью. А при сравнении с бенчмарками, используется ручная настройка параметров (хотя заявлено иное), что возможно повышает точность.
Добрый вечер! Спасибо за интерес к нашим работам и комментарий!
Основная цель статьи “Enhancing Stability of…” – изучение перспектив агностического взвешивания для обучения физически-информированных нейросетей. Поскольку до нашей работы не было теоретических гарантий в рассматриваемом классе задач, мы сосредоточились на исследовании сходимости алгоритма без дополнительных усложнений и оставили анализ модификаций со сглаживанием и адаптивностью для будущих работ. Стохастическая версия предложенного метода проанализирована в Аппендиксе F. В экспериментах гиперпараметры нашего метода настраивались один раз на уравнении Poisson 2d-C и затем использовались без изменения на всем бенчмарке. Файлы ablation.py и ablation_lambda.py в нашем репозитории нужны для исследования робастности метода к тюнингу. Этот эксперимент наряду с другими дополнительными результатами может быть найден в финальной версии работы: https://openreview.net/pdf?id=EQNp3sFrY3.
В “LoRA Meets Riemannian Geometry…” не предусмотрен анализ сходимости, как и в большинстве работ по исследованию PEFT-методов. В работе представлен теоретический результат, демонстрирующий точность аппроксимации решения задачи LMO нашим методом. Этот результат остался бы неизменным в случае использования стохастического оракула. Гиперпараметры в этой работе действительно подбирались, чтобы каждый метод показывал наилучший результат и сравнение было максимально честным. Эта информация указана в Аппендиксе F, и все подобранные гиперпараметры указаны в Таблицах 4-6.
Не искусственный интеллект: как устроена научная работа в российских ИИ-лабораториях в 2026