Основная цель статьи “Enhancing Stability of…” – изучение перспектив агностического взвешивания для обучения физически-информированных нейросетей. Поскольку до нашей работы не было теоретических гарантий в рассматриваемом классе задач, мы сосредоточились на исследовании сходимости алгоритма без дополнительных усложнений и оставили анализ модификаций со сглаживанием и адаптивностью для будущих работ. Стохастическая версия предложенного метода проанализирована в Аппендиксе F. В экспериментах гиперпараметры нашего метода настраивались один раз на уравнении Poisson 2d-C и затем использовались без изменения на всем бенчмарке. Файлы ablation.py и ablation_lambda.py в нашем репозитории нужны для исследования робастности метода к тюнингу. Этот эксперимент наряду с другими дополнительными результатами может быть найден в финальной версии работы: https://openreview.net/pdf?id=EQNp3sFrY3. 

В “LoRA Meets Riemannian Geometry…” не предусмотрен анализ сходимости, как и в большинстве работ по исследованию PEFT-методов. В работе представлен теоретический результат, демонстрирующий точность аппроксимации решения задачи LMO нашим методом. Этот результат остался бы неизменным в случае использования стохастического оракула. Гиперпараметры в этой работе действительно подбирались, чтобы каждый метод показывал наилучший результат и сравнение было максимально честным. Эта информация указана в Аппендиксе F, и все подобранные гиперпараметры указаны в Таблицах 4-6.