В программу международной конференции по машинному обучению NeurIPS 2023 вошло исследование команды Yandex Research о системе Petals, которое проводилось совместно с учёными из Университета Вашингтона и Hugging Face. Исследование демонстрирует экономически эффективный подход к запуску и тонкой настройке больших языковых моделей (LLM) благодаря использованию распределённой сети компьютеров с графическими ускорителями потребительского класса.
Petals — это система с открытым исходным кодом для работы с большими нейронными сетями не только на суперкомпьютерах и для небольших команд исследователей. Система делит модель на несколько блоков и размещает их на разных серверах, которые могут находиться в любой точке планеты. Все желающие могут присоединиться к одному из них, чтобы поделиться вычислительной мощностью своей видеокарты. Волонтёры могут подключаться и отключаться в любой момент — это не повлияет на происходящие в сети процессы.
Помимо доклада о Petals в программу NeurIPS 2023 вошли исследования учёных из команды Yandex Research, включая:
алгоритм ускоренной адаптации диффузионных генеративных сетей под пользовательские изображения;
алгоритм прореживания передовых трансформерных моделей для компьютерного зрения;
оценку устойчивости передовых моделей графовых нейросетей;
метрику для квантификации степени гетерофильности заданного графа;
схему распределённой оптимизации для задач вариационных неравенств;
анализ стохастического градиентного спуска с нижними оценками на его сложность.