В программу международной конференции по машинному обучению NeurIPS 2023 вошло исследование команды Yandex Research о системе Petals, которое проводилось совместно с учёными из Университета Вашингтона и Hugging Face. Исследование демонстрирует экономически эффективный подход к запуску и тонкой настройке больших языковых моделей (LLM) благодаря использованию распределённой сети компьютеров с графическими ускорителями потребительского класса.

Petals — это система с открытым исходным кодом для работы с большими нейронными сетями не только на суперкомпьютерах и для небольших команд исследователей. Система делит модель на несколько блоков и размещает их на разных серверах, которые могут находиться в любой точке планеты. Все желающие могут присоединиться к одному из них, чтобы поделиться вычислительной мощностью своей видеокарты. Волонтёры могут подключаться и отключаться в любой момент — это не повлияет на происходящие в сети процессы. 

Помимо доклада о Petals в программу NeurIPS 2023 вошли исследования учёных из команды Yandex Research, включая:

• алгоритм ускоренной адаптации диффузионных генеративных сетей под пользовательские изображения;

• алгоритм прореживания передовых трансформерных моделей для компьютерного зрения;

• оценку устойчивости передовых моделей графовых нейросетей;

• метрику для квантификации степени гетерофильности заданного графа;

• схему распределённой оптимизации для задач вариационных неравенств;

• анализ стохастического градиентного спуска с нижними оценками на его сложность.