Разработка международного коллектива исследователей увеличит быстродействие и качество рекомендательных систем, поисковых сервисов, онлайн-переводчиков и многих других программных комплексов, которые задействуют алгоритмы машинного обучения. Кроме того, новшество позволит снять нагрузку с пользовательских устройств (смартфонов, планшетов, компьютеров), которые участвуют в процессе.
Исследователи из Московского физико-технического института в соавторстве с коллегами из ОАЭ предложили решение, которое позволяет значительно улучшить производительность систем сетевого искусственного интеллекта и сократить расходы на их эксплуатацию. Результаты работ исследователи представили в виде доклада для публикации на конференции NeurIPS-2023. Это мировой форум по нейронным системам обработки информации, который пройдёт в период с 10 по 16 декабря в Новом Орлеане, США.
Сетевые искусственные интеллекты — это программные комплексы, которые обладают способностью к обработке больших объёмов данных и выявлению в них закономерностей. На основе этих умений они формируют рекомендации для принятия решений и предлагают ответы на различные задачи. Одно из главных преимуществ таких комплексов — их способность к самообучению и улучшению своих навыков с течением времени. Это позволяет им постоянно совершенствоваться и становиться более эффективными.
В настоящее время сетевые искусственные интеллекты применяют во многих отраслях промышленности и сферах общественной жизни. Например, их используют при анализе социальных сетей, в рекомендательных системах, в алгоритмах по распознаванию речи, в автоматических переводчиках и многих других приложениях.
Для развития таких комплексов специалисты используют алгоритмы машинного обучения. При этом результативность процесса во многом зависит от того, насколько оптимально выстроена коммуникация между устройствами конечных пользователей и серверами, на которых происходит обработка данных. Неэффективная коммуникация замедляет анализ и обновление моделей.
«С увеличением размера данных и моделей̆ сегодня требуется большее количество параллельных и распределённых вычислений для решения реальных задач машинного обучения. Между тем у распределённых подходов есть существенное узкое место — это стоимость коммуникаций», — прокомментировал предпосылки своей научной работы соавтор исследования, заведующий лабораторией фундаментальных исследований МФТИ — Яндекса Александр Безносиков.
Он добавил, что в основе машинного обучения находятся вариационные неравенства. Это математический инструмент, который вбирает в себя различные классы задач оптимизации. Такие задачи многим знакомы ещё со школы. Например, в них находят минимальное значение некоторой целевой функции. В машинном обучении необходимо решать такие же, но значительно более сложные задачи.
«Большинство задач реального машинного обучения может быть представлено в виде вариационных неравенств. При этом основные способы, которые используют специалисты для уменьшения количества раундов связи и стоимости каждого раунда при решении вариационных неравенств распределённым образом, — это методы со сжатием посылок, методы, использующие похожесть локальных данных и методы локальных шагов», — рассказал Александр Безносиков.
Он пояснил, что первый из этих способов подразумевает пересылку не полного пакета информации, а только его части (например, пересылку случайной части посылки или округление чисел). Второй — основан на предположении, что если данные на вычислительных устройствах похожи, то для успешной коммуникации можно передавать только различия между ними. Третий способ ускоряет процесс машинного обучения за счёт обновления данных на каждом узле перед обменом с другими узлами.
В некотором смысле, отметил специалист, второй и третий способы — противоположность первому. При сжатиях трафик снижается за счёт уменьшения «посылок». А в подходах на основе схожести данных и локальных шагов стоимость обмена данными уменьшается, потому что коммуникации происходят реже.
По словам Александра Безносикова, каждый из перечисленных способов имеет свои преимущества и недостатки. Однако в исследовании учёные объединили три метода в один и получили мощный синергетический эффект.
«Суть нашего способа заключается в том, что на одном из устройств — условно, главном, некоем сервере — данные должны быть в некотором смысле похожи на те, которые имеются во всей сети. При этом на всех остальных устройствах данные могут быть сильно разнородными», — пояснил учёный.
По его словам, реализация такого способа позволяет ускорить сетевые коммуникации в десять раз по сравнению с базовыми алгоритмами и примерно в два раза по отношению к наиболее продвинутым из них. Кроме того, алгоритм хорош тем, что большинство вычислительных операций происходит на сервере. При этом пользовательские устройства (телефоны, планшеты и компьютеры) остаются незагруженными и, следовательно, могут спокойно выполнять свои прямые задачи.
Такой способ соотносится с одной из наиболее перспективных технологий машинного обучения — Federated learning (федеративным обучением). Эта методика подразумевает, что данные остаются на устройствах пользователей, а модель обновляется на сервере путём агрегации обученных моделей с различных устройств.
Александр Безносиков подчеркнул, что в ходе исследования новый метод был протестирован на простых экспериментальных задачах. В дальнейшем учёные намерены испытать его на более сложных программных комплексах. В том числе на языковых моделях — системах искусственного интеллекта, которые применяются для предсказания следующих слов и фраз на основе предыдущих.
