Хочу представить вам пересказ-обзор на статью Large Language Model based Multi-Agents: A Survey of Progress and Challenges, представленную группой ученых(Taicheng Guo , Xiuying Chen , Yaqi Wang , Ruidi Chang , Shichao Pei, Nitesh V. Chawla, Olaf Wiest , Xiangliang Zhang) 21 января 2024 года.  

Статья является обзором на тему нашумевших систем мультиагентов, рассказывая про различные методы классификации таких систем, проблемы в разработке мультиагентных систем и областях применения. 

Благодаря развитию больших языковых моделей (LLM) открылись новые возможности сфере автономных агентов, которые могут воспринимать окружающую среду, принимать решения и предпринимать ответные действия. Таким образом, агенты на основе сильных LLM смогли достичь уровня понимания и генерации инструкций, подобных человеческим, что облегчает сложное взаимодействие и принятие решений в широком диапазоне контекстов. 

На основе вдохновляющих возможностей одного агента на базе LLM были предложены системы мультиагентов на основе LLM(LLM-MA), позволяющие использовать коллективный разум, а также специализированные профили и навыки нескольких агентов. По сравнению с системами, использующими один агент на основе LLM, многоагентные системы предлагают расширенные возможности за счет специализации LLM на различных отдельных агентах с разными возможностями и обеспечения взаимодействия между этими различными агентами для моделирования сложных реальных процессов. В этом контексте несколько автономных агентов совместно участвуют в планировании, обсуждениях и принятии решений, отражая совместный характер групповой работы людей при решении задач.

Эта статья описывает разработку Базисной модели интерактивного агента.

Интерактивные агенты описываются как: "интеллектуальный агент, способный автономно принимать подходящие действия на основе сенсорной информации, будь то в физическом мире или в виртуальной или смешанной реальности, представляющей физический мир". Для примера приведен робот, которого вытащили из коробки и он может сразу адаптироваться к выполнению бытовых задач в домашней среде. 

Новый подход включает обучение одной нейронной модели на множестве задач и модальностей данных, используя достижения в области универсальных основных моделей. Она представляет собой переход от статичных, специфичных для задач систем ИИ к более адаптируемым и универсальным агентам. 

Модель работает с тремя типами данных - текст, визуальные данные и действия. Таким образом, каждый входной образец содержит текстовые инструкции, видео и токены действий. Они обозначают каждый образец как последовательность S = (W,V1,A1,V2,A2,...,VT,AT), где W - это последовательность токенов, соответствующих текстовой инструкции, Vi - это последовательность патчей изображений, соответствующих кадру i, а Ai - это последовательность токенов действий, соответствующих кадру i видеопоследовательности из T кадров. 

Базисная модель обучена на 13,4 миллионах видеокадров под несколько типов сред, может эффективно работать в интерактивных мультимодальных настройках, используя текст, видео, изображения, диалоги, подписи, визуальное ответ на вопросы и воплощенные действия в четырех различных виртуальных средах. Всего модель имеет 277 миллионов параметров. 

Существует множество сервисов по подбору синонимов, но они редко справляются с терминами, которые содержат в себе более одного слова. Для подбора синонимов для более сложных выражений могут помочь Викиданные. Мало кто знает, что помимо стандартной Википедии существует дополнительная база данных Викиданные(Wikidata), которая представляет собой граф знаний фонда Викимедия. Сейчас она интегрирована в саму Википедию, поэтому для многих статей в левом меню можно найти пункт Элемент Викиданных. Викиданные представлены в модели rdf, то есть информация имеет вид триплетов, которые характеризуют сущность. Триплет выглядит, как утверждение субьект - предикат - обьект. Пример, для сущности Англия одним из таких информационных триплетов представлен: Англия - имеет столицу - Лондон. 

Один из предикатов(типов связи) это altLabel, подразумевающий под собой альтернативные названия, который как раз таки и поможет нам в поиске синонимов.

Сразу стоит учитывать, что Викиданные это очень обширная база знаний, но, тем не менее, не совершенная. Поэтому, для терминов, которые там не представлены, или представлены, но для их сущностей нет введенных альтернативных названий, синонимов найдено не будет.