В конце прошедшей недели Марк Цукерберг объявил о появлении новой большой языковой AI-модели LLaMA. Она должна помочь разработчикам и исследователям улучшить и исправить AI-инструменты, чтобы в будущем они могли избегать «предвзятости, токсичности и возможности создания дезинформации».
В своей публикации в Facebook Цукерберг использовал аббревиатуру LLM для обозначения большой языковой модели и написал, что новая «LLM показала многообещающие результаты в создании текста, диалоге, обобщении письменных материалов и выполнении более сложных задач, таких как доказательство теорем или предсказание структуры белка».
Как пишет The Verge, LLaMA представляет собой не единую систему, а «квартет моделей» разного размера, которые будут доступны по некоммерческой лицензии, «ориентированной на исследовательские варианты использования». Аудитория пользователей LLaMA — это университеты, НПО и отраслевые лаборатории.
LLaMA будет доступна в четырёх версиях: LLaMA-7B, LLaMA-13B, LLaMA-33B и LLaMA-65B, где цифры означают количество параметров — 7, 13, 33 и 65 млрд.
Модель, которая, согласно информации от Meta*, требует «гораздо меньшей» вычислительной мощности, чем предыдущие версии, обучается на 20 языках. Приоритеты — языки на латинице и кириллице.
В корпорации уверены, что LLaMA может превзойти конкурентов, которые исследуют больше параметров. В публикации по результатам тестов Meta утверждает, что вторая по размеру версия модели LLaMA, LLaMA-13B, проявила себя лучше, чем популярная модель OpenAI GPT-3, «в большинстве тестов». В то время как самая большая, LLaMA-65B, может конкурировать с лучшими моделями», такими как Chinchilla70B от DeepMind и PaLM 540B от Google. Утверждается, что после обучения LLaMA-13B сможет работать на одном графическом процессоре Nvidia Tesla V100.
В комментарии к этой новости Insider напоминает об актуальности совершенствования AI-моделей: в этом месяце технический директор OpenAI признался в интервью Time, что ChatGPT пока несовершенен и при поиске ответов «может компенсировать» недостающие факты. Параллельно Microsoft согласилась, что её чат-бот Bing, работающий на основе технологии OpenAI, «может совершать ошибки». А пользователи Bing иногда называли его ответы странными, неточными и воинственными.
* Meta Platforms, а также принадлежащие ей Facebook и Instagram: признана экстремистской организацией, её деятельность в России запрещена
