Как стать автором
Обновить

Вышла новая — Llama 3.1 405B

Время на прочтение2 мин
Количество просмотров18K

В апреле 2024 года компания Meta представила Llama 3 - следующее поколение современных моделей больших языков с открытым исходным кодом. Первые две модели - Llama 3 8B и Llama 3 70B установили новые стандарты для LLM своего размера. Однако всего через три месяца после их выпуска несколько других LLM превзошли их по производительности.

Ранее компания Meta уже объявила, что её самая большая модель Llama 3 будет иметь более 400 миллиардов параметров, и она всё ещё находится в процессе обучения.

Сегодня утром на сабреддите LocalLLaMA появились предварительные результаты тестирования будущих моделей Llama 3.1 8B, 70B и 405B.

🦙И вот оно! Llama 3.1 - уже на HuggingFace 🦙

Согласно текущим данным, Meta Llama 3.1 405B превзошла текущего лидера GPT-4o от OpenAI в нескольких ключевых тестах искусственного интеллекта. Это значимое событие для сообщества ИИ с открытым исходным кодом, поскольку впервые модель с открытым исходным кодом может обогнать современную модель LLM с закрытым кодом.

Энтузиасты в техническом сообществе с нетерпением ждали предстоящего запуска, так как он может произвести революцию в отрасли.

Ниже бенчмарки для Llama 3.1 405B. Похоже, что это новая партия моделей Llama 3.

Llama 3.1 8B выглядит очень достойно, а 70B даже достигает уровня производительности GPT-4o. Модель 405B обеспечивает немного лучшую производительность, но не выглядит новаторской. 

Meta Llama 3.1 превосходит GPT-4 в нескольких тестах, включая GSM8K, Hellaswag, boolq, MMLU-humanities, MMLU-other, MMLU-stem и winograd, среди прочих. Однако она отстает от HumanEval и MMLU-social sciences. (Организация Meta признана экстремистской на территории РФ)

Что меня еще впечатляет, так это то, насколько хороша Llama 3.1 8B, поскольку она может работать локально на любом мобильном телефоне высокого класса.

И самое главное: качественная опенсорс LLM с агентными способностями.

Еще обновления:
 — эффективный длинный контекст 128k
 — в лицензии разрешён тренинг на данных, сгенерированных моделями 

Помимо чекпоинтов с лучшими метриками, в релиз вошли фреймворки вокруг моделей и инструменты для запуска различных tools.

🦙Llama agentic systems: фреймворк для создания агентов с llamа Ссылка (ждём сегодня)
🦙Llama toolchain: стек для подключения различных API Ссылка 
🦙Llama-recipes: Каталог документации и интеграций Ссылка
🦙PurpleLlama: модель для фильтрации и обеспечения safety генераций Ссылка

Круто же?! Подписывайтесь на мой канал в телеграм, чтоб быть в курсе самых горячих и прикладных новостей мира AI - https://t.me/datafeeling

Спасибо Рустему за актуальную ссылки

Теги:
Хабы:
Если эта публикация вас вдохновила и вы хотите поддержать автора — не стесняйтесь нажать на кнопку
Всего голосов 14: ↑12 и ↓2+14
Комментарии47

Другие новости

Истории

Работа

Python разработчик
119 вакансий
Data Scientist
78 вакансий

Ближайшие события

7 – 8 ноября
Конференция byteoilgas_conf 2024
МоскваОнлайн
7 – 8 ноября
Конференция «Матемаркетинг»
МоскваОнлайн
15 – 16 ноября
IT-конференция Merge Skolkovo
Москва
22 – 24 ноября
Хакатон «AgroCode Hack Genetics'24»
Онлайн
28 ноября
Конференция «TechRec: ITHR CAMPUS»
МоскваОнлайн
25 – 26 апреля
IT-конференция Merge Tatarstan 2025
Казань