Meta* представила большую языковую модель Code Llama с 70 млрд параметров. Нейросеть обучена на коде и других данных, связанных с программированием. Все версии Code Llama, включая новую, открытые и бесплатные для коммерческого использования.
В августе 2023 года Meta* выпустила ИИ-генератор программного кода Code Llama, построенный на базе большой языковой модели Llama 2 и дополнительно обученный на специфическом для программирования наборе данных. На старте пользователям были доступны модели с 7, 13 и 34 млрд параметров.
Теперь же компания представила обновление проекта — модель с 70 млрд параметров и контекстным окном в 100 тыс. токенов. Это позволяет нейросети обрабатывать больше данных и делать это точнее. В тесте HumanEval модель получила оценку 53 балла, что выше показателей GPT-3.5 (48,1) и очень близко к заявленной оценке GPT-4 (67).
Для обучения Code Llama 70B использовали программный код и данные, связанные с ним. Объём набора данных составил 1 ТБ. Модель доступна в вариантах Code Llama, Code Llama-Instruct и Code Llama-Python. Инструментом можно пользоваться бесплатно в коммерческих и исследовательских целях.
Модель машинного обучения Code Llama 70B опубликована на портале Hugging Face вместе с другими версиями проекта. Исходный код доступен на GitHub. Скачать модели можно и с сайта компании.
Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:
* — признана экстремистской организацией, её деятельность в России запрещена
** — запрещены в России
