Расширение Continue для VS Code теперь можно использовать вместе с моделью машинного обучения Code Llama от компании Meta*. Раньше пользователям была доступна только GPT-4.
Подключить Code Llama к Continue можно с помощью сервиса Together AI. Для этого надо пройти регистрацию и скопировать API-ключ. После этого в меню сервиса необходимо найти модель от Meta* и запустить её. Также надо следующим образом обновить конфигурацию Continue:
from continuedev.src.continuedev.core.models import Models
from continuedev.src.continuedev.libs.llm.together import TogetherLLM
config = ContinueConfig(
...
models=Models(
default=TogetherLLM(
api_key="<API_KEY>",
model="togethercomputer/CodeLlama-13b-Instruct"
)
)
)
Для локального использования Code Llama разработчики предлагают воспользоваться приложением Ollama, но оно пока доступно только для macOS. Конфигурация Continue для Ollama выглядит следующим образом:
from continuedev.src.continuedev.libs.llm.ollama import Ollama
config = ContinueConfig(
...
models=Models(
default=Ollama(model="codellama")
)
)
Вариант кроссплатформенного локального использования Сode Llama в Continue предложил разработчик под никнеймом xNul. Его решение построено на базе проекта llama.cpp, которое представляет собой интерфейс для взаимодействия с моделями машинного обучения от Meta* на чистом C/C++.
Meta* представила модель Code Llama на прошлой неделе. Проект основан на большой языковой модели Llama 2 и дополнительно обучен на исходных кодах. Поддерживается работа с Python, C++, Java, PHP, JavaScript, TypeScript, C#, Bash и другими популярными языками программирования. Разработчики расширения Continue подготовили подробную инструкцию по подключения Code Llama.
Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:
* — признана экстремистской организацией, её деятельность в России запрещена
** — запрещены в России