Расширение Continue для VS Code теперь можно использовать с Code Llama от Meta*

Расширение Continue для VS Code теперь можно использовать вместе с моделью машинного обучения Code Llama от компании Meta*. Раньше пользователям была доступна только GPT-4.

Подключить Code Llama к Continue можно с помощью сервиса Together AI. Для этого надо пройти регистрацию и скопировать API-ключ. После этого в меню сервиса необходимо найти модель от Meta* и запустить её. Также надо следующим образом обновить конфигурацию Continue:

from continuedev.src.continuedev.core.models import Models
from continuedev.src.continuedev.libs.llm.together import TogetherLLM

config = ContinueConfig(
    ...
    models=Models(
        default=TogetherLLM(
            api_key="<API_KEY>",
            model="togethercomputer/CodeLlama-13b-Instruct"
        )
    )
)

Для локального использования Code Llama разработчики предлагают воспользоваться приложением Ollama, но оно пока доступно только для macOS. Конфигурация Continue для Ollama выглядит следующим образом:

from continuedev.src.continuedev.libs.llm.ollama import Ollama

config = ContinueConfig(
    ...
    models=Models(
        default=Ollama(model="codellama")
    )
)

Вариант кроссплатформенного локального использования Сode Llama в Continue предложил разработчик под никнеймом xNul. Его решение построено на базе проекта llama.cpp, которое представляет собой интерфейс для взаимодействия с моделями машинного обучения от Meta* на чистом C/C++.

Meta* представила модель Code Llama на прошлой неделе. Проект основан на большой языковой модели Llama 2 и дополнительно обучен на исходных кодах. Поддерживается работа с Python, C++, Java, PHP, JavaScript, TypeScript, C#, Bash и другими популярными языками программирования. Разработчики расширения Continue подготовили подробную инструкцию по подключения Code Llama.

<sup>Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**: 
* — признана экстремистской организацией, её деятельность в России запрещена 
** — запрещены в России</sup>