Разработчик представил Localpilot — утилиту для локального использования аналогов GitHub Copilot на macOS

Разработчик под никнеймом danielgross опубликовал на GitHub утилиту Localpilot, позволяющую локально запускать аналоги GitHub Copilot на macOS. Автор проекта называет своё решение «очень неэффективной реализацией» и приглашает других разработчиков присоединиться к Localpilot.

Localpilot полностью написана на Python. Для установки необходимо скачать проект и добавить в файл settings.json редактора VS Code следующий строки:

"github.copilot.advanced": {
    "debug.testOverrideProxyUrl": "http://localhost:5001",
    "debug.overrideProxyUrl": "http://localhost:5001"
}

После этого надо создать виртуальное окружение для проекта, активировать его и  установить зависимости из requirements.txt:

virtualenv venv
source venv/bin/activate
pip install -r requirements.txt

# First setup run. This will download several models to your ~/models folder.

python app.py --setup 

Как только установка завершится, утилиту можно запускать:

python app.py

Пользователь может выбирать между моделями CodeLlama и Mistral, а на демонстрации видно, что дополнение кода работает не так быстро, как хотелось бы. Автор проекта отмечает, что на его MacBook с чипом M2 Max быстро работает модель 7B, но при запуске 34B возникают проблемы с производительностью.

Разработчик рекомендует использовать утилиту для случаев, когда нет возможности подключиться к Сети, к примеру, в самолёте. Также автор рассказал, что хотел сделать полноценное приложение для macOS без необходимости самостоятельно устанавливать зависимости, но не успел. Ожидается, что в ближайшее время этот вопрос решится.