Запускаем privateGPT локально на WSL c поддержкой GPU Nvidia

Приватный GPT - это готовый к производству проект искусственного интеллекта, который позволяет задавать вопросы о ваших документах, используя мощь больших языковых моделей (LLM), даже в сценариях без подключения к Интернету. 100% приватный, никакие данные не покидают ваше окружение выполнения в любой момент.

Запуск на Windows Subsystem для Linux (WSL) с поддержкой GPU может значительно улучшить его производительность. В этом руководстве я проведу вас пошаговый процесс установки PrivateGPT на WSL с использованием ускорения GPU.

Прежде чем мы начнем, убедитесь, что у вас установлена последняя версия Ubuntu WSL. Вы можете выбрать версии, такие как Ubuntu-22-04-3 LTS или Ubuntu-22-04-6 LTS, доступные в магазине Windows.

Обновление Ubuntu

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install build-essential

Очень важно обновиться, так как позже что‑то может взорваться, если вы этого не сделаете.

Клонирование репозитория PrivateGPT

git clone https://github.com/imartinez/privateGPT

Настройка среды Python

Для управления версиями Python мы будем использовать pyenv. Следуйте приведенным ниже командам, чтобы установить его и настроить среду Python:

sudo apt-get install git gcc make openssl libssl-dev libbz2-dev libreadline-dev libsqlite3-dev zlib1g-dev libncursesw5-dev libgdbm-dev libc6-dev zlib1g-dev libsqlite3-dev tk-dev libssl-dev openssl libffi-dev
curl https://pyenv.run | bash
export PATH="/home/PATH"

Добавьте следующие строки в ваш файл .bashrc:

export PYENV_ROOT="PYENV_ROOT/bin:(pyenv init -)"

Перезагрузите свой терминал
source .bashrc

Установка важных недостающих компонентов pyenv

sudo apt-get install lzma
sudo apt-get install liblzma-dev

Установка Python 3.11 и установка его как глобальной версии:

pyenv install 3.11
pyenv global 3.11
pip install pip --upgrade
pyenv local 3.11

Установка Poetry

Установите poetry для управления зависимостями:

curl -sSL https://install.python-poetry.org | python3 -
Добавьте следующую строку в ваш файл .bashrc:
export PATH="/home/<ИМЯ ПОЛЬЗОВАТЕЛЯ WSL>/.local/bin: whoami)

Перезагрузите конфигурацию

source ~/.bashrc
poetry --version # должно отобразиться что-то без ошибок

Установка зависимостей PrivateGPT

Перейдите в каталог PrivateGPT и установите зависимости:

cd privateGPT
poetry install --with ui
poetry install --with local

Установка драйверов Nvidia

Посетите официальный веб-сайт Nvidia, чтобы скачать и установить драйверы Nvidia для WSL. Выберите Windows > x86_64 > WSL-Ubuntu > 2.0 > deb (network)

Следуйте инструкциям на странице.

Добавьте следующие строки в ваш файл .bashrc:

export PATH="/usr/local/cuda-12.3/bin:LD_LIBRARY_PATH"

Проверьте содержимое "/user/local", чтобы убедиться, что у вас есть папка "cuda-12.3". Ваша версия может отличаться.

Перезагрузите вашу конфигурацию и убедитесь, что все работает ожидаемо

source ~/.bashrc
nvcc --version
nvidia-smi.exe

"nvidia-smi" недоступен в WSL, поэтому просто убедитесь, что .exe версия обнаруживает ваше оборудование. Обе команды должны отображать абракадабру, но без явных ошибок.

Сборка и запуск PrivateGPT

Наконец, установите библиотеки CUDA и связи Python LLAMA:

CMAKE_ARGS='-DLLAMA_CUBLAS=on' poetry run pip install --force-reinstall --no-cache-dir llama-cpp-python

Позвольте приватному GPT загрузить для вас локальную LLM (по умолчанию mixtral):

poetry run python scripts/setup

Для запуска PrivateGPT используйте следующую команду:

make run

Это инициализирует и запустит PrivateGPT с поддержкой GPU в вашей среде WSL.

Вы должны увидеть "blas = 1", если отключение GPU работает.

AVX = 1 | AVX_VNNI = 0 | AVX2 = 1 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 1 | NEON = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 |
18:50:50.097 [INFO ] private_gpt.components.embedding.embedding_component -

Перейдите на 127.0.0.1:8001 в вашем браузере

Заключение

Следуя этим шагам, вы успешно установили PrivateGPT на WSL с поддержкой GPU. Наслаждайтесь расширенными возможностями PrivateGPT для ваших задач обработки естественного языка.

Если что-то пошло не так, откройте окно и выбросьте компьютер. Затем начните снова с шага 1.

Оригинал

Замечания от переводчика:

1. Если запустилось и открывается в браузере, но при попытке получить ответ вылетает на ошибке - обновите драйвера Nvidia с официального сайта и перезагрузитесь.

2. Если poetry install --with ui вылетает с ошибкой попробуйте

   poetry install --extras "ui embeddings-huggingface llms-llama-cpp vector-stores-qdrant"