YandexGPT в OpenWebUI
Недавно я решил погонять нейросети от Yandex. До этого момента я активно использовал OpenWebUI для взаимодействия с локальными моделями и моделями от OpenAI. Этот интерфейс оказался весьма удобным и функциональным, его можно легко запустить через Docker или установить с помощью pip.
Для интеграции YandexGPT в OpenWebUI я создал форк популярного проекта LiteLLM, который, кстати, используется в OpenWebUI, и добавил поддержку YandexGPT.
Для тех, кто хотел бы повторить мой опыт, вот краткое руководство:
Клонируем мой репозиторий.
Настраиваем файл конфигурации
Содержимое конфигурационного файла ./litellm/proxy/config_yandex.yml:
model_list:
- model_name: yandexgpt-lite
litellm_params:
model: yandex/yandexgpt-lite
api_key: AQVN30_PoL8sF6Yz-gzYLcwRV
- model_name: yandexgpt-pro
litellm_params:
model: yandex/yandexgpt
api_key: AQVN30_PoL8sF6Yz-gzY1cwRV
Запускаем Docker командой:
docker-compose -f docker-compose-yandex.yml up --build
Так же можно без Docker.
Установливаем все необходимые зависимости через pip и запускаем проект напрямую:
cd litellm/litellm/proxy/
YANDEX_FOLDER_ID=<Ваш FolderID> python3 proxy_cli.py --config config.yml
Не забудьте настрить файл конфигурации, указав свои значения для Folder_ID и Token.
Репозиторий проекта можно найти по ссылке.