Идеи, с чем интегрировать LLM из Evolution Foundation Models 🖥
В сервисе Evolution Foundation Models представлены open source модели, к которым вы можете делать запросы по API. А еще есть возможность интегрировать эти LLM в разные фреймворки, библиотеки и редакторы кода, чтобы автоматизировать часть задач и облегчить себе работу.
⬇️ Расскажем о четырех сценариях применения LLM из Evolution Foundation Models с разными инструментами. А еще дадим ссылки на руководства по подключению:
Создайте своего Code Agent с Aider и VS Code. Подключите в свой сервис по API подходящую под ваши задачи LLM, а потом используйте редакторы кода, чтобы создать интеллектуального помощника по программированию. Тот поможет писать и рефакторить код, искать баги, проводить тесты и составлять документацию.
Встройте LLM в чат-интерфейс платформ Chatbox, Open WebUI или LibreChat. Так вы сможете, например, настроить работу команды с LLM и контролировать расход токенов, создавать собственных AI-ассистентов, использовать RAG и поиск в интернете.
Напишите своего чат-бота с фреймворком LangChain, который предназначен для создания AI-ориентированных приложений. Добавьте созданного чат-бота в беседу, чтобы он делал выжимки из диалогов и отслеживал в них задачи. Или интегрируйте получившегося AI-помощника в службу поддержки, чтобы быстрее отвечать клиентам.
Организуйте LLM-шлюз с библиотекой Litellm. Например, она на дает доступ к разным LLM по единому API-ключу и возможность выбрать резервную модель на случай, если с основной что-то случится. LLM-шлюз упростит вам работу: он может управлять сразу несколькими LLM, помогает балансировать нагрузку и контролировать траты.
Кстати, более 20 LLM, эмбеддеров и реранкеров из Evolution Foundation Models доступны бесплатно до 31 октября. Выберите модели, которые по бенчмаркам лучше подходят к вашим задачам, и протестируйте их в работе 🤖