Мы с командой вернулись тут с Хайлоада, и там даже CTO крупных компаний задают много вопросов про разработку с LLM. Наша компания занимается прикладной разработкой всего того, что касается GPT/LLM.
Расскажу про очевидные вещи, о которых у меня там спрашивали CTO и разработчики.
Самый частый вопрос: можно ли подключать свою базу документов и можно ли по ней нормально работать?
Можно. Для этого нужно две вещи:
- OpenAI может работать с вашей базой, например, вики техподдержки, но её надо векторизовать. Получится, что модель только ищет по ней и может отвечать фрагментом исходника, но может его обрабатывать как текст (то есть сравнивать, анализировать и тому подобное).
- Дальше можно использовать подход QA Retrieval Chain для работы с векторной базой. Работает это так: задаём вопрос, LLM формируют запрос к векторной базе, мы вынимаем из неё данные, подкладываем их в вопрос как контекст и передаём в LLM, а они формируют ответ.
Но давайте начнём сначала. Основное:
- Какого размера промпты могут быть, сколько, какие лимиты, как их частично обходить.
- Как подключается база, как закидывать реально большие документы, как эмбеддится вектор, на каких языках это происходит и тому подобное.
- Разные API.
- Агентная модель GPT Engineer и АutoGPT.
- Фреймворк лангчейн (построение цепочек запросов и разбиение макрозапроса на сотни).
Поехали!
