RAG-сервис на Go с Ламой

[lazy_val]

// handleData handles the POST request to insert data into the vector database.
func handleData(c *gin.Context) {...}

Это мы в БД добавляем какой-то контекст (не путать с gin.Context )) )

// handleSearch handles the GET request to search for relevant documents based on the query.
func handleSearch(c *gin.Context) { ... }

А это мы ищем ответ на наш вопрос, при этом обращение к БД где-то под капотом (видимо)

Тогда получается что мы не search for relevant documents based on the query, а ищем ответ на вопрос, комбинируя сам вопрос с контекстом, который мы получаем из БД. Ну то есть search for relevant documents это один из промежуточных шагов поиска ответа на вопрос, а не результат поиска

[xman12]

там такая схема, делается запрос в БД,

	retrievedDocs, err := vectorDB.QueryRelevantDocuments(ctx, queryEmbedding, "ollama")

в retrievedDocs релевантные данные из БД и они потом прокидываются в запрос в ИИ как контекст

[Yak52]

Попробуйте сами на чистой БД сделать указанные вами шаги по запуску контейнера. И лучше Go код также обернуть в контейнер.

[xman12]

в докере все манипуляции с БД реализованы, нужно только собрать контейнер и все готово к работе. Go я не включал в контейнер по причине того что в докере GO под мак не использует GPU из оф. документации

"Ollama handles running the model with GPU acceleration. It provides both a simple CLI as well as a REST API for interacting with your applications.

On the Mac, please run Ollama as a standalone application outside of Docker containers as Docker Desktop does not support GPUs."

[Yak52]

/usr/local/bin/docker-entrypoint.sh: running /docker-entrypoint-initdb.d/init.sql

psql:/docker-entrypoint-initdb.d/init.sql: error: could not read from input file: Is a directory

[xman12]

увидел, исправил.