LLM могут принимать на вход все большее кол-во токенов, но большое количество переданных на вход токенов, включая промт, контекст и историю переписки не равно качество ответа.

В идеале на вход LLM нужно передать минимально достаточный набор данных для получения ожидаемого качественного ответа.Ин

Иными словами, если на вход LLM дан один конкретный вопрос, то есть шанс близкий к 100%, чтоб будет получен качественный ответ. И наоборот, чем больше данных (вопросов, контекста и прочего) на вход LLM вы даете, тем больше вы понижаете качества ответа.

Поэтому в каждом конкретном случае нужно найти баланс минимального кол-ва данных на вход для RAG системы. То есть нужно оптимизировать промт и контекст получаемый из векторной БД для ответа на запрос пользователя.

При этом нужно определить качество ответов, то есть определить как мерять качество в конкретной RAG системе.

Минимальными вариантом будет следующий подход к измерению качества:

По каждому документу, который есть у нас, и который мы планируем векторизировать, нужно задать два вопроса:

Если Вам нужно сконфигурировать персонального или командного AI ассистента без единой строчки кода, то инфраструктура OpenAI позволяет это сделать.

Для примера сделаем бота который может писать сообщения в стиле определенного телеграм канала. Берем канал https://t.me/+yU0dsHboVmlhNGYy. Экспортируем сообщения из канала json.

По следам:

Как я сделал RAG для своей компании

Как я сделал RAG для своей компании (часть 2). И как начал делать AI Агента

AI агенты — клоны сотрудников (часть 3)

В этой статье я постараюсь суммировать свой опыт, подвести итоги и предоставить полное решение со ссылками на Git.

Мы все уже слышали что есть сотни промтов которые могут создать полноценный App, и что скоро разработчики будут не нужны. Но давайте попробуем сделать не то чтобы App, а просто интерактивную страничку.

Мы предполагаем, что я не умею кодить и не знаю даже html. Мы засекем время и посчитаем кол-во запросов которое у меня уйдет на получение рабочей интерактивной html странички.

Затем мы попробуем, изъять из нейросети тот самый заветный один промт, который сможет воссоздать такую же страничку с нуля.

Итак, я прошел длинный путь создания RAG с нуля, и начал делать AI агентов для нашей компании.

По технологиям испробовал:

Итак, в первой части я сделал первый подход к RAG для нашей небольшой компании с большим кол-вом документов на wiki, и множеством переписок в Slack.

Стек технологий: Python, ChromaDB, простой SentenceTransformer("all-MiniLM-L6-v2"), Slack API, OpenAI API, Google Gemini API, YandexGPT API, Sber Gigachat API.

Что уже работает?

Появилась свободное время, и я решил сделать RAG (Retrieval Augmented Generation) для нашей компании. Компания небольшая, но документации технической и бизнес накопилось очень много, в основном на wiki.

Цель - подключить бота в slack, который быстро может выдать инфу по нужной теме.

Источник знаний: