Генеративные нейросети с нами уже почти 3 года. В начале казалось, что они будут именно генерировать новые смыслы, комбинируя все знания мира, но реальность оказалась другой. Комбинирование смыслов не приводило к реально креативному результату, иными словами, создать что-то новое, креативное, необычное, прорывное — то, что будет читать человек с интересом, не получалось.

При этом генеративность отлично работала там, где не нужны новые смыслы, например те же RAG-системы для извлечения знаний, где обычно temperature ставится в 0.0 (aka нулевая креативность), а в промпте явно указывается «не выдумывай, используй только знания из контекста». Поверх этого создавались сложные мультиагентные системы, которые должны были понять, что хочет пользователь, и выполнить эту задачу. Здесь всё тоже работало хорошо.

LLM отлично научились писать код, здесь очень сильно помогает детерминированность результата — код либо работает, либо нет. При этом LLM, конечно, тупит в отдельных кейсах, обычно заходя в цикл бессмысленных доработок, добавляя новые библиотеки, когда нужно реально подумать и, возможно, что-то убрать. Оно ходит по кругу, добавляя и перебирая варианты.

Здесь также помогает мультиагентный подход и тонкая настройка правил, промптов. Но о креативе здесь речь не идёт.

Нейросети отлично показали себя в медицине, только ленивый сейчас не имеет чатов типа «врач», «терапевт», «уролог :-)» и т. д. Медицина казалась сложной, но по факту очень детерминированной наукой, в которой есть тонны знаний и чёткие протоколы лечения. Здесь нет креатива, и не нужно, а порой даже опасно создавать новые смыслы. Здесь есть алгоритм: если A, то B. Загрузил анализы, получил диагноз и полное детальное объяснение, намного более детальное, чем вам расскажет врач (за 12 минут приёма-то).

Существует проблема описанная тут (ссылка на пост в ТГ).

Суть проста — если LLM (или агенты вокруг LLM) вызывают последовательно одни и те же запросы с одним и тем же контекстом, попадание в тупик/цикл — вопрос лишь времени. То есть в случае зацикливания между агентами/контекстами надо менять промты или контекст, или последовательность вызова агентов.

Это яркая демонстрация когда агенты не смотря на всю свою сложность тупят хуже моей кошки. Кошка не будет в цикле проверять две пустые миски в поисках еды, она сделает это раз, ну или два и пойдет дальше. А агенты будут если наткнутся на такую ситуацию.

LLM могут принимать на вход все большее кол-во токенов, но большое количество переданных на вход токенов, включая промт, контекст и историю переписки не равно качество ответа.

В идеале на вход LLM нужно передать минимально достаточный набор данных для получения ожидаемого качественного ответа.Ин

Иными словами, если на вход LLM дан один конкретный вопрос, то есть шанс близкий к 100%, чтоб будет получен качественный ответ. И наоборот, чем больше данных (вопросов, контекста и прочего) на вход LLM вы даете, тем больше вы понижаете качества ответа.

Поэтому в каждом конкретном случае нужно найти баланс минимального кол-ва данных на вход для RAG системы. То есть нужно оптимизировать промт и контекст получаемый из векторной БД для ответа на запрос пользователя.

При этом нужно определить качество ответов, то есть определить как мерять качество в конкретной RAG системе.

Минимальными вариантом будет следующий подход к измерению качества:

По каждому документу, который есть у нас, и который мы планируем векторизировать, нужно задать два вопроса:

Если Вам нужно сконфигурировать персонального или командного AI ассистента без единой строчки кода, то инфраструктура OpenAI позволяет это сделать.

Для примера сделаем бота который может писать сообщения в стиле определенного телеграм канала. Берем канал https://t.me/+yU0dsHboVmlhNGYy. Экспортируем сообщения из канала json.

По следам:

Как я сделал RAG для своей компании

Как я сделал RAG для своей компании (часть 2). И как начал делать AI Агента

AI агенты — клоны сотрудников (часть 3)

В этой статье я постараюсь суммировать свой опыт, подвести итоги и предоставить полное решение со ссылками на Git.

Мы все уже слышали что есть сотни промтов которые могут создать полноценный App, и что скоро разработчики будут не нужны. Но давайте попробуем сделать не то чтобы App, а просто интерактивную страничку.

Мы предполагаем, что я не умею кодить и не знаю даже html. Мы засекем время и посчитаем кол-во запросов которое у меня уйдет на получение рабочей интерактивной html странички.

Затем мы попробуем, изъять из нейросети тот самый заветный один промт, который сможет воссоздать такую же страничку с нуля.

Итак, я прошел длинный путь создания RAG с нуля, и начал делать AI агентов для нашей компании.

По технологиям испробовал:

Итак, в первой части я сделал первый подход к RAG для нашей небольшой компании с большим кол-вом документов на wiki, и множеством переписок в Slack.

Стек технологий: Python, ChromaDB, простой SentenceTransformer("all-MiniLM-L6-v2"), Slack API, OpenAI API, Google Gemini API, YandexGPT API, Sber Gigachat API.

Что уже работает?

Появилась свободное время, и я решил сделать RAG (Retrieval Augmented Generation) для нашей компании. Компания небольшая, но документации технической и бизнес накопилось очень много, в основном на wiki.

Цель - подключить бота в slack, который быстро может выдать инфу по нужной теме.

Источник знаний: