Давно не виделись, уважаемые!

Ну что ж, рад вас видеть, сегодня будем говорить и применять новые инструменты для создания RAG, улучшим качество наших результатов относительно прошлой статьи за счет использования других моделей для embeddings. Также затронем использование трушной векторной БД Chroma.

Итак, в прошлой статье я уже немного рассказывал о том, что с LLM можно работать и даже построить определенный RAG. Как и обещал, перейдем к практике! :)

Сегодня мы будем делать простейший локальный и приватный RAG для работы с базой знаний. Все это будет проходить без погружения в сложные дебри, чтобы извлечь основную суть и уже иметь представление о том, как компоненты связаны между собой, и за что они отвечают.

Привет, Хабр!

В последнее время проблема утечки информации все чаще освещается в медиа. Хватает новостей о том, что утекали даже ключи и пользовательские данные. Да чего только не было! Неудивительно, что многие компании, особенно с развитием и активным использованием ИИ-технологий, чат-ботов и т.д., обеспокоены своей кибербезопасностью.

Например, OpenAI открыто заявляла, что для улучшения качества ответов в своей системе они используют истории запросов, то есть все то, что когда-либо писали их пользователи. Поэтому некоторые организации строго запрещают применять ChatGPT и скидывать туда фрагменты своей документации, исходного кода и т.д. Но подобные сервисы слишком уж привлекательны, чтобы полностью их игнорировать. Ведь они действительно могут принести пользу, если применять их правильно и, самое главное, четко понимать, для чего вам это нужно.