Comments 16
Огромное спасибо за статью. Я только "вкатываюсь" дивный новый мир, и у меня вопрос по эмбедингам. Вы берете за основу text-embedding-ada-002. Это какой-то универсальный способ? Даже Llama cpp умеет генерировать эти Embeddings на основе текста, который ты подашь. В какую сторону копать?)
Рад, что вам понравилась моя статья, взял за основу именно эту модель, потому что ее в 2 клика можно поставить на рельсы LocalAI, но на самом деле лучше использовать что-то более универсальное например intfloat/multilingual-e5-large или если мы говорим про русский язык, по тестам себя очень недурно показывает cointegrated/rubert-tiny2
А вы можете, если не трудно, подсказать "на пальцах", как эти эмбединги под капотом работают? Мы их извлекаем, оценивая промпт?
Это как правило модель, которая выстраивает ассоциации/сходства, например слово "привет" можно ассоциировать со словом "здарова" или "здравствуйте", "hello" (если она мультиязычна) и т.д. Как раз за счет этого работает семантика. Она генерирует вектора, которые как раз и будут отражать эти сходства, условно все эти слова мы запаковываем в некоторые множество коэфицентов. Условно приветствие будет "001", "002" и т.д. Это мы храним в векторной базе данных, чтобы потом проще было находить семантически то, что нас интересует. Это нам в первую очередь необходимо чтобы искать сходства с нашим запросом, текст из базы данных на который мы будем опираться. Чанк этого текста будет отдан нашей LLM модели как контекст, а уже на основе промпта и этого контекста сгенерируется ответ.
Надеюсь так понятнее)
Подскажите, а есть какой-то leaderboard embedding моделей по их качеству работы с именно с русским языком? Пока знаю только MTEB leaderboard на huggingface, но там только English/Chinese/Polish.
upd. Не смог удалить комментарий, была проблема с запросами, разобрался
Огромнейшее спасибо за статью! Как раз за несколько дней до этого сидел и думал, как бы приспособить какую-нибудь нейронку для анализа запросов пользователей в техподдержку за период времени, для выявления паттернов и тенденций.
Ковырял LM Studio, пробовал разные сетки в режиме чата. А тут такой подарок! Прошел весь пусть в статье - все запустилось успешно.
Если не сложно, подскажите, где почитать про инструменты Flowise? А то просто повторял сетап и все )) Могли бы что-то посоветовать мне в плане моей идеи по анализу запросов?
Заранее большое спасибо!
Добрый день, рад, что вам понравилось)
Какого характера эти запросы? Если требуется узнать, например, тему обращения то нужно больше копать в сторону семантического анализа, это тема на целую отдельную статью)
по инструментам flowise могу порекомендовать вот этот плейлист https://www.youtube.com/playlist?list=PL4HikwTaYE0HDOuXMm5sU6DH6_ZrHBLSJ
Для анализа и подбивки такого рода информации скорее всего потребуется пилить собственную модель и обучать ее. Либо делать fine tunning уже существующих
Советую поглядеть на hugginface модели из этой секции, может что-то подойдет https://huggingface.co/models?pipeline_tag=text-classification&sort=trending
Например https://huggingface.co/SamLowe/roberta-base-go_emotions
Сейчас поясню про характер запросов. Есть канал, куда приходят запросы на помощь, они всегда начинаются с "@support". Например: "@suppot упал пайплайн по адресу .....", "@support под такой-то рестартится, лог - ........", "@support нужно добавить в Vault значение по адресу........" и т.д.
Я хочу выгрузить все сообщения с "@support" за какой-то период и поискать по ним паттерны, тренды, шаблоны, что позволит оптимизировать работу отдела.
Спасибо! Интересная штука. Но сообщения об ошибках малоинформативны у этого Flowise. Пишет Connection Error. А что к чему не коннетится непонятно... По curl и LLM и Embedding API отвечают. Что не так пойди-разберись...
.
Дорогое сообщество,
я установила последнюю версию LM Studio на компьютер с 6 Гб ОЗУ, но LLM Mistral-7B-Instruct-v0.1-GGUF не загружается в оперативную память. Подскажите LLM меньшего размера для CPU - Intel(R) Core(TM) i3-3110M 2.4 GHz, GPU - AMD Radeon HD 8570M, RAM 6 GB. Спасибо
Акула
Как приручить нейросеть: практический опыт