Как стать автором
Обновить

Комментарии 16

Огромное спасибо за статью. Я только "вкатываюсь" дивный новый мир, и у меня вопрос по эмбедингам. Вы берете за основу text-embedding-ada-002. Это какой-то универсальный способ? Даже Llama cpp умеет генерировать эти Embeddings на основе текста, который ты подашь. В какую сторону копать?)

Рад, что вам понравилась моя статья, взял за основу именно эту модель, потому что ее в 2 клика можно поставить на рельсы LocalAI, но на самом деле лучше использовать что-то более универсальное например intfloat/multilingual-e5-large или если мы говорим про русский язык, по тестам себя очень недурно показывает cointegrated/rubert-tiny2

А вы можете, если не трудно, подсказать "на пальцах", как эти эмбединги под капотом работают? Мы их извлекаем, оценивая промпт?

Это как правило модель, которая выстраивает ассоциации/сходства, например слово "привет" можно ассоциировать со словом "здарова" или "здравствуйте", "hello" (если она мультиязычна) и т.д. Как раз за счет этого работает семантика. Она генерирует вектора, которые как раз и будут отражать эти сходства, условно все эти слова мы запаковываем в некоторые множество коэфицентов. Условно приветствие будет "001", "002" и т.д. Это мы храним в векторной базе данных, чтобы потом проще было находить семантически то, что нас интересует. Это нам в первую очередь необходимо чтобы искать сходства с нашим запросом, текст из базы данных на который мы будем опираться. Чанк этого текста будет отдан нашей LLM модели как контекст, а уже на основе промпта и этого контекста сгенерируется ответ.
Надеюсь так понятнее)

Подскажите, а есть какой-то leaderboard embedding моделей по их качеству работы с именно с русским языком? Пока знаю только MTEB leaderboard на huggingface, но там только English/Chinese/Polish.

Огромнейшее спасибо за статью! Как раз за несколько дней до этого сидел и думал, как бы приспособить какую-нибудь нейронку для анализа запросов пользователей в техподдержку за период времени, для выявления паттернов и тенденций.

Ковырял LM Studio, пробовал разные сетки в режиме чата. А тут такой подарок! Прошел весь пусть в статье - все запустилось успешно.

Если не сложно, подскажите, где почитать про инструменты Flowise? А то просто повторял сетап и все )) Могли бы что-то посоветовать мне в плане моей идеи по анализу запросов?

Заранее большое спасибо!

Добрый день, рад, что вам понравилось)
Какого характера эти запросы? Если требуется узнать, например, тему обращения то нужно больше копать в сторону семантического анализа, это тема на целую отдельную статью)
по инструментам flowise могу порекомендовать вот этот плейлист https://www.youtube.com/playlist?list=PL4HikwTaYE0HDOuXMm5sU6DH6_ZrHBLSJ
Для анализа и подбивки такого рода информации скорее всего потребуется пилить собственную модель и обучать ее. Либо делать fine tunning уже существующих
Советую поглядеть на hugginface модели из этой секции, может что-то подойдет https://huggingface.co/models?pipeline_tag=text-classification&sort=trending

Например https://huggingface.co/SamLowe/roberta-base-go_emotions

Сейчас поясню про характер запросов. Есть канал, куда приходят запросы на помощь, они всегда начинаются с "@support". Например: "@suppot упал пайплайн по адресу .....", "@support под такой-то рестартится, лог - ........", "@support нужно добавить в Vault значение по адресу........" и т.д.
Я хочу выгрузить все сообщения с "@support" за какой-то период и поискать по ним паттерны, тренды, шаблоны, что позволит оптимизировать работу отдела.

Тут как мне кажется задача не для LLM, а просто семантика, если я правильно понимаю

Спасибо! Интересная штука. Но сообщения об ошибках малоинформативны у этого Flowise. Пишет Connection Error. А что к чему не коннетится непонятно... По curl и LLM и Embedding API отвечают. Что не так пойди-разберись...

.

Есть свои минусы у no code платформ. Тут конечно надо поглядеть, возможно случайно поставили где-то лишний пробел или порт не тот, перепроверьте в самом flowise настройки подключения у Embeddings и LLM, вдруг они на других портах стартанули

Дорогое сообщество,

я установила последнюю версию LM Studio на компьютер с 6 Гб ОЗУ, но LLM Mistral-7B-Instruct-v0.1-GGUF не загружается в оперативную память. Подскажите LLM меньшего размера для CPU - Intel(R) Core(TM) i3-3110M 2.4 GHz, GPU - AMD Radeon HD 8570M, RAM 6 GB. Спасибо

Акула

Приветствую, 6 gb - маловато для LLM 7b, попробуйте что-нибудь поменьше, например google/gemma-2b, возможно она запустится

Спасибо за дельный совет!
Я проверила два файла:
gemma-2b-it-q8_0.gguf
gemma-2b-it-q4_k_m.gguf
но получила сообщение "This processor does not support AVX2 instructions"
можете что-то ещё посоветовать, совместимое с моим процессором

Зарегистрируйтесь на Хабре, чтобы оставить комментарий