Pull to refresh
8
0
Егор Цибин @Cerberg

User

Send message

Приветствую, 6 gb - маловато для LLM 7b, попробуйте что-нибудь поменьше, например google/gemma-2b, возможно она запустится

Спасибо за теплые слова, буду стараться больше писать)

Тут скорее проще переводить сначала сформированный запрос на английский, отдавать его в LLM и ответ ее тоже переводить в желаемый язык. Может быть получится этого добиться тюнингом, но здесь тоже будут нужны огромные ресурсы, вот нашел статью про finetuning https://www.turing.com/resources/finetuning-large-language-models

Есть свои минусы у no code платформ. Тут конечно надо поглядеть, возможно случайно поставили где-то лишний пробел или порт не тот, перепроверьте в самом flowise настройки подключения у Embeddings и LLM, вдруг они на других портах стартанули

Тут как мне кажется задача не для LLM, а просто семантика, если я правильно понимаю

Если делать нейросеть с нуля то нужны просто космические ресурсы. Если делать например 7B потребуется около 100gb видеопамяти которые будут всегда доступны. Ну и огромное количество данных для обучения. Вообще существует большое множество моделей которые говорят на разных языках

Добрый день, рад, что вам понравилось)
Какого характера эти запросы? Если требуется узнать, например, тему обращения то нужно больше копать в сторону семантического анализа, это тема на целую отдельную статью)
по инструментам flowise могу порекомендовать вот этот плейлист https://www.youtube.com/playlist?list=PL4HikwTaYE0HDOuXMm5sU6DH6_ZrHBLSJ
Для анализа и подбивки такого рода информации скорее всего потребуется пилить собственную модель и обучать ее. Либо делать fine tunning уже существующих
Советую поглядеть на hugginface модели из этой секции, может что-то подойдет https://huggingface.co/models?pipeline_tag=text-classification&sort=trending

Например https://huggingface.co/SamLowe/roberta-base-go_emotions

Это как правило модель, которая выстраивает ассоциации/сходства, например слово "привет" можно ассоциировать со словом "здарова" или "здравствуйте", "hello" (если она мультиязычна) и т.д. Как раз за счет этого работает семантика. Она генерирует вектора, которые как раз и будут отражать эти сходства, условно все эти слова мы запаковываем в некоторые множество коэфицентов. Условно приветствие будет "001", "002" и т.д. Это мы храним в векторной базе данных, чтобы потом проще было находить семантически то, что нас интересует. Это нам в первую очередь необходимо чтобы искать сходства с нашим запросом, текст из базы данных на который мы будем опираться. Чанк этого текста будет отдан нашей LLM модели как контекст, а уже на основе промпта и этого контекста сгенерируется ответ.
Надеюсь так понятнее)

Рад, что вам понравилась моя статья, взял за основу именно эту модель, потому что ее в 2 клика можно поставить на рельсы LocalAI, но на самом деле лучше использовать что-то более универсальное например intfloat/multilingual-e5-large или если мы говорим про русский язык, по тестам себя очень недурно показывает cointegrated/rubert-tiny2

Такое тоже очень вероятно, у них тоже есть определенная логика генерации, да и в открытую их часто можно встретить, на раздачах, конкурсах и т.д.

Экранизации я не могу обещать, но планирую в ближайшее время написать практический материал, где будет делать умный поиск по базе знаний)

Как говориться, интернет помнит все)
Видимо спарсили с какого-то форума или сайта, или на основе алгоритма генерации этих ключей предположил. Думаю тут и фактор везения имеется.
Честно говоря досконального описания, откуда они там взялись я не видел.

Спасибо за дополнение)
Действительно есть определенные риски, особенно в рамках интеллектуальной собственности

Information

Rating
Does not participate
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Works in
Date of birth
Registered
Activity

Specialization

Specialist
Senior