LlamaIndex: создаем чат-бота без боли и страданий. Часть 2

[ximik666]

Как можно это запустить не используя api OpenAi? Пусть он будет работать хуже, но запустить полностью на своей машине.

[Mark_K]

В теории можно. Надо настроить свою модель для эмбеддингов и LLM. В продолжении как-нибудь распишу

[ximik666]

Буду признателен, если подробно распишите.

[BaxLi]

дачеча нашел как LLAMA2 прикрутить ... Прикрутил - однако обучение модели вроде 94% на английском приводит к чудесатым ответам в случае использования других языков.
а так в принципе легко - вот так у меня работает (переопределил модель и го ....)

    model_id = "TheBloke/Llama-2-7B-Chat-GGML"

    model_basename = "llama-2-7b-chat.ggmlv3.q4_0.bin"

    llm = load_model(device_type, model_id=model_id,

                     model_basename=model_basename)

[sneg2015]

Подскажите на ноутбуке без мощной видеокарты, например макбук с м2 реально llama2 запустить и чтобы она ответ не пол дня писала?

[Mark_K]

Смотря какую версию использовать(веса же в диапазоне от 7 до 70 млрд параметров). Но без видеокарты все равно инференс медленный будет

[BaxLi]

На маке не знаю как поведет себя, но я запускал как в варианте на GPU так и в варианте на просто CPU. Основное что оперативки надо свободной иметь минимум 14Гб. У меня на винде операционка +модель на питон скрипте заняли 17.6 гиг озу... Ну и плюс торч если на процессоре хотите, соответственный не забудьте подгрузить\установить.... Я кондой среду свитчу ... Удобно ...

[mepos]

А можно в векторную базу загружать вакансии и автоматически тегировать. А при необходимости искать и фильтровать по тегам? Код примера для этого подойдет или его нужно как то изменить?

[Mark_K]

Можно в keywords добавить свои теги, а не генерировать их с помощью llm. Код надо будет изменить