Comments 9
Как можно это запустить не используя api OpenAi? Пусть он будет работать хуже, но запустить полностью на своей машине.
В теории можно. Надо настроить свою модель для эмбеддингов и LLM. В продолжении как-нибудь распишу
Буду признателен, если подробно распишите.
дачеча нашел как LLAMA2 прикрутить ... Прикрутил - однако обучение модели вроде 94% на английском приводит к чудесатым ответам в случае использования других языков.
а так в принципе легко - вот так у меня работает (переопределил модель и го ....)
model_id = "TheBloke/Llama-2-7B-Chat-GGML"
model_basename = "llama-2-7b-chat.ggmlv3.q4_0.bin"
llm = load_model(device_type, model_id=model_id,
model_basename=model_basename)
Подскажите на ноутбуке без мощной видеокарты, например макбук с м2 реально llama2 запустить и чтобы она ответ не пол дня писала?
Смотря какую версию использовать(веса же в диапазоне от 7 до 70 млрд параметров). Но без видеокарты все равно инференс медленный будет
На маке не знаю как поведет себя, но я запускал как в варианте на GPU так и в варианте на просто CPU. Основное что оперативки надо свободной иметь минимум 14Гб. У меня на винде операционка +модель на питон скрипте заняли 17.6 гиг озу... Ну и плюс торч если на процессоре хотите, соответственный не забудьте подгрузить\установить.... Я кондой среду свитчу ... Удобно ...
А можно в векторную базу загружать вакансии и автоматически тегировать. А при необходимости искать и фильтровать по тегам? Код примера для этого подойдет или его нужно как то изменить?
LlamaIndex: создаем чат-бота без боли и страданий. Часть 2