На маке не знаю как поведет себя, но я запускал как в варианте на GPU так и в варианте на просто CPU. Основное что оперативки надо свободной иметь минимум 14Гб. У меня на винде операционка +модель на питон скрипте заняли 17.6 гиг озу... Ну и плюс торч если на процессоре хотите, соответственный не забудьте подгрузить\установить.... Я кондой среду свитчу ... Удобно ...
дачеча нашел как LLAMA2 прикрутить ... Прикрутил - однако обучение модели вроде 94% на английском приводит к чудесатым ответам в случае использования других языков. а так в принципе легко - вот так у меня работает (переопределил модель и го ....)
Вопрос немного не синхронен с вариантами того что происходит в каждом случае.
В силу своего опыта разработки самих моделей на уровне нейронных архитектур, отвечу что наибольшее потребление происходит при обучении.
РАГ при нарезке и векторизировании/ чанкинге потребляет существенно меньше ресурсов.
Ну и промпт я бы просто назвал незначимым, ибо он все равно существует во всех 3х случаях, но мне самому не нравится ответ.
Эт как сравнивать синее с сладким и мелким ... :)
Поисковик выдает что пользуйтесь во благо ...
Llama 2 is free for research and commercial use.
На маке не знаю как поведет себя, но я запускал как в варианте на GPU так и в варианте на просто CPU. Основное что оперативки надо свободной иметь минимум 14Гб. У меня на винде операционка +модель на питон скрипте заняли 17.6 гиг озу... Ну и плюс торч если на процессоре хотите, соответственный не забудьте подгрузить\установить.... Я кондой среду свитчу ... Удобно ...
дачеча нашел как LLAMA2 прикрутить ... Прикрутил - однако обучение модели вроде 94% на английском приводит к чудесатым ответам в случае использования других языков.
а так в принципе легко - вот так у меня работает (переопределил модель и го ....)
model_id = "TheBloke/Llama-2-7B-Chat-GGML"
model_basename = "llama-2-7b-chat.ggmlv3.q4_0.bin"
llm = load_model(device_type, model_id=model_id,
model_basename=model_basename)