Комментарии 8
Большое спасибо... Давно хотел попробовать локальный нейросервер. Попытаюсь при помощи вашего мануала поднять...
И еще такой вопрос хотел бы уточнить, если не трудно и если знаете. Насколько трудно обучить нейросеть другому языку? Это моя программа максимум.
Программа минимум - просто развернуть локальный сервер.
Если делать нейросеть с нуля то нужны просто космические ресурсы. Если делать например 7B потребуется около 100gb видеопамяти которые будут всегда доступны. Ну и огромное количество данных для обучения. Вообще существует большое множество моделей которые говорят на разных языках
Ха. Я живу в одной маленькой и гордой республике с очень красивым и редким языком. Насколько я знаю язык не оцифрован. Просто если эта задача решаема на любительском уровне, то стоит попробовать. Иначе стоит трусить Сбер чтобы они в гигачад добавили.
Тут скорее проще переводить сначала сформированный запрос на английский, отдавать его в LLM и ответ ее тоже переводить в желаемый язык. Может быть получится этого добиться тюнингом, но здесь тоже будут нужны огромные ресурсы, вот нашел статью про finetuning https://www.turing.com/resources/finetuning-large-language-models
Я пока делаю первые шаги в мир машинного обучения. Большое спасибо за статью с примером кода. Подписалась на ваш блог и буду рада новым публикациям.
Не могли бы вы добавить код функции save_to_chroma ? Не нашел его в примерах кода, только вызов функции.
Из документации:
def save_to_chroma(chunks: list[Document]):
# Clear out the database first.
if os.path.exists(CHROMA_PATH):
shutil.rmtree(CHROMA_PATH)
# Create a new DB from the documents.
db = Chroma.from_documents(
chunks, get_embeddings(), persist_directory=CHROMA_PATH
)
db.persist()
print(f"Saved {len(chunks)} chunks to {CHROMA_PATH}.")
Приручаем нейросети