Комментарии 5
inference (я так и не решил как лучше перевести это слово
Часто используют либо англицизм "инференс", либо "генерация".
Нужно скачать одну из моделей предложенных там. На мои запросы в браузере отвечает корректно, того что вы описываете не встречал. Можете попробовать скачать эту модель по прямой ссылке https://huggingface.co/guinmoon/LLMFarm_Models/resolve/main/orca-mini-3b-q4_1.gguf
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
LLaMA 2, RWKV, Santacoder и другие LLM на iOS