Comments 7
Думаю не хватает скрытой подсказки для нормального ответа. Опиши в подсказке кем является модель, что она должна делать и как себя вести, можно даже описать примеры ответов в первой подсказке
к сожалению не очень понял про что вы, можно какой нить пример ?
Например тут https://github.com/ggerganov/llama.cpp
Запускается так ./main -m ./models/13B/ggml-model-q4_0.bin -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompts/chat-with-bob.txt
Подсказка выглядит так
Transcript of a dialog, where the User interacts with an Assistant named Bob. Bob is helpful, kind, honest, good at writing, and never fails to answer the User's requests immediately and with precision.
User: Hello, Bob.
Bob: Hello. How may I help you today?
User: Please tell me the largest city in Europe.
Bob: Sure. The largest city in Europe is Moscow, the capital of Russia.
User:
На каком железе это все тестировалось?
Я понимаю ваше стремление сесть в хайптрейн, но тогда может лучше провести тестирование всех открытых моделей, или хотя бы топ 7 ? Сделать сводную таблицу с результатами, может быть проранжировать ответы. А то так выглядит как будто "ООО все говорят про нейросети, надо запилить пост про нейросети". Есть еще викуна, долли , опен ассистант, альпака на 30B, итд
Небольшое сравнение gpt4all и alpaca.cpp