Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf

[kotafey]

Иметь такой калькулятор было бы прикольно, но сейчас это как задача 3х тел, или хаотический маятник. Всё слишком быстро меняется, и параметры, и способы вычислений.

[Weron2]

Согласен. Даже опираясь на ваш опыт когда включаешь один флаг и получаешь значительный прирост это уже показательно что все не так однозначно.