Возможно Вы правы и какая-то версия модели лучше себя чувствует на Strata. Но как говорят - все познается в сравнении. На мой субъективный взгляд для Strix Halo лучшее решение - halogen и их модель версии v2.
Не пробуйте Strata. Он быстр спору нет, но также нет стабильности. Пара тройка успешных и быстрых проб не компенсирует глубочайшего разочарования от регулярного неадекватного поведения. Посмотрите в сторону https://github.com/peonist-ai/halogen-flash-server . Вроде как есть удачные конфиги и для версии 96Gb. Сам пользуюсь больше месяца в связке с hermes. Текущая скорость выдачи в среднем 65 т/с и обработка промта на всем протяжении сеанса почти всегда 2к т/с. Пользую Beelink GTR9 Pro AI Max+ 395 (128Гб)
Возможно Вы правы и какая-то версия модели лучше себя чувствует на Strata. Но как говорят - все познается в сравнении. На мой субъективный взгляд для Strix Halo лучшее решение - halogen и их модель версии v2.
Допускаю, что нестабильность зависит от условий использования и проявляется по разному. В моем случае это игнорирование навыков или применение не уместных, для поставленной задачи. И этому даже есть объяснение https://www.mauriziofonte.it/blog/post/local-llm-deterministic-output-temperature-zero-llama-cpp-reproducibility.html в тексте есть еще ссылки на тесты Strata и замечания, где он неплох. И да, гонял тоже на CUDA (4080).
Не пробуйте Strata. Он быстр спору нет, но также нет стабильности. Пара тройка успешных и быстрых проб не компенсирует глубочайшего разочарования от регулярного неадекватного поведения. Посмотрите в сторону https://github.com/peonist-ai/halogen-flash-server . Вроде как есть удачные конфиги и для версии 96Gb. Сам пользуюсь больше месяца в связке с hermes. Текущая скорость выдачи в среднем 65 т/с и обработка промта на всем протяжении сеанса почти всегда 2к т/с. Пользую Beelink GTR9 Pro AI Max+ 395 (128Гб)