Установка и настройка llama.cpp с ROCm на Ubuntu 24.04 для AMD Radeon RX 7600 XT

[Alex-Freeman]

Интересно, что по скорости получается в сравнении с той же RTX 5060 Ti?

[MKreGGo]

5060ti будет быстрее, она и новее и поддержка cuda все еще лучше, чем rocm.

[Jenia001_xabr]

Данное давно есть на github

https://github.com/ijenia001

[dreammaster19]

Спасибо, посмотрю, я не нашёл нормального удобного описания

[Recklgor]

На моем опыте ROCm работает довольно странно (нестабильно).
Использовал на RX 9070XT.
Пробовал с ComfyUI в двух вариантах:
1) ROCm 6.4 в WSL - после какого-то обновления драйверов в родительской винды начало просто зависать на VAE Decode или на апскейлинге. Comfy UI намертво умирал в таком случае, ибо операцию невозможно отменить без перезапуска сервера. После перезапуска опять работает некоторое время.
2) ROCm 7 нативно в винде с самым последним драйвером - может просто рандомно крашнуться при запуске workflow с неизвестной ошибкой. Comfy UI после ошибки тоже не восстанавливается, и приходится перезапускать.
До сих пор не могу понять, в чем проблема. Модели пробовал разные, все влезают в VRAM.
Пробовал отключать части флоу, оставить самый базовый - без разницы.

[dreammaster19]

Для текстовых моделей работает отлично, проблем не встречал.

А вот ComfyUI да, периодически выкидывает ошибки, приходится перезапускать.

Под виндой Rocm 7 у меня нормально работать не хотел, PyTorch при обучениях вечно ошибки генерил

[0x62ash]

Я гонял Strix Halo и у меня rocm/llama.cpp:llama.cpp-b6652.amd0_rocm7.0.0_ubuntu24.04_server показал намного хуже результат чем master llama.cpp