Triton, Flash-attension, Sage-attension и bitsandbytes с ROCm 7 в Windows

[Moog_Prodigy]

Самая главная проблема это даже не rocm, это то, почему ваши вышеописанные действия никто не запихал в скрипт. С проверками и установками. Обычно для комфи идут баты, sh или .py с проверкой на актуальные дрова, и оно само скачивает (ну или говорит - у вас дрова старые). А на rocm е все только начинается.

[guinmoon]

"...почему ваши вышеописанные действия никто не запихал в скрипт..."
Вы имеете ввиду никто из AMD или команды ComfyUI?)

[Moog_Prodigy]

Нет, я имею в виду парней из AMD , которые до сих пор не могут допилить питоновские переходники для питоновских же ML прог - таких, как ноды comfy. Условно говоря. Понимаю - это титаническая работа - bare metal - rocm (только одна связка). Хотя может и пилят, я не знаю и особо не слежу. Что хочет пользователь? Он хочет чтобы условно работало все то, что и на Куде. Питоновские ML бибки, которые гоняют нейронки. Он идет покупает железку, он хочет придя домой поставить на нее дрова и настроить свою систему, чтобы нейронки. В общем так это выглядит на нвидии. Ставишь дрова, делаешь git clone нужного проекта и поехали. Но самое главное - при том при всем твое железо ( и дрова и соотв работа на нем) должно быть конкурентнее. И тут только цена железа начинает ролять. И количество vram. Вот далее и начинается "это только для игр, 6 гб хватит всем" и тд))