Комментарии 2
Так можно и FP4 квант использовать, ещё в два раза быстрее будет:) Но есть нюанс:)
Меня больше смутило FP8 на A100. У неё же нет нативной поддержки FP8 в Tensor Cores, так за счёт чего получился прирост почти 50%? Хотелось бы увидеть подробности реализации, иначе такой результат довольно сложно воспроизвести
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как ускорить локальную LLM на 50% без покупки новой видеокарты