Нейронные сети нетрадиционного ускорения

[Gamefin]

Спасибо, актуально. Попробую на днях ускорить qwen 3.8 27b

[jetnet]

Да более-менее бесполезно. В реальной жизни, не на тестах, прибавка - 2-3 т/с. That was a nice try :(

[ToxaBes]

Зависит от карты. На моей карте MTP дало дополнительные 8-10 т/с на генерацию.

[Bardakan]

Скорость оно может и увеличивает, а что с точностью?

[ToxaBes]

Точность не меняеся, в этом и суть.