Пользователь
дубль
Попробовал. На ROCm выдает 62 т/с на моей машине, но у модели уже начинаются трудности с русским языком на таком квантовании
Забавно, у меня наоборот ROCm чуть быстрее, чем Vulkan, но там разница буквально пара-тройка т/с
На Radeon RX 9060 XT 16Gb, 32Gb ОЗУ (DDR4), CPU 6-core с параметрами из статьи скорость 17.5 т/с на пустом контексте
Если Number of layers for MoE onto CPU поставить в 0, то скорость уже 27 т/с почему-то. Я так понимаю инференс DDR4 сильно тормозит
Кстати, у меня есть такой баг, что левый глаз видит цвета чуть "теплее", чем правый. Особенно заметен этот эффект на пастельных тонах.
Навигатор в Андроид Авто работает, пользуюсь. Правда только с активной подпиской Яндекс.Плюс.
Странно, что при этом была выбрана совсем так себе видеокарта. У меня на рязани 5600, RX590 с 8гб видеопамяти и 32гб озу в Киберпанке все было очень грустно. А тут вообще, по сути чуть лучше офисной затычки.
Лаборатории реактивных двигателей НАСА
Емнип, общепринятый перевод - Лаборатория реактивного движения.
дубльПопробовал. На ROCm выдает 62 т/с на моей машине, но у модели уже начинаются трудности с русским языком на таком квантовании
Забавно, у меня наоборот ROCm чуть быстрее, чем Vulkan, но там разница буквально пара-тройка т/с
На Radeon RX 9060 XT 16Gb, 32Gb ОЗУ (DDR4), CPU 6-core с параметрами из статьи скорость 17.5 т/с на пустом контексте
Если Number of layers for MoE onto CPU поставить в 0, то скорость уже 27 т/с почему-то. Я так понимаю инференс DDR4 сильно тормозит
Кстати, у меня есть такой баг, что левый глаз видит цвета чуть "теплее", чем правый. Особенно заметен этот эффект на пастельных тонах.
Навигатор в Андроид Авто работает, пользуюсь. Правда только с активной подпиской Яндекс.Плюс.
Странно, что при этом была выбрана совсем так себе видеокарта. У меня на рязани 5600, RX590 с 8гб видеопамяти и 32гб озу в Киберпанке все было очень грустно. А тут вообще, по сути чуть лучше офисной затычки.
Емнип, общепринятый перевод - Лаборатория реактивного движения.