Я тогда исходил из того, что у меня было под рукой. А под рукой у меня был Intel I9 10-го поколения с его 20 линиями. На мою мат. плату две видеокарты не влезли бы. К тому же, вторая из них работала бы по шине PCIe 3.0 x4 через чипсет. Думаю, было бы совсем грустно. А так я подключил док-станцию по OcuLink через переходник на M2 NVME. По итогу обе карты работали с процом напрямую.
Я тоже задался подобный вопросом и по итогу пришел к двум AMD RX 7900 XTX, работающих с llama.cpp. К этому я шел постепенно: изначально у меня была одна RX 6900 XT. Ее заменил на 7900 XTX. Показалось мало. Взял платформу для eGPU, подключив к ней 6900 XT через OcuLink (PCIe 4.0 x4). Показалось недостаточно - из-за x4 шины и в целом меньшей производительности у 6900 XTX основная 7900 XTX не могла раскрыть свой потенциал, т.к. ей приходилось ждать пока другая карта закончит свои вычисления. В этом случае приходилось перераспределять слои таким образом, чтобы они размещались преимущественно на 7900 XTX. Мне это тоже не понравилось, потому я взял вторую 7900 XTX. Хоть теперь обе карты были одинаковыми по производительности, но шина x4 давала о себе знать. Начал смотреть в сторону HEDT-процессоров, таких как Threadripper, у которых есть куча линий PCIe. Нашел на вторичке комплект AMD 3970x и мат. плату к нему. Ну и плюс блоки питания на 1.5+ кВт, т.к. видеокарты в исполнении от Sapphire на постоянной могут есть 400-500 Вт, а в пике "доедать" и до 700 Вт.
И вот смотрю я на то, сколько я потратил на всё это, и вижу, что +/- за эту же стоимость можно было взять готовое решение с 4-мя V100 по 32 Гб в sxm2 исполнении на воздушном охлаждении и внешним адаптером на PCIe. Но я пока так и не понял расстраиваться мне или нет. В той же Qwen3.8 с MTP и split-mode=tensor на prefill я получаю до 1200 t/s, на генерацию от 60-80 t/s. при больших контекстах там и до в среднем до 40 падает. Это при том, что карты работают в x16 + x8, т.к. первая карта закрывает собой второй слот с x16. Жду каркас и райзеры, чтобы эти карты разнести и подключить их в режиме x16 + x16.
С другой стороны, 48 Гб видеопамяти - это как-будто ни туда, ни сюда. Большинство моделей, что я вижу, обычно параметрами помещаются в одну видеокарту до 32 Гб, либо кол-во параметров уходит за 100 млрд, а это уже другие масштабы. Остается только радоваться увеличенному контексту да квантованию получше.
Я тогда исходил из того, что у меня было под рукой. А под рукой у меня был Intel I9 10-го поколения с его 20 линиями. На мою мат. плату две видеокарты не влезли бы. К тому же, вторая из них работала бы по шине PCIe 3.0 x4 через чипсет. Думаю, было бы совсем грустно. А так я подключил док-станцию по OcuLink через переходник на M2 NVME. По итогу обе карты работали с процом напрямую.
Я тоже задался подобный вопросом и по итогу пришел к двум AMD RX 7900 XTX, работающих с llama.cpp. К этому я шел постепенно: изначально у меня была одна RX 6900 XT. Ее заменил на 7900 XTX. Показалось мало. Взял платформу для eGPU, подключив к ней 6900 XT через OcuLink (PCIe 4.0 x4). Показалось недостаточно - из-за x4 шины и в целом меньшей производительности у 6900 XTX основная 7900 XTX не могла раскрыть свой потенциал, т.к. ей приходилось ждать пока другая карта закончит свои вычисления. В этом случае приходилось перераспределять слои таким образом, чтобы они размещались преимущественно на 7900 XTX. Мне это тоже не понравилось, потому я взял вторую 7900 XTX. Хоть теперь обе карты были одинаковыми по производительности, но шина x4 давала о себе знать. Начал смотреть в сторону HEDT-процессоров, таких как Threadripper, у которых есть куча линий PCIe. Нашел на вторичке комплект AMD 3970x и мат. плату к нему. Ну и плюс блоки питания на 1.5+ кВт, т.к. видеокарты в исполнении от Sapphire на постоянной могут есть 400-500 Вт, а в пике "доедать" и до 700 Вт.
И вот смотрю я на то, сколько я потратил на всё это, и вижу, что +/- за эту же стоимость можно было взять готовое решение с 4-мя V100 по 32 Гб в sxm2 исполнении на воздушном охлаждении и внешним адаптером на PCIe. Но я пока так и не понял расстраиваться мне или нет. В той же Qwen3.8 с MTP и split-mode=tensor на prefill я получаю до 1200 t/s, на генерацию от 60-80 t/s. при больших контекстах там и до в среднем до 40 падает. Это при том, что карты работают в x16 + x8, т.к. первая карта закрывает собой второй слот с x16. Жду каркас и райзеры, чтобы эти карты разнести и подключить их в режиме x16 + x16.
С другой стороны, 48 Гб видеопамяти - это как-будто ни туда, ни сюда. Большинство моделей, что я вижу, обычно параметрами помещаются в одну видеокарту до 32 Гб, либо кол-во параметров уходит за 100 млрд, а это уже другие масштабы. Остается только радоваться увеличенному контексту да квантованию получше.