Как я увеличил производительность своего сервера для LLM‑вычислений почти в два раза и причем здесь six‑seven

[UB3]

Очень интересное решение, с удовольствие прочту чего сможете выжать из этих карт, удачи вам!
ps а как вообще, комфортно работать с нейронками, мне особенно интересно в плане работы с тем же Гермесом в частности.

[tr0llcr4ck]

напомните, что есть гермес? у меня сейчас для них узкая задача - в самописном окружении считают математику распространения ЭМ волн, поэтому не особо знаком с другими решениями

[Moog_Prodigy]

Мультиагентная система. Типа той же OpenClaw

[tr0llcr4ck]

спасибо, почитаю. я все еще пвтаюсь найти агента который так же хорошо сможет мне писать приложения, как чатгпт. типа сделал промпт подождал час и пришел за готовым результатом. внес правки и снова получил готовый архив. openhands попробовал, но оказался слишком тяжелым и медленным, час он только структуру проекта пытался создать

[UB3]

да, камрад выше ответил на ваш вопрос - у меня он крутится автономно в проксмокс впcке на моем домашнем серваке и он там сам себе хозяин :) очень рекомендую попробовать, ресурсов жрет мало а польза большая (если правильно приготовить)

[Devastator82]

То-то я смотрю они на вторичке подорожали. За статью большое спасибо, буду ждать продолжения.

[tr0llcr4ck]

не сильно кстати. я брал комплект своих по 5 штуку, сейчас 8-9 стоят.

[balamutang]

10гб на борту это грустненько, может придумают какой то хак с перепайкой чипов как у cmp50hx, будет веселее. Но 170hx не догнать конечно

[Galkihtuw]

Замена чипов на 20 гигов сразу упрется в возможности шины, контроллер физически не успеет прокачать такой объем весов на адекватной для генерации токенов скорости

[tr0llcr4ck]

не скажите. 20гб еще приемлемо. тем более с частотой 9.5ГГц на память в этих картах. упирается все в то, что на 50hx чипы gddr6, они адекватно стоят. на 90hx gddr6x, совместимые чипы по 2300 стоят или около того. такой эксперимент я проведу, но позже. пока жаба душит

[tr0llcr4ck]

170hx и стоят даже на вторичке в 15 раз дороже. 90hx это верхний предел для относительно бюджетного ИИ-кластера

[riv9231]

Там и памяти при разблокировке 64ГБ (~120 000 руб на авито) или 80ГБ но таких не видел в продаже.

Ещё нужно знать, что там PCIe x4.

[tr0llcr4ck]

тогда определенно своих денег стоит. другой вопрос в том, что у меня пока столько нет на поиграться с нейросетями)))

[Galkihtuw]

Интересно посмотреть на тайминги при сплите модели на несколько таких карт. По шине PCIe они обычно обрезаны с завода, так что профит от анлока ядер легко упрется в скорость обмена между слотами

[tr0llcr4ck]

читайте первую часть статьи. карты доделаны до 8 дифференциальных пар вместо 4 с завода. можно доделать на 16, но я потерял пакет с конденсаторами, пока не до того чтоб найти.

[tr0llcr4ck]

лично я выше 1Гбит по rx/tx не видел при сплите карт, есть даже ощущение что и до 8 пар (что дает 2Гбит) я зря расширил