Comments 17
Очень интересное решение, с удовольствие прочту чего сможете выжать из этих карт, удачи вам!
ps а как вообще, комфортно работать с нейронками, мне особенно интересно в плане работы с тем же Гермесом в частности.
напомните, что есть гермес? у меня сейчас для них узкая задача - в самописном окружении считают математику распространения ЭМ волн, поэтому не особо знаком с другими решениями
Мультиагентная система. Типа той же OpenClaw
спасибо, почитаю. я все еще пвтаюсь найти агента который так же хорошо сможет мне писать приложения, как чатгпт. типа сделал промпт подождал час и пришел за готовым результатом. внес правки и снова получил готовый архив. openhands попробовал, но оказался слишком тяжелым и медленным, час он только структуру проекта пытался создать
То-то я смотрю они на вторичке подорожали. За статью большое спасибо, буду ждать продолжения.
не сильно кстати. я брал комплект своих по 5 штуку, сейчас 8-9 стоят.
10гб на борту это грустненько, может придумают какой то хак с перепайкой чипов как у cmp50hx, будет веселее. Но 170hx не догнать конечно
Замена чипов на 20 гигов сразу упрется в возможности шины, контроллер физически не успеет прокачать такой объем весов на адекватной для генерации токенов скорости
170hx и стоят даже на вторичке в 15 раз дороже. 90hx это верхний предел для относительно бюджетного ИИ-кластера
Там и памяти при разблокировке 64ГБ (~120 000 руб на авито) или 80ГБ но таких не видел в продаже.
Ещё нужно знать, что там PCIe x4.
тогда определенно своих денег стоит. другой вопрос в том, что у меня пока столько нет на поиграться с нейросетями)))
До июня-июля они валялись по 200 баксов никому не нужные.
Как только появились свидетельства, что разблокировать память (а потом и производительность) возможно, цены рванули.
А следом подросли цены и на другие CMP-карты, потому что это работает и в их отношении тоже (кроме памяти, конечно, лишней там нет).
Интересно посмотреть на тайминги при сплите модели на несколько таких карт. По шине PCIe они обычно обрезаны с завода, так что профит от анлока ядер легко упрется в скорость обмена между слотами
Как я увеличил производительность своего сервера для LLM‑вычислений почти в два раза и причем здесь six‑seven