Для прода такой модельки я бы рекомендовал 2xH200 с объединением NVlink (или облако на sxm платформе), на 2xH100 у вас не влезет 180Gb весов+обвязка. Ещё лучше будет на 1xB300, всё отлично влезает и есть место не только под модельку, но и под KV-cache, служебные буферы и прочее + очень быстрая память.
Поиграться можно на 2/3xPro6000, но без NVLink может быть очень больно, поскольку модель не влезает на одну карту целиком и PCI будет болезненным узким местом.
Касательно 2500 VDI вот так без контекста трудно что-то рекомендовать. Как минимум надо понимать что именно делают эти пользователи. 2500 офисных сотрудников и 2500 CAD инженеров это оч сильно Вы можете написать нашим сейлам, они проконсультруют конкретней под вашу инфраструктуру - sales@selectel.ru
Для прода такой модельки я бы рекомендовал 2xH200 с объединением NVlink (или облако на sxm платформе), на 2xH100 у вас не влезет 180Gb весов+обвязка. Ещё лучше будет на 1xB300, всё отлично влезает и есть место не только под модельку, но и под KV-cache, служебные буферы и прочее + очень быстрая память.
Поиграться можно на 2/3xPro6000, но без NVLink может быть очень больно, поскольку модель не влезает на одну карту целиком и PCI будет болезненным узким местом.
Касательно 2500 VDI вот так без контекста трудно что-то рекомендовать. Как минимум надо понимать что именно делают эти пользователи. 2500 офисных сотрудников и 2500 CAD инженеров это оч сильно
Вы можете написать нашим сейлам, они проконсультруют конкретней под вашу инфраструктуру - sales@selectel.ru