Как раздобыть Nvidia Tesla за копейки и не поселиться в психушке: хардкор-гайд от выжившего

[onyxmaster]

Blackwell 6000 PRO в России стоит $11К примерно, при этом для инференса он часто быстрее чем H100, если помещаетесь в 96ГБ. Да, его надо ещё куда-то воткнуть, но это уже не то чтобы значительная проблема, особенно если воткнуть надо 2-4 карты.

[killersssurprise]

Да. Я предлагал собрать свои сервера тут по месту, но, как говорится, бизнесу виднее..

[bazilxp]

C Докером получился, колапс, черти местные модель натренировали модель с голосом лидера, докер полетел туды сюды=) Обычно идет абьюз и банят что то,а насчет великого да это еще развлечение то.

Нужны три буквы=)

Проблема №1: Доставка образа

Проблема №2: Мир без GitHub и Pip.

Решаемо через определенные соедениня , но нужен VPS за пределами

Это в духе NVIDIA,

С H20 есть своя магия. Даже если официальная документация кричит о совместимости версий драйверов CUDA и вашего софта — это ложь. Нужно подбирать драйвера и версии библиотек методом тыка, по факту работы. Особенно nvidia-ctk.

Нужно импровизировать, все на глазок.

[so_linrun]

GitHub можно использовать, но нужно смотреть по везению, GFW не каждый раз даёт мне пройти.

[bazilxp]

tls handshake ,обычно падает , с вероятностью 50% , ночью самое лучшее время..

[AbuMohammed]

Никогда не брали билд торч с репо, всегда собирали сами, и в докере тоже. Вообще никаких проблем.

[killersssurprise]

Сейчас так и делаем. Содержим свое хранилище артефактов, сборок и моделей. Для разного хлама локально S3.