Интересные подробности, спасибо за статью, очень полезно! Прошло почти 5 лет с момента написания- будет очень интересно почитать некое обновление, если вы еще продолжаете эксперименты в направлении бюджетных высокоскоростных сетей. С уважением.
Занимаюсь машинным обучением- был вынужден год назад пересесть с семёрки на 11 из-за того, что толи дрова для специфичных GPU перестали выпускаться под семерку, толи какойто компонент nvidia cuda. Адски бомбит от одиннадцатой. Прям подгорает.
Ну будем обучать/инференсить на изолированных от интернета серверах.. Геморроя добавится, но принципиально они повлиять не смогут. Если будет какая-нибудь "активация" при введении в строй гпу - ну чтото наверняка появится- в майкрософте вон тоже не дураки работают, но активаторов винды - на любой вкус..
Эта статья предлагает мне пожалеть МВидео? Недождётесь. Почему у ДНС или Всех-инструментов как-то получается нормально выруливать с гарантией, а у вас- нет? Не потому ли, что вы, дорогие товарищи, торгуете овном, потомучто хотите побольше денег заработать и вам плевать на страдания людей, которые, в силу разных причин, были вынуждены купить что-то у вас? Надеюсь, что у вас всё будет плохо и вы в итоге тихо исчезнете. И надеюсь, что у вас нехватит силы лобби, чтобы подвинуть ЗЗПП.
Ни капли не сомневаюсь в вашей, Олег, Рамиль и Андрей, экспертности в вышеописанных вопросах, однако от статьи с заголовком "Внедрение кластера для масштабирования.." ожидается не философия верхнего порядка, типа "данные неплохо бы хранить так чтобы не парсить их двадцать раз на дню", а нечто, начинающееся, например, так: "Мы отладили пайплайн на одном сервере с N штук GPU и теперь научимся делать кластер и этот пайплайн запускать на кластере из M серверов с N GPU в каждом".. Грубо говоря- написав и отладив софт на одном риге, прочитав вашу статью я его на пяти ригах не запущу.
Тема про GPU-кластера вообще представлена слабо в интернетике, хотелось бы погрузиться.. Заранее признателен! ))
Спасибо большое, то, что нужно! А вы не знаете как использовать GPU с соседних машин? Я понимаю, что это уже фактически кластер и там всё сложно, но вдруг)
Сейчас хорошее время для сборки домашнего суперкомпьютера- фирменная мать Supermicro x10dri под xeon 26xx v3/v4 стоит на авито 20 тр и поддерживает до полутора тб озу, бум майнинга эфира завершился- 3090 сейчас стоят копейки..
Коллеги, нигде не увидел в явном виде про использование нескольких видеокарт - условная LM-студия умеет запускать модель с использованием нескольких гпу? 24 гб у 3090 или А5000- это вроде немного, но если их в системе 5 штук- то уже 120 гб..
Мне кажется, что это гиблое дело- хакнут или напрямую или подсунут аналог сервера валидации, как с активаторами винды. Через сколько появился патч драйверов для майнеров, когда нвидия решила хешрейт в дровах занизить? Недели через три?.. Ну и ML-серванту вообще инет ненужен для работы. Но активацию придумать могут, да..
Сначала нацбезопасность юнайтед стейтс, а потом уже демократия, рынок и свободы)
Как-то видится мне, что сенаторы припозднились- лет 15 назад такое надо было принимать, пока карты для ИИ были только у нвидии. Сейчас китайцы уже почти догнали.
Вангую, что если америкосы примут такое на серьезных щщах, то спрос сместится с нвидии, минуя амд, на китайские карты, а нвидия станет чисто американской историей. Или нвидия релоцируется в Китай, что скорее всего невозможно.. Интересно, из администрации товарища Си уже намекали Хуангу, что неплохо бы вспомнить свою историческую родину?))
Интересные подробности, спасибо за статью, очень полезно! Прошло почти 5 лет с момента написания- будет очень интересно почитать некое обновление, если вы еще продолжаете эксперименты в направлении бюджетных высокоскоростных сетей. С уважением.
Занимаюсь машинным обучением- был вынужден год назад пересесть с семёрки на 11 из-за того, что толи дрова для специфичных GPU перестали выпускаться под семерку, толи какойто компонент nvidia cuda. Адски бомбит от одиннадцатой. Прям подгорает.
Ну будем обучать/инференсить на изолированных от интернета серверах.. Геморроя добавится, но принципиально они повлиять не смогут. Если будет какая-нибудь "активация" при введении в строй гпу - ну чтото наверняка появится- в майкрософте вон тоже не дураки работают, но активаторов винды - на любой вкус..
del
Эта статья предлагает мне пожалеть МВидео? Недождётесь. Почему у ДНС или Всех-инструментов как-то получается нормально выруливать с гарантией, а у вас- нет? Не потому ли, что вы, дорогие товарищи, торгуете овном, потомучто хотите побольше денег заработать и вам плевать на страдания людей, которые, в силу разных причин, были вынуждены купить что-то у вас? Надеюсь, что у вас всё будет плохо и вы в итоге тихо исчезнете. И надеюсь, что у вас нехватит силы лобби, чтобы подвинуть ЗЗПП.
Хорошие примеры, спасибо!
Ни капли не сомневаюсь в вашей, Олег, Рамиль и Андрей, экспертности в вышеописанных вопросах, однако от статьи с заголовком "Внедрение кластера для масштабирования.." ожидается не философия верхнего порядка, типа "данные неплохо бы хранить так чтобы не парсить их двадцать раз на дню", а нечто, начинающееся, например, так: "Мы отладили пайплайн на одном сервере с N штук GPU и теперь научимся делать кластер и этот пайплайн запускать на кластере из M серверов с N GPU в каждом".. Грубо говоря- написав и отладив софт на одном риге, прочитав вашу статью я его на пяти ригах не запущу.
Тема про GPU-кластера вообще представлена слабо в интернетике, хотелось бы погрузиться.. Заранее признателен! ))
Спасибо большое!
Спасибо большое, то, что нужно! А вы не знаете как использовать GPU с соседних машин? Я понимаю, что это уже фактически кластер и там всё сложно, но вдруг)
Нифига себе разница! Не разбирались почему?
Важно и то и другое, но объем памяти важнее.
Сейчас хорошее время для сборки домашнего суперкомпьютера- фирменная мать Supermicro x10dri под xeon 26xx v3/v4 стоит на авито 20 тр и поддерживает до полутора тб озу, бум майнинга эфира завершился- 3090 сейчас стоят копейки..
Спасибо большое! А можно вас попросить рассказать про конфигурацию сервера, на котором это крутится?
Подскажите, поддерживает ли LM-студия мульти GPU и (скорее всего нет, но вдруг) - кластер машин с GPU?
А сколько V100 было на этом сервере?
Коллеги, нигде не увидел в явном виде про использование нескольких видеокарт - условная LM-студия умеет запускать модель с использованием нескольких гпу? 24 гб у 3090 или А5000- это вроде немного, но если их в системе 5 штук- то уже 120 гб..
Мне кажется, что это гиблое дело- хакнут или напрямую или подсунут аналог сервера валидации, как с активаторами винды. Через сколько появился патч драйверов для майнеров, когда нвидия решила хешрейт в дровах занизить? Недели через три?.. Ну и ML-серванту вообще инет ненужен для работы. Но активацию придумать могут, да..
Сначала нацбезопасность юнайтед стейтс, а потом уже демократия, рынок и свободы)
Как-то видится мне, что сенаторы припозднились- лет 15 назад такое надо было принимать, пока карты для ИИ были только у нвидии. Сейчас китайцы уже почти догнали.
Самоуничтожение. Как в пейджерах)
Вангую, что если америкосы примут такое на серьезных щщах, то спрос сместится с нвидии, минуя амд, на китайские карты, а нвидия станет чисто американской историей. Или нвидия релоцируется в Китай, что скорее всего невозможно.. Интересно, из администрации товарища Си уже намекали Хуангу, что неплохо бы вспомнить свою историческую родину?))