«Диск слишком медленный, так что единственный способ — как-то генерить данные процессором.» Не очень понял эту мысль. Это взаимодополняющие, а не замещающие компоненты.
Во первых, турбированные карты сами оснащены мощными кулерами на выдув. А они генерят 80% тепла. Во вторых там еще кулеры сверху, и спереди три.
«Насчёт объединения — хорошо что умеете пользоваться паяльником. Но повторю вопрос — если один из блоков решит уйти в оффлайн от перегрузки/КЗ — что будет делать второй? Как отработает система в целом?»
Если выключится первый, то он тут же выключит и второй. Потому что разорвется сигнал Power_Good. Если выключится второй… то он просто выключится и выключит одну из видеркарт. В принципе это будет для компьютера как если бы вы выдернули из карты доп питания. Просто выключится карта.
«Насчёт дисков. Для БД я бы меньше 3710 и не порекомендовал. Совсем не понятна логика почему не NVME. Они такие редкие что 3 не сможете купить? Или что потом они исчезнут и ещё 2 не сможете докупить? Hint — u2.» Ну а куда их там ставить потом в количестве 3 штуки? Покупать переходники в PCI?
"«Четвертую через удлинитель снаружи.» вы чего, серьезно? Зачем вы тогда такой корпус покупали? Взяли бы алюминиевых уголков, райзеры (только те что x8 или x16) и сделали бы корпус как у майнеров. Было бы и дешевле и охлаждение со всех сторон. Зачем все это?" --Вообще отличная мысль. Но райзеры на рынке душат производительность. А так три карты пока более чем достаточно. Нужна будет четвертая вставим.
Виртуализация это боль с точки зрения проброса GPU
Убунта/Дебиан это версионность, а она с моей точки зрения уходит в прошлое для систем аля рабочая станция. Центос банально нужный софт не поддерживает. Это больше серверное решение. Хотя он очень стабильный и классный. Но у Арча подкупает удобство и обьем AUR. Попробуйте, это очень удобное семейство систем.
1.5 КВт тепла отводит не корпус сам по себе, а вся система охлаждения. Обдув у него очень хороший, если обеспечить быстрые кулеры, то да шуметь он будет, но обдув хороший. Не хуже, чем у серверов.
Стоит комп не под столом и не на столе. Стоит в серверной.
Корпуса в серверную стойку я очень активно рассматривал. Но отсеял по трем причинам: собрать нужно было быстро, а серверный корпус сложнее выбрать. Кроме того в такой (выбранный) корпус пользуясь шлейфом легко ставить карту боком, там много места. В серверном корпусе для этого нужен переходник которого в россии я не нашел (я писал об этом). Серверные корпуса если не специализированные для GPU, не лучше ничем конкретно.
«Диск. 860 Evo? Один? Вы серьезно? Какой у него ресурс? Какая на него будет нагрузка (объем записи в день)? Что будете делать если он выйдет из строя? Как будете восстанавливать работоспособность сервера?»
Во-первых, это не сервер для базы данных, для этого есть другой компьютер на серверной платформе. А тут будет идти какая-то текущая работа. Можно купить еще два диска таких же и обьединить их в ZFS. У меня был такой план. Поэтому изначально не NVME. Во вторых, а почему ресурса этих дисков должно не хватить? Вопрос в интенсивности работы.
«По памяти — памяти много не бывает. Особенно для 4*3090. Я бы сказал 128GB — это минимум с которого надо начинать. И только ECC.»-- Да я написал что есть такие планы. Хотя ECC и не настолько сейчас критичен. Считай что это параллельная рабочая станция, а не веб сервер.
«3090 в большинстве своем на 2.5 слота. как будете ставить?»
Ну без каких то ухищрений легко вставить 3 карты: две в слоты через один. И одну боком через удлинитель. Карты нужны именно турбированные, чтобы не нагревать все внутри. Четвертую через удлинитель снаружи.
«Вот только время когда основной питающей линией было 3.3 вольта давно ушли и все современные БП рассчитывают на нагрузку по линии 12В» — Я где то написал, что сейчас основная линия питания это 3v3?? Мне кажется вы неправильно трактуете мои слова.
«Будете объединять 12в или нет?» Нет. Спаяю элементарную оптопару от питания другого сервера и будут две независимые 12V линии с общей землей через PCI. Может быть сделаю об этом пост.
SSD согласен, можно было взять один обычный и один NVME. Хотя по моему опыту, скорости SATA уже достаточно для комфортной работы. А в данном случае выбирая что-то одно выбрал бы объем. Хотя учитывая цену железа и правда нужно будет добавить NVME.
Процессор слабый по какому критерию? По скорости, или по количеству потоков? По количеству потоков он слабый в случае, если будет работать одновременно много человек. С какой именно задачей мы столкнемся, что нам не хватит этого процессора?
Тесты производительности уже проведены. Я цифры привел прямо с первых результатов запроса в гугл. Зачем мне их повторять?
Возможно я прикрепил ссылку не на конкретно этот сервер (может тот забрали уже), но мне кажется ваш Ответ на 100% прокомментирует вот это видео: https://youtu.be/Z76QDISZlBQ
Да. И правда. Я вставил не ту ссылку. Я нашёл довольно выгодную не буферизованную память, а потом закрыл вкладку. А когда статью писал мне показалось что это та самая. А это версия буферизованная. Я поправлю этот момент. Но тут действительно просто не та ссылка.
Ну по моему опыту очень многие кто собирают ПК не понимают как именно нужно рассчитывать линии питания, и что такое фазы питания процессора. Как человек который все это разрабатывает, мне не всегда понятно какой уровень объяснения был бы адекватен. Если бы это было совсем легко, и я мог бы все как есть рассказать, то люди наверное бы это все шарили.
Решили отвергнуть виртуализацию. Сейчас поставил manjaro. Ибо нужно обязательно GUI для некоторых приложений. Но на XFCE графика почти ресурсов не отнимает.
Даже при том, что цены на игровые карты взлетели на порядок, если брать цену за карту с 24Gb памяти RTX3090 стоит сейчас 280К против 400 у соответствующей Quadro. Мы брали RTX3090 за 220К, что почти в два раза дешевле даже при очень высоком спросе. В итоге даже учитывая результаты тестов, «профессиональные» карты не дают таких приростов в производительности, чтобы оправдать свою цену. Может сейчас в них и есть смысл, но это скорее исключение. Еще в декабре ты мог взять три RTX 3090 против одной Quadro с 24GB памяти. А результаты теста отличаются там точно не в 3 раза.
Ну вот сейчас кажется, что для разработки и запуска обработки, при наших потоках людей и темпах хватает именно такого сетапа. Собственно потенциал в увеличении количества GPU это наш залог масштабируемости в разумных пределах.
Ну вот мы посчитали и поняли что нет. Аренда такого сервера лишь по процессорной мощности это 30-40К в месяц + видеокарта еще доплачивается отдельно. Масштабируемые мощности (где платишь за вычисления) может быть и дешевле по началу, но со временем все равно не окупаются, да и их администрирование и перенос данных сложнее. Если же добавить сюда запрос на работу с GUI, то ситуация еще больше склоняется к тому, чтобы держать комп именно в локальной сети из за пинга.
А так да. Анализ экономики был, может быть стоило об этом написать.
Очень логичные вопросы на самом деле, но специфика вот какая.
1. Поскольку модель собирается из сотен фотографий, каждая из которых в RAW формате. Одно фото может весить до 10 МБ. Один кадр это 150-200 фотографий, ибо именно столько камер на стенде. То есть только одно 3D фото в исходнике это почти гигабайт данных. Ну а учитывая что таких фото много и работать с ними нужно быстро, то хочется много места. Даже если у нас уже есть свой NAS.
2. В основном из-за лицензий. Для обработки используется дорогостоящее ПО. Хочется чтобы несколько пользователей могли бы одновременно запускать вычисления с использованием одной лицензии, и не тратить время на администрирование нескольких компьютеров. Кроме того GPU сейчас тоже не дешевые. Хочется использовать их максимально эффективно. Ну и наконец многие привыкли использовать ноутбуки, и удобно было бы всем работать в одном месте. На одной станции.
Примерно так же крупные компании по разработке IC поступают с САПР для разработки интегральных схем кстати. Опять же специфика это десятки тысяч евро на лицензию, а так же что все одновременно могут редактировать один чип в режиме реального времени.
Ну покажите где можно вот такой вот сервер за неделю взять. И сколько это будет стоить?
«Насчёт объединения — хорошо что умеете пользоваться паяльником. Но повторю вопрос — если один из блоков решит уйти в оффлайн от перегрузки/КЗ — что будет делать второй? Как отработает система в целом?»
Если выключится первый, то он тут же выключит и второй. Потому что разорвется сигнал Power_Good. Если выключится второй… то он просто выключится и выключит одну из видеркарт. В принципе это будет для компьютера как если бы вы выдернули из карты доп питания. Просто выключится карта.
«Насчёт дисков. Для БД я бы меньше 3710 и не порекомендовал. Совсем не понятна логика почему не NVME. Они такие редкие что 3 не сможете купить? Или что потом они исчезнут и ещё 2 не сможете докупить? Hint — u2.» Ну а куда их там ставить потом в количестве 3 штуки? Покупать переходники в PCI?
"«Четвертую через удлинитель снаружи.» вы чего, серьезно? Зачем вы тогда такой корпус покупали? Взяли бы алюминиевых уголков, райзеры (только те что x8 или x16) и сделали бы корпус как у майнеров. Было бы и дешевле и охлаждение со всех сторон. Зачем все это?" --Вообще отличная мысль. Но райзеры на рынке душат производительность. А так три карты пока более чем достаточно. Нужна будет четвертая вставим.
Убунта/Дебиан это версионность, а она с моей точки зрения уходит в прошлое для систем аля рабочая станция. Центос банально нужный софт не поддерживает. Это больше серверное решение. Хотя он очень стабильный и классный. Но у Арча подкупает удобство и обьем AUR. Попробуйте, это очень удобное семейство систем.
1.5 КВт тепла отводит не корпус сам по себе, а вся система охлаждения. Обдув у него очень хороший, если обеспечить быстрые кулеры, то да шуметь он будет, но обдув хороший. Не хуже, чем у серверов.
Стоит комп не под столом и не на столе. Стоит в серверной.
Корпуса в серверную стойку я очень активно рассматривал. Но отсеял по трем причинам: собрать нужно было быстро, а серверный корпус сложнее выбрать. Кроме того в такой (выбранный) корпус пользуясь шлейфом легко ставить карту боком, там много места. В серверном корпусе для этого нужен переходник которого в россии я не нашел (я писал об этом). Серверные корпуса если не специализированные для GPU, не лучше ничем конкретно.
«Диск. 860 Evo? Один? Вы серьезно? Какой у него ресурс? Какая на него будет нагрузка (объем записи в день)? Что будете делать если он выйдет из строя? Как будете восстанавливать работоспособность сервера?»
Во-первых, это не сервер для базы данных, для этого есть другой компьютер на серверной платформе. А тут будет идти какая-то текущая работа. Можно купить еще два диска таких же и обьединить их в ZFS. У меня был такой план. Поэтому изначально не NVME. Во вторых, а почему ресурса этих дисков должно не хватить? Вопрос в интенсивности работы.
«По памяти — памяти много не бывает. Особенно для 4*3090. Я бы сказал 128GB — это минимум с которого надо начинать. И только ECC.»-- Да я написал что есть такие планы. Хотя ECC и не настолько сейчас критичен. Считай что это параллельная рабочая станция, а не веб сервер.
«3090 в большинстве своем на 2.5 слота. как будете ставить?»
Ну без каких то ухищрений легко вставить 3 карты: две в слоты через один. И одну боком через удлинитель. Карты нужны именно турбированные, чтобы не нагревать все внутри. Четвертую через удлинитель снаружи.
«Вот только время когда основной питающей линией было 3.3 вольта давно ушли и все современные БП рассчитывают на нагрузку по линии 12В» — Я где то написал, что сейчас основная линия питания это 3v3?? Мне кажется вы неправильно трактуете мои слова.
«Будете объединять 12в или нет?» Нет. Спаяю элементарную оптопару от питания другого сервера и будут две независимые 12V линии с общей землей через PCI. Может быть сделаю об этом пост.
SSD согласен, можно было взять один обычный и один NVME. Хотя по моему опыту, скорости SATA уже достаточно для комфортной работы. А в данном случае выбирая что-то одно выбрал бы объем. Хотя учитывая цену железа и правда нужно будет добавить NVME.
Процессор слабый по какому критерию? По скорости, или по количеству потоков? По количеству потоков он слабый в случае, если будет работать одновременно много человек. С какой именно задачей мы столкнемся, что нам не хватит этого процессора?
Тесты производительности уже проведены. Я цифры привел прямо с первых результатов запроса в гугл. Зачем мне их повторять?
Возможно я прикрепил ссылку не на конкретно этот сервер (может тот забрали уже), но мне кажется ваш Ответ на 100% прокомментирует вот это видео: https://youtu.be/Z76QDISZlBQ
Да. И правда. Я вставил не ту ссылку. Я нашёл довольно выгодную не буферизованную память, а потом закрыл вкладку. А когда статью писал мне показалось что это та самая. А это версия буферизованная. Я поправлю этот момент. Но тут действительно просто не та ссылка.
А так да. Анализ экономики был, может быть стоило об этом написать.
1. Поскольку модель собирается из сотен фотографий, каждая из которых в RAW формате. Одно фото может весить до 10 МБ. Один кадр это 150-200 фотографий, ибо именно столько камер на стенде. То есть только одно 3D фото в исходнике это почти гигабайт данных. Ну а учитывая что таких фото много и работать с ними нужно быстро, то хочется много места. Даже если у нас уже есть свой NAS.
2. В основном из-за лицензий. Для обработки используется дорогостоящее ПО. Хочется чтобы несколько пользователей могли бы одновременно запускать вычисления с использованием одной лицензии, и не тратить время на администрирование нескольких компьютеров. Кроме того GPU сейчас тоже не дешевые. Хочется использовать их максимально эффективно. Ну и наконец многие привыкли использовать ноутбуки, и удобно было бы всем работать в одном месте. На одной станции.
Примерно так же крупные компании по разработке IC поступают с САПР для разработки интегральных схем кстати. Опять же специфика это десятки тысяч евро на лицензию, а так же что все одновременно могут редактировать один чип в режиме реального времени.