Комментарии 47
Хм. А где фото той части, что стоит на процессоре? А так да нанотехнологии. В России все что сделано ключом меньше чем на 22 нанотехнологии.
Верхний правый угол второго фото. И в прошлом посте были фото того, что внутри сервера: habr.com/ru/company/thercon/blog/452910
Подскажите, как охлаждение дисков и чипсета организовано?
Вентиляторами. Тут писали и до этого писали, это отвод на самую тепловыделяющую часть.
Да, мы убираем не все вентиляторы, а только те, что напротив процессоров. Наши испытания показывают, что в таком режиме не происходит какой-либо деградации охлаждения дисков/памяти/чипсета. При том, что сервер начинает потреблять значительно меньше холодного воздуха для своего охлаждения.
HPEшные, например, серверы в определённых конфигурациях просто не будут запускаться, если снять часть вентиляторов.
Может и у других вендоров так, не берусь утверждать. Как с этим думаете справляться?
Может и у других вендоров так, не берусь утверждать. Как с этим думаете справляться?
Путем общения с вендорами. Как показывает практика, производители серверов нам очень рады. Мощность процессоров увеличивается (я про потребляемую), воздушная система с такой возрастающей нагрузкой справляется плохо. Приходится ставить полупустые стойки, чтобы укладываться в нормативы ДЦ. Серверов из-за этого мало продается. Водянку клиенты не особо жалуют пока. Очень дорого и не менее страшно.
не знаете где купить ультратонкие переходники питание на видеокарты?
нужно вставить 1080-1070 в 1-2u сервера, все хорошо встает, но питание, выпирающие вверх+толстые переходники не дают поставить видеокарты
нужны для ffmpeg, просто не знаю у кого спрашивать, где искать
нужно вставить 1080-1070 в 1-2u сервера, все хорошо встает, но питание, выпирающие вверх+толстые переходники не дают поставить видеокарты
нужны для ffmpeg, просто не знаю у кого спрашивать, где искать
Это может быть уличный адиабатик. Такие ставят на крышах зданий. Или рядом со зданиями.
У ДатаПро один раз вышли из строя все внешние чиллеры вследствие шквалистого ветра, в другой раз были повреждени фреонопроводы, находящиеся на крыше вблизи очага возгорания.
Когда у серверов вовсе нет своих вентиляторов, то их даже выключить не успеешь при подобных сценариях… С вентиляторами чуток надежнее.
Не трудно представить себе систему которая в случае аварии будет сбрасывать тепло в бак с парой тонн воды комнатной температуры. Более того — такой кран может быть пассивным компонентом.
Прикинем на коленке — допустим стойка выделяет 8кВт/час, дадим 10 минут на выключение серверов, получим 800 ватт/час или 2 880 000 джоулей. Предположим, комнатная температура 25 градусов, а нагревать будем до 50, т.е. нагреваем воду на 25 градусов. Получается нужно всего 27.42 кг воды.
Как уже написали ниже — выкатывание сервера представляет собой более интересную проблему
Прикинем на коленке — допустим стойка выделяет 8кВт/час, дадим 10 минут на выключение серверов, получим 800 ватт/час или 2 880 000 джоулей. Предположим, комнатная температура 25 градусов, а нагревать будем до 50, т.е. нагреваем воду на 25 градусов. Получается нужно всего 27.42 кг воды.
Как уже написали ниже — выкатывание сервера представляет собой более интересную проблему
Серверы и сами неплохо умеют выключаться при перегреве.
Что до «не успеешь» — это гипербола. Ну или в Вашем ЦОДе домны работают.
У нас недавно отключились все чиллеры — человечески фактор.
Расчётные 45 минут ЦОД отстоял без активного охлаждения и без единого сбоя и выключать ничего не пришлось.
Что до «не успеешь» — это гипербола. Ну или в Вашем ЦОДе домны работают.
У нас недавно отключились все чиллеры — человечески фактор.
Расчётные 45 минут ЦОД отстоял без активного охлаждения и без единого сбоя и выключать ничего не пришлось.
Немного пропустил этот комментарий. По моим данным не было такой аварии в ДатаПро. Вы перепутали с другим ДЦ с похожим названием.
А как происходит выкатывание сервера на салазках вперед стойки?
Сервер отключается, теплоинтерфейс отсоединяется от вертикальной шины, сервер выдвигается.
Прикольно, на фото не заметил краник, перекрытия хладогена до сервера.
Вам прошлось как-то обманывать систему мониторинга сервера, ведь она могла не стартовать, не найдя вентиляторы в нужном количестве…
Вам прошлось как-то обманывать систему мониторинга сервера, ведь она могла не стартовать, не найдя вентиляторы в нужном количестве…
Не заметили, потому что нет там краника. Вертикальная шина имеет коннекторы жидкости только внизу. Сервер подключается к шине путем прижима к ней наших КТТ. У КТТ краников тоже нет никаких — это вакуумированные замкнутые трубки с хладагентом. В этом и соль. С системой мониторинга сервера, да, боремся.
Имел опыт изготовления обманок вентиляторов. Ардуина. Имеет режим обучения. В режиме обучения к ней подключен кулер (который хотим заменить), ардуина управляет скоростью вращения во всем диапазоне, считывает характеристику оборотов кулера, пишет себе в табличку, потом кулер отключаем переводим в рабочий режим, ардуина принимает управляющий сигнал на кулер (которого нет) и по табличке отвечает ожидаемыми оборотами. Правда использовал я это в серверном БП, когда на воду его переводил (две недели под линпаком сервер простоял с этим БП :), потом эксперимент был свернут)
Не ужели нужна какая то табличка. вместо генератора сигнала пд определенные обороты?
а собственно… где тесты?
Оперативность замены/ремонта невысокая. Рассматривался и рассчитывался ли вариант сброса тепла на боковые теплоотводы?
То есть, в самом рэке теплоотводы пассивные (металл, тепловые трубки), а уже боковые теплоотводы самой стойки имеют жидкостное охлаждение.
То есть, в самом рэке теплоотводы пассивные (металл, тепловые трубки), а уже боковые теплоотводы самой стойки имеют жидкостное охлаждение.
Вы имеете в виду, что в сервере теплоотвод на корпус, а затем через штатные рельсы на стойку? Не понял немного вопроса. Что за боковые теплоотводы?
Да, сама серверная плата, её горячие элементы, имеет теплоотводы (несколько) на боковые стенки шасси (рэка). Естественно, стандартные боковые стенки меняются на медные (алюминиевые) для улучшения отвода тепла. (Но не факт, что требуется замена. Вполне возможно, что и железная стенка обеспечит достаточную теплопередачу).
А стойка имеет ответные теплоотводящие стенки, которые уже могут охлаждаться жидкостью.
(Вопрос «механики» теплового контакта шасси и стойки я учитываю).
А стойка имеет ответные теплоотводящие стенки, которые уже могут охлаждаться жидкостью.
(Вопрос «механики» теплового контакта шасси и стойки я учитываю).
НЛО прилетело и опубликовало эту надпись здесь
НЛО прилетело и опубликовало эту надпись здесь
Если ручки — обязательный или почти обязательный атрибут, почему не обеспечить их чередование вправо-влево? Будет больше пространства между ручками
Кстати не думали сделать водоотводные блоки индивидуальными для каждого сервера с гибкой подводкой? Как я понимаю давление там не большое можно использовать даже стандартную гибкую сантехническую подводку в металлической оплетке. В этом случае проблем с выдвижением серверов не будет, только будет больше шлангов
Чем больше шлангов, тем больше фитингов. Получится не два на стойку, а до 84. Каждый фитинг — возможная точка отказа. По словам эксплуатантов жидкостных систем охлаждения, иногда текут даже идеальные импортные фитинги. Которые еще и стоят, как самолет. Дело даже не столько в качестве фитингов, сколько в умении персонала с ними обращаться. Это проблема жидкостных систем.
Это да, но в текущей схеме надо выключать сервер целиком в случае проведения работ.
Это да, но его гарантированно не зальет хладогентом :) Если серьезно, то нам надо понять серьезность этой проблемы. Ее и в прошлой публикации озвучивали читатели. Учитывая, что современные мощные сервера хостят виртуальные машины, причем хостят с резервированием, кажется, что вполне нормально мигрировать нагрузку с сервера и просто его выключить для обслуживания. Наша система как раз для горячих мощных серверов, которым с обычной системой охлаждения «тесно» рядом в стойке.
Теперь понятно, чем охлаждать последние Xeon Platinum c TPD в 400 Вт.
Кстати, на какой тепловой пакет расчитана КТТ?
Кстати, на какой тепловой пакет расчитана КТТ?
А можете конкретней сказать, что за процессор с TDP 400Вт? Я на сайте интела сейчас максимум с 205Вт на чип. В целом 400Вт реально снять нашими трубами, но будет ряд нюансов. Нет такого понятия, как тепловой пакет КТТ. Переносимость тепла трубами от многих факторов зависит. Например от разницы температур между источником и приемником тепла.
Например, вот
Линейка Xeon Platunum 92xx, которая должна побить свежие AMD Epyc.
Линейка Xeon Platunum 92xx, которая должна побить свежие AMD Epyc.
Нашел. Platinum 9282. Почему-то на него не полная спецификация. Не указана максимальная температура работы. Она у разных процессоров сильно разная может быть. Нам нужна высокая максимальная температура, в районе 90 градусов.
Хех, полюбому при массовом внедрении будут постоянные протечки, которые нужно будет постоянно устранять. Плюс повышается влажность, из-за чего будут корродировать элементы.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
КТТ в серверных решениях — как это выглядит?