Комментарии 24
Вполне понятно, что возможно нет запроса запихивать 40-50 кВт мощности в одну стойку
Ко мне лет 5 назад прибегали с таким запросом - еще и с 19" оборудованием. Что-то близкое для решения этой задачи ранее было - Schroff LHX 40, но это без резервирования (фактически шкаф = 1 нода). Да и конструктив шкафа, честно скажу - так себе, какой-то хлипенький.
Ну, упомянутый теплообменник требует холодной воды на входе для работы, т.е. эту воду предварительно придется охладить до температуры ниже окружающей среды, а значит хороший PUE мы никак не получим. Понятно, что под уже существующее оборудование проще взять что-то типа такого теплообменника. Резервировать его наверное можно просто поставив в стойку две штуки. А в статье несколько другая идея, более "глобальная", что надо изменить конструкцию самих серверов, чтобы отводить подобные мощности причем воздухом с температурой внешней среды, не теряя дополнительную энергию на его охлаждение.
Имхо, именно из-за необходимости доработки серверного оборудования погружные системы не пошли в массы. А там pue хорош и дороботок относительного описанного в статье намного меньше требуется.
Комментарий был к тому, что 40 квт на шкаф существующая задача, а не задел на будущее.
а чем вас Rittal Inrow LCP теплообменники не устраивают? ну кроме доступности и цены вполне себе 40-55кВт https://www.rittal.com/it-solutions/fileadmin/Redakteur/Downloads/Know-How-EN/Rittal_Whitepaper_Rittal_Liquid_Cooling_Packages_5_1964.pdf
Теплообменники требуют холодной воды на входе, т.е. воду сначала надо охладить и соответственно затратить на это дополнительную энергию. Я не вижу, чем это принципиально отличается от системы чилер-фанкойл, кроме того, что позволяют "уплотнить" стойку с точки зрения тепла, хотя сами занимают место и добавляют стоимость.
у нас в РФ 9 месяцев в году температура ниже +5 градусов.... затраты только на перекачку теплоносителя, работу сухих градирен и обслуживание смесительных систем которые регулируют температуру носителя не позволяя ей опустится ниже критических значений.... да согласен летом будут Проблемы и потребуется обеспечивать примерно 2000 часов работ Чиллеров.... но видится мне что В данных условиях Фрикулинг будет отбивать процентов так 90 затрат на охлаждение в год
Да, идея предполагает, что надо заново перепроектировать все оборудование и за счет этого получить некие преимущества. Вполне допускаю, что никто не захочет это делать с точки зрения соотношения затрат и пользы.
https://www.youtube.com/watch?v=5eo8nz_niiM
https://wiki.helsinki.fi/display/~pervila@helsinki.fi/Data+Centers+around+the+World
Немного погуглил за вас. Буквально 5 секунд. И да, предположение "Самое простое, что может быть – это охлаждение наружным воздухом без какого-либо предварительного охлаждения. Т.е. оборудование должно охлаждаться воздухом с входной температурой 40°С. Этого вполне реально добиться, но «честно» посчитанный PUE для воздушного охлаждения вряд ли достигнет цифры 1,1." выглядит слабо и не соответствует действительности.
И что, первая ссылка, первый же абзац скорее подтверждает мое утверждение. Он о том, что как считать PUE и какие затраты в нем учитывать. Понятно, что можно взять водопроводную воду и охлаждать ей, считая, что PUE близок к 1. Я привел рассуждения, достаточно простые конечно, но однозначные что и и как я считал.
Вы понимаете, как работают дата-центры Hetzner? Электроника охлаждается воздухом обыкновенным, без холодильных установок, трансформаторного масла и других жидкостей. Та же самая кухня у гугла, амазона и фейсбука. И это как-то связано с OCP. И выше перечисленные компании не покупают у вендоров серверы, а творят их "на коленке" методом распределенного производства. И да, PUE у них обычно 1,1...1,2, как линеечку не прикладывай. Этим инновациям больше 10 лет, например. Ваш Кэп.
Вы видимо в амазоне работаете или в гугле, если знаете что у кого они покупают. Раз вы специалист по работе с гуглом зайдите на сайт OCP и поизучайте проект https://www.opencompute.org/projects/cooling-environments там почему-то есть и иммерсионное охлаждение и охлаждение водяными блоками и теплообменники, люди работают, спецификации там разные выпускают. И кэп подсказывает, что очень многое зависит от расположения ЦОДа, в Финляндии проблем с фрикулингом скорее всего не будет вообще, в Москве возможно пару месяцев в году, а в Техасе будет большую часть времени.
Я не работаю в гугле. Но спецификации OCP знаю достаточно хорошо. Начиная с первой. Этим "инновациям" 15 лет уже. Все, кому было надо, давно уже сделали всё, что им было надо. Отдельный вопрос о том, кто у кого покупает. Дата центры гугла, фб и амазона являются крупнейшими на планете. И, при этом, они не покупают ни сервера, ни системы хранения, ни системы охлаждения у всем известных производителей. К этой же практике пришли и коммерческие ЦОДы вроде Hetzner. И даже Yandex. Это секрет Полишинеля, не находите?
Утверждение о том, что существуют кастомные решения обеспечивающие 40-50кВт на стойку при температуре окружающего воздуха 40град при PUE 1,1, которые гугл или амазон использует у себя внутри и никак не светит публично, для меня лично являются не фальсифицируемыми. Вполне допускаю, что это возможно, но ничего возразить или подтвердить по данному поводу не могу.
Косвенно данному утверждению противоречит само существование проекта OCP и соответствующих проектов в нем, касающихся охлаждения. Зачем они этим занимаются, если проблема уже решена? Хотят всех запутать? Или решают какую-то другую проблему, не ту которая сформулирована выше?
Видео, которое вы сами привели https://www.youtube.com/watch?v=5eo8nz_niiM также скорее подтверждает мою точку зрения. Про охлаждение там сказано следующее: на момент съемки температура наружного воздуха 16град, в холодном коридоре поддерживается 20град. Большую часть времени в году возможно держать 20град, т.к. в Германии достаточно холодный климат, фрикулинг при такой температуре не должен представлять проблемы. В случае необходимости включаются активные системы охлаждения, т.е. их наличие все-таки необходимо. Про мощность стойки или PUE там ничего не сказано, кроме того, что используется "зеленая" энергия. Про собственные сервера там опять же сказано, что используются платы ASUS, которые вендор дорабатывает под требования Hetzner. И сама доработка, которую делает Hetzner похожа на описанную в статье конструкцию типа 2, они делают воздуховод в корпусе, в котором размещают радиаторы, т.е. видимо снижают таким образом воздушное сопротивление. Т.е. для дата-центра Hetzner нельзя сказать, что заложенные в статье требования выполняются. Идут они по сути путем предложенным в статье, просто "остановились" на доработках не затрагивающих глобально конструкцию уже существующих плат. Вендоры видимо готовы вносить изменения в свои платы или другие устройства для заказчиков, по крайней мере косметические, типа передвинуть процессоры или разъемы, но вполне возможно вопрос более глобальных изменений будет лишь вопросом объема заказов.
Тепловой дизайн серверов, кастомизированных под воздушное охлаждения, сводится примерно к следующему. А давайте увеличим высоту сервера в 2 раза, а площадь теплообменной поверхности в 5 раз? Увеличили. Испытали. Теперь мы можем работать при температуре воздуха в холодном коридоре до +48С. Бинго. Кстати, в кино про дата центры Хецнера есть испытательный ящик из поликарбоната. Вот в нем дела и происходят.
а почему не смотрите на фазовые иммерсионные системы? там по сути даже конструкцию самого оборудования менять особо не нужно благодаря относительно низкой вязкости инженерные жидкости типа NOVEC 7000 хорошо проникают везде. Делали подобное в виде стенда для Майнингового Оборудования. там и по больше чем 50-60кВт на стойку реальны.
Мне казалось, что иммерсионные очень неудобны в обслуживании, надо лезть в жидкость, чтобы заменить какое-то устройство или сначала ее сливать, а потом его менять. Возможно также стоимость или протечки. Поправьте, если это не так.
сильно зависит от Технологии для ПМС(полиметилсилоксановая жидкость) и подобных все именно так как вы описываете - они густые и сливаются плохо, оставляют пленку и плохо вымываются из радиаторов и тонких полостей.
Для Novec есть сложности только с тем Что он дороговат - по сути имея вязкость чуть меньше чем у Воды он практический без проблем легко и оперативно сливается и заливается не оставляя следов на оборудовании. у нас возник вопрос только с HDD - они не всегда герметичны.... даже делали Экспериментальный стенд с полу погруженным сервером где HDD обдувались родными вентиляторами в той же камере.
по протечкам - тут очень большой технологический вопрос, но вполне решаемый по сути для Фазовых систем все легко контролируется датчиками давления, т.к. наличествует фазовый переход. Для ПМС и подобных обычный поплавковый датчик. плюс жидкости вполне пригодны к вторичной очистке при наличии простейшей фильтрации на самых обычных "водяных" фильтрах 25-50мкм.
единственное для ПМС систем надо контролировать уровень набранной влажности и иногда Жидкости должны подвергаться процедуре осушения.
в целом тут встает очень сильный вопрос - а так ли важна Тепловая плотность? и не разумнее ли нарастить число корпусов, но уменьшить плотность до классической(15-25 кВт на стойку)? и расчет должен вестись именно в Этом плане соотношения доп. затрат на высокоплотные Стойки и результирующей эффективности системы.
Понятно, в общем фазовые иммерсионные системы - это своего рода тепловая трубка, только "вокруг" оборудования. Все же с точки зрения удобства обслуживания у конструкции на "внутренних" тепловых трубках будет преимущество, не надо ничего сливать или герметизировать, если конечно оставить за скобками вопрос переделки всего оборудования.
Возможно тепловая плотность не так важна, как удобство и затраты. По PUE описанная система конечно проиграет иммерсионной из-за затрат мощности на вентиляторы. ИМХО идеальной (опять же если не учитывать затраты на перепроектирование самого оборудования) была бы система, как в 1ом варианте, только радиатор надо заменить на водяной блок и тогда PUE будет близок к 1 и удобство обслуживания сохранится. Но вопрос конечно очень сложный, как учесть все затраты на ту или иную систему и понять, что предложенная система более эффективна или нет.
есть в РФ такая контора Теркон-КТТ:
Они делают Контурные тепловые трубки - думаю вам будет Очень интересно с ними пообщаться....
Да, контора интересная читал про нее. Правда, не уверен, что тут будут полезны КТТ, в моем представлении КТТ это такое специфичное решение, когда надо передать высокую мощность на какой-нибудь отдаленной радиатор, расположенный в другой плоскости относительно печатной платы. Своего рода аналог водяных блоков в жидкостной системе охлаждения.
просто у них габаритное решение позволяет интегрироваться в любой готовый сервер рассчитанный на воздух, а ваше потребует проектирования фактический с нуля....
скажем прямо - в вашем случае реализуемость концепции на 200% зависит от готовности участвовать вендоров, а каких-то супер преимуществ вы не показываете....те же КТТ вполне готовое решение решающее проблему внедрения жидкостного охлаждения в массовые сервера и изолирующее жидкостную часть от электроники.
Да, согласен КТТ вполне себе решение, но сборка разборка (обслуживание) этого дела затруднена. Надо доставать сервер из стойки, отключать, на каждый процессор ставить испаритель КТТ. И потом надо конденсатор каждой КТТ подключить к некой водяной плите или к теплообменнику. Мне кажется из-за этого данное решение не очень идет. Предложенная система в этом плане проще. Но в общем понятно, что суперпреимуществ у него нет. Оно плюс-минус решает большинство проблем, с моей точки зрения опять же, но ценой перепроектирования оборудования. Было бы какое-то супер решение, наверняка его кто-нибудь уже придумал)
да собственно вендоры голосуют Рублем и пошли именно по схеме аналогичной предложенной Терконом - Lenovo, Dell, Huawei выпустили линейки серверов с частично разнесенным жидкостным охлаждением.....
про остановку для монтажа и т.п. - а это неизбежно и пока что сильно дешевле перепроектирования, т.к. цикл разработки сервера со всеми расчетами, моделированием и прототипами 15-22 млн долларов и порядка 6-9 месяцев с момента получения референса от Вендора Процессоров и Чипсетов
Да, конечно, если смотреть на затраты в краткосрочной перспективе - это будет дешевле и результат более гарантирован. Единственное замечание, по сравнению с Терконом указанное решение удобнее, т.к. для монтажа сервера подключается две трубки, возможно через быстросъемные гидравлические разъемы (если использовать КТТ, то надо монтировать каждый конденсатор КТТ, что дольше и сложнее), по крайней мере у OCP есть подобные спецификации https://www.opencompute.org/documents/ocp-universal-quick-disconnect-uqd-specification-rev-1-0-2-pdf Я в общем из этого делаю вывод, что запрос на простоту и быстроту монтажа все-таки есть, может вывод и не слишком обоснованный. Опять же если вендоры рассматривали решения подобные предложенному и отвергли его с точки зрения экономики или чего-то еще, то это одно, а если не рассматривали, то может оно и имеет право на жизнь, т.к. его условно и не было в кандидатах на "голосование".
Конструкция и охлаждение оборудования ЦОД