преимущество по сравнению с чем? мы сравниваем с обычным воздушным.
По сравнению с "водянкой" тут преимущество в том что при схожей эффективности у нас всего 2 разъема на подвод жидкости и их легко можно гарантированно изолировать. При использовании обыных трубок этих соединений будет минимум 8 на каждый сервер + 2 на вводах. на 40 двух процессорных серверов = 400 соединений которые могут начать течь в любой момент. Плюс сами быстроразъемные соединители с исключением протечки имеют неочвидный дизайн и не продаются вот так просто со склада - я как-то день потратил что бы найти что-то похожее за разумные деньги на сечение 5-8мм, бесполезно. Тот же OVH в итоге использует жесткую паянную конструкцию внутри серверов, они делают это на станках с ЧПУ. Выводы без БРС торчат сзади сервера, довольно далеко от корпуса - так если из нее будет литься, то не попаедт в сервер
В общий зал с таким добром не пустят. Цод не станет делать какие то отводы охлаждения в общем зале, а городить свою центральную водянку в стойке как правило экономического смысла не имеет
Мы и не сравниваем, потому что это не имеет отношения к водянке и тем вариантам которые промышленно эксплуатируются в ЦОД и разнообразных серверных инсталяциях. Про использование водянок в наших GPU серверах мы сейчас пишем отдельный обзор, а для использования этой технологии в обычных серверах потребуется свой собственный машинный зал.
Мы обсуждаем конкретную систему на контурных тепловых трубках, которая позволяет технологично использовать обычные сервера в обычном ЦОД - существенно снижая выхлоп горячего воздуха в горячий корридор, что позволяет ЦОД выделить больше электричества на машинный зал без модернизации системы охлаждения.
Так тоже можно, посмотрите как OVH делает, а ещё больше используют прямую приточку с фильтрами и подмесом горячего воздуха. В серверной 24-28 градусов это сейчас совершенно нормально, большинство обычных серверов работают стабильно в таком диапазоне температур.
Но текст и тесты не про это, а про контурные тепловые трубки.
Думаете его эльфы в таймстопе с нуля каждый раз пишут? Мы имели опыт с очень известным софтом для геофизики, вот ноги именно там. Думаю системы моделирования и предсказания тоже не вчера написали, только на новом железе они быстрее работают
Софт часто уже есть и переписывать его не вариант. А часто он уже готовый, без исходников или те исходники на фортране 40 лет назад написали. Часто проще сделать больше ядер, быстрее интерконнект, срубить на этом - чем потратить лет 10 работы роты разработки с неочевидным результатом и сроками.
Можно за вводную взять что стойко-место без электричества на 3х32А (3х32х220=21кВт) в цод стоит 300 евро в месяц. Это отражает затраты на теплоудаление и гарантированное энергоснабжение плюс обслуживание плюс некоторую прибыль, около 100 евро со стойки. КАПЕКС на такую стойку составляет около 20000 евро в ЦОД от 200 стоек (без учёта недвижимости), т.е. грубо 10 годовых с вложений. Отсюда есть некоторые выводы по количеству стоек на квт мощности:
1) мельчить имеет смысл если мы ограничены в площади машзала, например у нас бункер или интерконнект имеет максимум длинны в 1 метр и не выходит за стойку или у нас общая шина на базе чего-то и её можно вести только в печатной плате без ухищрений (PCIe x16)
2) цена прибамбасов для охлаждения делает эту разницу в 300 евро в месяц существенной что бы заморочится на неё (4000 в год на стойку если грубо).
3) мы можем экономить на кондиционерах, но тут мы рассматриваем прямое охлаждение в той или иной его форме. Ovh именно так и поступает.
Т.е. если мы используем (использовали до известных событий) сознательно 8-и процессорные матери на Платинум с кучей памяти и 400Г инфинибанд интерконнектом, то нам должно быть абсолютно до фонаря сколько стоит стойка, помещение и все прочее на фоне затрат на сервер, где нужен общий интерконнект.
Если там обычные лезвия с 100Г интерконнектом и парой камней, то мельчить экономического смысла нет, надо просто взять больше стоек.
Температура материала может изменяться вследствие передачи энергии теплоносителю (воздуху, воде, жидкому натрию, ..) или при излучении электромагнитной энергии (инфракрасные лучи и т.п.) именно второй способ характерен для охлаждения электроники в КА. Не помню что там про это в школе говорили, но вроде это очевидно.
Контурные тепловые трубки изначально используются в качестве систем охлаждения космических аппаратов, они куда сложнее и эффективнее чем обычные тепловые трубки.
У Ломоносова производства Т-платформ была схожая плотность и фрезированные радиаторы жидкостные размером 200х600 что ли по 3000 баксов за штуку. Мэйнфреймы IBM сразу на жидкости идут, мы имеем опыт эксплуатации сразу нескольких проектов с полным погружением. Был бы проект и бюджет, а решение найдётся
Проще ваттметр на питание поставить и по нему смотреть. Плюс надо что бы она так минут 15 простояла, тогда прогревается и начинает тротлить. Но с 7453 наврятли проблемы будут
Больше 150вт с процессора в 1ю без ухищрений не продувается, сколько раз пробовали. Приходится 2ю корпуса ставить и активные радиаторы, да и мельчить нет смысла с таким потреблением
Думаю они золотые по цене, для суперкомпьютеров на деньги налогоплательщиков это норм, а для гражданского использования это перебор. Потом мы сейчас не про теоретически возможные варианты, а про то что в Датапро можно это заказать за счёт ЦОД и это выгодно ЦОД и более-менее удобно в эксплуатации
А, это они с 2х16А на воздухе перешли на 3х32А на воде, так как электричество было, а кондиционирование было расчитанно на 7квт на стойку. Это можно только в своём ЦОД, в коммерческом так не выйдет сделать. Такая водянка широко используется OVH с момента основания.
преимущество по сравнению с чем? мы сравниваем с обычным воздушным.
По сравнению с "водянкой" тут преимущество в том что при схожей эффективности у нас всего 2 разъема на подвод жидкости и их легко можно гарантированно изолировать. При использовании обыных трубок этих соединений будет минимум 8 на каждый сервер + 2 на вводах. на 40 двух процессорных серверов = 400 соединений которые могут начать течь в любой момент. Плюс сами быстроразъемные соединители с исключением протечки имеют неочвидный дизайн и не продаются вот так просто со склада - я как-то день потратил что бы найти что-то похожее за разумные деньги на сечение 5-8мм, бесполезно. Тот же OVH в итоге использует жесткую паянную конструкцию внутри серверов, они делают это на станках с ЧПУ. Выводы без БРС торчат сзади сервера, довольно далеко от корпуса - так если из нее будет литься, то не попаедт в сервер
В общий зал с таким добром не пустят. Цод не станет делать какие то отводы охлаждения в общем зале, а городить свою центральную водянку в стойке как правило экономического смысла не имеет
Мы и не сравниваем, потому что это не имеет отношения к водянке и тем вариантам которые промышленно эксплуатируются в ЦОД и разнообразных серверных инсталяциях. Про использование водянок в наших GPU серверах мы сейчас пишем отдельный обзор, а для использования этой технологии в обычных серверах потребуется свой собственный машинный зал.
Мы обсуждаем конкретную систему на контурных тепловых трубках, которая позволяет технологично использовать обычные сервера в обычном ЦОД - существенно снижая выхлоп горячего воздуха в горячий корридор, что позволяет ЦОД выделить больше электричества на машинный зал без модернизации системы охлаждения.
Так тоже можно, посмотрите как OVH делает, а ещё больше используют прямую приточку с фильтрами и подмесом горячего воздуха. В серверной 24-28 градусов это сейчас совершенно нормально, большинство обычных серверов работают стабильно в таком диапазоне температур.
Но текст и тесты не про это, а про контурные тепловые трубки.
Это если там радиатора нет.
Думаете его эльфы в таймстопе с нуля каждый раз пишут? Мы имели опыт с очень известным софтом для геофизики, вот ноги именно там. Думаю системы моделирования и предсказания тоже не вчера написали, только на новом железе они быстрее работают
Софт часто уже есть и переписывать его не вариант. А часто он уже готовый, без исходников или те исходники на фортране 40 лет назад написали. Часто проще сделать больше ядер, быстрее интерконнект, срубить на этом - чем потратить лет 10 работы роты разработки с неочевидным результатом и сроками.
Можно за вводную взять что стойко-место без электричества на 3х32А (3х32х220=21кВт) в цод стоит 300 евро в месяц. Это отражает затраты на теплоудаление и гарантированное энергоснабжение плюс обслуживание плюс некоторую прибыль, около 100 евро со стойки. КАПЕКС на такую стойку составляет около 20000 евро в ЦОД от 200 стоек (без учёта недвижимости), т.е. грубо 10 годовых с вложений. Отсюда есть некоторые выводы по количеству стоек на квт мощности:
1) мельчить имеет смысл если мы ограничены в площади машзала, например у нас бункер или интерконнект имеет максимум длинны в 1 метр и не выходит за стойку или у нас общая шина на базе чего-то и её можно вести только в печатной плате без ухищрений (PCIe x16)
2) цена прибамбасов для охлаждения делает эту разницу в 300 евро в месяц существенной что бы заморочится на неё (4000 в год на стойку если грубо).
3) мы можем экономить на кондиционерах, но тут мы рассматриваем прямое охлаждение в той или иной его форме. Ovh именно так и поступает.
Т.е. если мы используем (использовали до известных событий) сознательно 8-и процессорные матери на Платинум с кучей памяти и 400Г инфинибанд интерконнектом, то нам должно быть абсолютно до фонаря сколько стоит стойка, помещение и все прочее на фоне затрат на сервер, где нужен общий интерконнект.
Если там обычные лезвия с 100Г интерконнектом и парой камней, то мельчить экономического смысла нет, надо просто взять больше стоек.
Я так себе это представляю.
Температура материала может изменяться вследствие передачи энергии теплоносителю (воздуху, воде, жидкому натрию, ..) или при излучении электромагнитной энергии (инфракрасные лучи и т.п.) именно второй способ характерен для охлаждения электроники в КА. Не помню что там про это в школе говорили, но вроде это очевидно.
Тут решается задача что бы тепло от процессора не попало в машиный зал , где его придётся убирать кондиционером. Водянка с радиатором это не решает
Контурные тепловые трубки изначально используются в качестве систем охлаждения космических аппаратов, они куда сложнее и эффективнее чем обычные тепловые трубки.
У Ломоносова производства Т-платформ была схожая плотность и фрезированные радиаторы жидкостные размером 200х600 что ли по 3000 баксов за штуку. Мэйнфреймы IBM сразу на жидкости идут, мы имеем опыт эксплуатации сразу нескольких проектов с полным погружением. Был бы проект и бюджет, а решение найдётся
Проще ваттметр на питание поставить и по нему смотреть. Плюс надо что бы она так минут 15 простояла, тогда прогревается и начинает тротлить. Но с 7453 наврятли проблемы будут
Для этого это тепло не должно попасть в корридор, тогда без проблем.
Больше 150вт с процессора в 1ю без ухищрений не продувается, сколько раз пробовали. Приходится 2ю корпуса ставить и активные радиаторы, да и мельчить нет смысла с таким потреблением
Спроса нет, вот почему. Это все экспериментальные установки ручной работы.
Думаю они золотые по цене, для суперкомпьютеров на деньги налогоплательщиков это норм, а для гражданского использования это перебор. Потом мы сейчас не про теоретически возможные варианты, а про то что в Датапро можно это заказать за счёт ЦОД и это выгодно ЦОД и более-менее удобно в эксплуатации
Её придётся поставить у себя в помещении, так то без проблем. Вон выше пишут что РСК этим занимается
А, это они с 2х16А на воздухе перешли на 3х32А на воде, так как электричество было, а кондиционирование было расчитанно на 7квт на стойку. Это можно только в своём ЦОД, в коммерческом так не выйдет сделать. Такая водянка широко используется OVH с момента основания.