Comments 19
Почему "утилизация тепла" это недостаток? при грамотном выборе места для датацентра можно продавать услуги котельной.
Очень маленький перепад температур, выхлоп с него никакой, вот и утилизируют.
40 градусов - это уже кое что (например предподогрев горячей воды, ведь на выходе там должно быть не более 85-90 градусов, у нас же может быть уже 60-70). Особенно учитывая суммарную мощность.
а кто мешает поставить тепловой насос и увеличить перепад?
хотя идея с предподогревом воды мне тоже нравится.
теплые полы только греть ( или теплицы с бассейнами, но это надо на этапе проектирования, где нибудь рядом с сх земелькой)
А стоимость и доступность жидкостей? Есть ли у них ухудшение характеристик?
И не убьет ли горстка металлической стружки засыпанная в масло сервера в ванне?
Участвовал в паре подобных проектах - пока это сырая технология. Да энергоэффективность хороша, остальное - ну так себе.
Нет, там не масло. (Да и в статье об этом было сказано.)
Нет, не убьёт, потому что оседает.
Магнитная ловушка в помощь, как в картере ДВС.
А стоимость и доступность жидкостей?
новек и аналоги из Фторкетонов - 3-7к рублей литр от Объема и Конкретно марки, с доступностью пока вроде всё ок
ПМС - отечесвенный 1-1,1к за КГ в зависимоти от марки и объема, производится в РФ.
Есть ли у них ухудшение характеристик?
новек - живет лет 5, ПМС - лет 10-15
Ухудшение характеристик есть, но обычно связанно с набором Воды из воздуха для ПМС - нужно специальные осушители делать. По НОВЕК инфы мало тк реально долгой эксплуатации в стендах не было, а в полностью герметичном контуре я за год ничего не увидел.
Потери при утечках выше чем любые другие - при эксплуатации того же майнингового оборудования например. Самая объемная потеря, но и самая редкая - это при проведения обслуживания, когда отмывают железо то остатков ПМС, с Новек проще там спец камера с вакуумным насосом и подогревом.
И не убьет ли горстка металлической стружки засыпанная в масло сервера в ванне?
не убьет, т.к. она не будет там плавать тк плотность всё таки выше и она уйдет на забор где стоят фильтры тк ЦОД хоть и чистое место но пыль там всё таки есть.
Как данные масла реагируют с лаком (клеем если сердечник склеен из частей) дросселей, трансформаторов, всякими пластиками которые используются как элементы креплений, изоляторы итд на протяжении длительного времени. Обычно производители не всегда указывают что поменяли поставщика подобных компонентов, как бороться с этим?
Некоторые жидкости обладают высокой текучестью и способностью протекать через любые щели и за счет капилярного эффекта способны достаточно успешно течь вверх, в итоге оказываясь на полу.
Отмывать такую жижу нужно в ультразвуковой ванне, ужасно скользкая и трудно отмываемая - или что-то новое придумали?
В любом случае придется использовать теплообменники гораздо более производительные и дорогие, чем в системах с воздушным охлаждением
подождите, почему более производительные? надо сравнивать на серверах равной мощности, тут тепловыделение серверов осталось тем же, сами иммерсионные системы, думаю, имеют более высокий кпд, чем классические кондиционеры.
и стоимость системы охлаждения на ватт мощности подключенного оборудования, думаю будет примерно той же, что и в классических датацентрах, если не ниже.
Поскольку все серверы архитектурно приспособлены не под иммерсионное охлаждение, а под воздушное
ну если у этой технологии есть будущее, появятся сервера под иммерсионное охлаждение.
и стойки тоже.
(тут частично ответ и на предыдущий пункт: для снижения цен нужно массовое внедрение технологии)
Кроме того, некоторые виды жестких дисков
ну и фиг с ними )
вынести все hdd в отдельные полки (которые разместить вне иммерсионной зоны датацентра) и отдавать хоть по iscsi.
Горячая замена и обслуживание
вообще не проблема, какой там afr у серверов без hdd?
тут эксперименты идут с вовсе необслуживаемыми подводными датацентрами, и статистика отказов всех устраивает (и она оказалась лучше, чем в традиционных датацентрах).
https://habr.com/ru/post/648869/
Да, за счет эффективного теплоотведения снижается нагрев приборов, и серверы служат дольше. Однако даже в традиционных, “воздушных” ЦОДах давно действует правило “Устареет быстрее, чем сломается”
не кажется, что последние два пункта у вас противоречат друг другу?
чем меньше отказов, тем реже нужна будет та самая горячая (или не очень) замена, тем меньше простоев и т.п., вплоть до отсутствия постоянного персонала в дц (напомню, подводные датацентры рассчитаны на несколько лет работы вовсе без обслуживания).
в качестве одной из причин низкого числа отказов в подводном датацентре называется инертная атмосфера (точне безкислородная), вполне возможно, что этот фактор будет действовать и для иммерсионного охлаждения.
Экономия пространства. Сверхплотное размещение серверов, которое становится возможным с использованием иммерсионного охлаждения, должно иметь под собой какое-то объективное обоснование
эээ… смотрим цены на размещение стойки во «вкусных» датацентрах, это разве не объективное обоснование?
вообще чуть ли не весь прогресс в серверном оборудовании идёт под девизом «больше дури вычислительной мощности/iops/etc на стойку».
вообще чуть ли не весь прогресс в серверном оборудовании идёт под девизом «больше
дуривычислительной мощности/iops/etc на стойку»
Я думал с блейдами уже прекращают развлекаться. Для воздуха ограничение 10-15 кВт/шкаф, а для иммерсионки - 30-40 кВт и ничего, работает.
Если технически все решается как-то, то вот с "подготовленным" оборудованием для иммерсионки пока как-то не очень + вопросы гарантии не понятно как решать.
Совершенно верно. Производительность теплообменников не изменится. И их цена не увеличится. Даже наоборот снизится. Проблемой воздушного охлаждения кроме низкой теплоемкости и плотности воздуха является еще и низкий коэффициент теплоотдачи по сравнению с жидкостями. При применении масел размеры теплообменников (и их цена соответственно) снизятся т.к коэффициент теплоотдачи масла больше чем коэффициент теплоотдачи воздуха в зависимости от условий 2-6 раз.
Еще к плюсам я бы отнес то что снижаются требования к воздуху в помещении, если при воздушном охлаждении кроме замкнутой циркуляции воздуха внутри необходимо еще подавать и удалять свежий воздух, а соответственно и очищать его от загрязнений. Так еще необходимо поддерживать требуемую влажность воздуха в помещении. При иммерсионном охлаждении в ванных как минимум отпадает требование по увлажнению, а это затратная вещь в плане водоподготовки и энергозатратах.
На youtube был ролик, где хозяин загородного дома интегрировал майнинговое оборудование в отопление дома. Он, как раз, ASIC-и в иммерсионную жидкость погрузил и через теплообменник забирал в систему отопления. То, что намайнилось, тратил на оплату электроэнергии.
Соглашусь, что для привычной схемы применения серверов, такое охлаждение мало приспособлено. Но, не зря же microsoft экспериментирует с подводным ЦОД в герметичном контейнере?
Вполне возможно, сделать вместо вертикальной стойки горизонтальную ёмкость, а сервер спроектировать так, чтобы разъёмы были сверху, для удобства коммутации. Размещать ёмкости на стеллажах (как на складе), а полученное тепло, через тепловой насос, отправлять на полезные нужды.
Иммерсионное охлаждение в ЦОД — аргументы «за» и «против»