Комментарии 68
Скажите, а разве в водяных системах охлажения не используется дистилированная вода?
Ее производство недорогое, а еще, насколько мне известно, дистилированная вода не проводит ток и, как я понимаю, в случае протечки ее попадание на микросхемы не критично. Это так?
дистилированная вода — хороший растворитель. И очень быстро перестаёт быть дистилированной в контуре.
Спасибо, как я понимаю, по той же причине спирт отпадает...
Есть ещё силиконовое масло ПМС-5 — очень жидкое и диэлектрик. Но руки не дошли с ним поиграться)
Масло — оно масляное. Что резко усложняет и замедляет обслуживание системы — прежде, чем что-то сделать нужно ждать пока стечет масло, использовать специальные поддоны. И все равно, все вокруг будет заляпано… Поиграться — прикольно, а вот для боевой реально работающей системы — лучше использовать упомянутые фтор-кетоны или воду.
Но если речь идёт о закрытом контуре (без погружения), то масло хоть по параметрам проигрывает (ниже теплоёмкость и выше вязкость), зато не приведёт к коррозии не зависимо от от комбинаций металлов в контуре, протечки гарантированно не приведут к замыканию. А вот фтор-кетоны не слишком доступная вещь, и это их самый серьёзный минус.
И да, когда интересовался, был у фтор-кетонов ещё один нюанс — со временем под воздействием УФ разлагается на ряд не слишком безопасных компонентов. Может сейчас химики исправили.
И да, когда интересовался, был у фтор-кетонов ещё один нюанс — со временем под воздействием УФ разлагается на ряд не слишком безопасных компонентов. Может сейчас химики исправили.
А зачем такой системе УФ?
Ну с разложением под действием УФ — есть простой и правильный способо — запихать все в непрозрачный ящик.
Масло тоже не вечное, свойства со временем меняет, окисляется. Если говорить о системах без погружения электроники в жидкость — все же вода — более правильное решение. С одной стороны, герметичные трубопроводы для воды человечество умеет делать уже больше 100 лет. А для масла еще надо прокладки подобрать, чтобы они не разбухали, не растворялись, не крошились и т.д.
С другой стороны, вода быстро высыхает и легко вытирается при небольших протечках. А при больших утечках почти всегда больший ущерб будет от перегрева оборудования, чем успеет случиться от коррозии. В системе, которую «делал» я — разъемы были вынесены за пределы корпуса оборудования. Внутри при утечке вода могла попасть только на одну плату, в место, где никаких активных компонентов не было.
Интересную систему делали в Переславле-Залесском. Но у них были быстроразъемные соединения внутри шасси. С этим есть свои проблемы…
Но, опять же, если учесть все факторы, систему с воздушным охлаждением можно сделать более компактной, более простой в обслуживании и не сильно менее эффективной с точки зрения затрат энергии на охлаждение. Единственное — шумит — очень громко. Но для этого есть наушники-антифоны. Да и ходить в машзал при наличии IPMI нужно не очень часто.
Масло тоже не вечное, свойства со временем меняет, окисляется. Если говорить о системах без погружения электроники в жидкость — все же вода — более правильное решение. С одной стороны, герметичные трубопроводы для воды человечество умеет делать уже больше 100 лет. А для масла еще надо прокладки подобрать, чтобы они не разбухали, не растворялись, не крошились и т.д.
С другой стороны, вода быстро высыхает и легко вытирается при небольших протечках. А при больших утечках почти всегда больший ущерб будет от перегрева оборудования, чем успеет случиться от коррозии. В системе, которую «делал» я — разъемы были вынесены за пределы корпуса оборудования. Внутри при утечке вода могла попасть только на одну плату, в место, где никаких активных компонентов не было.
Интересную систему делали в Переславле-Залесском. Но у них были быстроразъемные соединения внутри шасси. С этим есть свои проблемы…
Но, опять же, если учесть все факторы, систему с воздушным охлаждением можно сделать более компактной, более простой в обслуживании и не сильно менее эффективной с точки зрения затрат энергии на охлаждение. Единственное — шумит — очень громко. Но для этого есть наушники-антифоны. Да и ходить в машзал при наличии IPMI нужно не очень часто.
Масло, кроме того, имеет совсем не ту теплоемкость.
На сколько я понял, она перестает быть дистилированной от контакта с деталями, а не контакта с воздухом? И на сколько быстро, подскажите хотя бы порядок, минуты, часы, дни?
Проблема не только и не столько в протечках. Нужно использовать радиатор. Радиатор может быть медный или алюминиевый. Медный — тяжелый и дорогой. Алюминиевый дешевле, но если вдруг в водяной системе есть любой источник меди — тут же начинается электрохимическая коррозия алюминия. С образованием красивых белых хлопьев… Из очень абразивного материала. Который, если не забьет трубы раньше, убьет помпу.
А самое противное — что даже нержавеющая сталь подходит далеко не всякая. Некоторые марки нержавейки то ли содержат медь, то ли какой-то другой металл, который также вызывает коррозию алюминия.
А еще сам алюминий… Его куча вариантов и сплавов. Многие из них содержат медь или другие вызывающие коррозию металлы в себе и коррозия начинается просто от контакта с водой!
А еще есть братья-китайцы… Занимался я когда-то проектированием радиатора для системы водяного охлаждения. Столкнулись мы с тем, что все же есть коррозия… Отправили образцы в лабораторию. Оказалось, что алюминий из которого китайцы сделали радиатор никакого отношения к сплаву, который был обозначен в спецификации, не имеет…
А самое противное — что даже нержавеющая сталь подходит далеко не всякая. Некоторые марки нержавейки то ли содержат медь, то ли какой-то другой металл, который также вызывает коррозию алюминия.
А еще сам алюминий… Его куча вариантов и сплавов. Многие из них содержат медь или другие вызывающие коррозию металлы в себе и коррозия начинается просто от контакта с водой!
А еще есть братья-китайцы… Занимался я когда-то проектированием радиатора для системы водяного охлаждения. Столкнулись мы с тем, что все же есть коррозия… Отправили образцы в лабораторию. Оказалось, что алюминий из которого китайцы сделали радиатор никакого отношения к сплаву, который был обозначен в спецификации, не имеет…
Обычно используют пропилен-гликоль.
Дистиллированная вода проводит ток. Деионизированная не проводит (18 МОм·см).
Вот бы была возможность такую жидкость купить по литражу на эксперименты… А так получается дорого и не для всех.
Собственно, главный вопрос к погружной системе — как в ней ведут себя интерфейсы 10-гигабитного эзернета, инфинибэнд, SFP и QSFP коннекторы? Работают ли в погруженном состоянии оптические трансиверы?
6 лет назад основной засадой была невозможность охлаждать так жесткие диски и СХД. Сейчас проблема снялась сильно подешевевшими SSD…
Еще один момент — на ваших фотографиях видно, что процессор стоит без радиатора. Какой был TDP процессора? Чем его грузили? До какой температуры он по факту нагревается?
6 лет назад основной засадой была невозможность охлаждать так жесткие диски и СХД. Сейчас проблема снялась сильно подешевевшими SSD…
Еще один момент — на ваших фотографиях видно, что процессор стоит без радиатора. Какой был TDP процессора? Чем его грузили? До какой температуры он по факту нагревается?
Оптические коннекторы плохо работают(( — жидкость проникает в зазор, получается призма со всеми вытекающими последствиями. Наше решение — медью на корпус, а дальше оптика, расстояния как раз позволяют.
Мы использовали как SSD, так и жесткие диски от HGST — они до сих пор по-моему единственные, кто делает герметичные накопители.
Мы снимаем радиаторы со всех микросхем.
Грузили всеми возможными тестами. По факту он нагревается только до температуры кипения жидкости. Кристалл на 7-8 градусов теплее.
Мы использовали как SSD, так и жесткие диски от HGST — они до сих пор по-моему единственные, кто делает герметичные накопители.
Мы снимаем радиаторы со всех микросхем.
Грузили всеми возможными тестами. По факту он нагревается только до температуры кипения жидкости. Кристалл на 7-8 градусов теплее.
Спасибо!
Т.е. всяческие 40+ гигабитные интерфейсы в жидкости нормально работают?
По температурам — понятно… Вопрос, собственно, остался только в том, какой был TDP у процессора? Со 120-ти ваттниками проверяли на 100% нагрузке (ну или на Линпаке)? Не возникнет газовой прослойки на поверхности?
Т.е. всяческие 40+ гигабитные интерфейсы в жидкости нормально работают?
По температурам — понятно… Вопрос, собственно, остался только в том, какой был TDP у процессора? Со 120-ти ваттниками проверяли на 100% нагрузке (ну или на Линпаке)? Не возникнет газовой прослойки на поверхности?
«Медь на корпус» ограничивает применение до чего-то совсем не требовательного, попутно увеличивая стоимость решения (отдельная инфраструктура/компоненты/упавшая ремонтопригодность).
Twinax-сборки могут помочь: до коммутатора дотянутся, а их вы уже не будете охлаждать жидкостью. Наверное :)
Twinax-сборки могут помочь: до коммутатора дотянутся, а их вы уже не будете охлаждать жидкостью. Наверное :)
Нельзя доводить жидкости до кипения, кавитационные процессы способны повреждать практически любые поверхности, что со временем приведет к физическому повреждению кристалла
Со временем конечно.
Конечно.
Только время это в таких системах — будет в разы больше расчетного срока службы сервера. Я в своей жизни встречал очень разные чайники. Некоторые из них плотно и серьезно использовались десятками лет. Ни разу не слышал, чтобы в чайнике из-за кавитации возникали повреждения. Это при том, что до совсем недавнего времени чайники эксплуатировались в очень жестком режиме — с одной стороны пламя с температурой 700-900 градусов, с другой стороны кипящая вода…
На самом деле, кипение и кавитационные процессы — это немного разные вещи. Кавитация — это возникновение пузырьков газа в областях пониженного давления в жидкости. При кавитации в воде — в этих пузырьках более высокий процент кислорода, по сравнению с воздухом и, по некоторым расчетам, температура в пузырьке до 1500 градусов может быть. Т.е. получается очень мощный окислитель — кислород под высоким давлением и при высокой температуре. Плюс, когда пузырек, попав в область «нормального» давления, схлопывается — возникает ударная волна, наносящая дополнительные повреждения.
При кипении основных «поражающих факторов» кавитации — нет. Нет повышенной агрессивности газа в пузырьке, нет температуры 1500 градусов, нет ударных волн от схлопывающихся пузырьков.
На самом деле, кипение и кавитационные процессы — это немного разные вещи. Кавитация — это возникновение пузырьков газа в областях пониженного давления в жидкости. При кавитации в воде — в этих пузырьках более высокий процент кислорода, по сравнению с воздухом и, по некоторым расчетам, температура в пузырьке до 1500 градусов может быть. Т.е. получается очень мощный окислитель — кислород под высоким давлением и при высокой температуре. Плюс, когда пузырек, попав в область «нормального» давления, схлопывается — возникает ударная волна, наносящая дополнительные повреждения.
При кипении основных «поражающих факторов» кавитации — нет. Нет повышенной агрессивности газа в пузырьке, нет температуры 1500 градусов, нет ударных волн от схлопывающихся пузырьков.
Тоже был удивлен. Кто мешал оставить радиатор?
На самом деле, тут могут быт нюансы, такие как физическое (растворимость) и химическое взаимодействие материала термоинтерфейса и жидкости
Даже если отказаться от термоинтерфейса, то в любом случае температура на поверхности корпуса чипа будет ниже. Разве не так?
Но тогда, тем более, нельзя пользоваться радиатором, поскольку условия для кипения в просвете между корпусом чипа и радиатором будут возникать при меньшей температуре. Если я правильно понял вопрос.
Радиаторы можно и оставить — пусть термопасту из-под них вымоет, пусть сами они обладают термосопротивлением, которое нам не нужно, пусть они занимают физический объем, который может занять другое оборудование. Проблема в том и есть, что опускаемое в жидкость оборудование изначально проектировалось для воздушного охлаждения.
Пока соотношение тепловыделения и площади поверхности такие, что не возникает слой газа вдоль поверхности, ограничивающий поступление жидкости в область нагрева, радиатор только увеличивает температуру элементов.
Тут идея в том, что жидкость кипит. Кипит жидкость при конкретной температуре. Это значит, что в большом диапазоне теплопритоков температура на поверхности элементов равна температуре кипения жидкости. Если теплоприток совсем маленький, тепло может отводиться теплопереносом и конвекцией. Но охлаждение за счет фазового перехода при кипении — в несколько раз эффективнее. Для «инженерных жидкостей» — теплота парообразования в районе 80-150 кДж на кг, а теплоемкость — около 1 килоджоуля на кг на градус.
Тут идея в том, что жидкость кипит. Кипит жидкость при конкретной температуре. Это значит, что в большом диапазоне теплопритоков температура на поверхности элементов равна температуре кипения жидкости. Если теплоприток совсем маленький, тепло может отводиться теплопереносом и конвекцией. Но охлаждение за счет фазового перехода при кипении — в несколько раз эффективнее. Для «инженерных жидкостей» — теплота парообразования в районе 80-150 кДж на кг, а теплоемкость — около 1 килоджоуля на кг на градус.
Гелиевые жёсткие диски можно погружать.
Поддерживаю предыдущего товарища, хотелось бы для наглядности конфигурацию системы и температуры на основных ее компонентах (и самой ОЖ) при длительной нагрузке. А так тема интересная.
а БП тоже в сухой воде или вынесены?
Кстати, а сколько в результате стоит эта “сухая вода”? Я так и не нашёл в интернете ни одного ценника, даже примерного.
Оценки стоимости разные и странные… Например, Novec 1230 — от 2000 рублей за литр в Москве для заправки систем пожаротушения, до 33 долларов за кг при партии от 10 тонн на алибабе (56 долларов за литр!..).
А надо литров 20-40 судя по стенду, да? Замечательно просто.
Можно больше технических подробностей? Какую конкретно жидкость использовали и какова ее примерная стоимость? Гугл выдает ссылки на самые разные, от 400 рублей за килограмм, до 4к+ за кило, но совершенно непонятно, какая из них подойдет и во сколько обойдется объем достаточный для охлаждения десктопа.
Было бы интересно узнать, с какими составами проводились эксперименты, сколько они стоят и можно ли их купить. Ну и прочие неочевидные плюсы-минусы. А то упомянуто очень вскользь:
> Опробованные нами жидкости кипят при +34С, +49С, +61С, +76С
А тема действительно интересная, многие энтузиасты хотели бы попробовать.
> Опробованные нами жидкости кипят при +34С, +49С, +61С, +76С
А тема действительно интересная, многие энтузиасты хотели бы попробовать.
А как производить быструю замену дисков и процессоров? Ждать пока жидкость сольется и откачается испарившейся фторкетон?
Поскольку все оборудование в контейнере имеет температуру кипения жидкости, то немного горячо вытягивать сервер. Жидкость с него стекает в контейнер, оставшаяся испаряется. Это потери.
Т.е. получается любое подключение/отключение какого-нибудь кабеля должно сопровождаться выключением и выниманием сервера? Или вы все разъемы выводите на корпус резервуара?
Подключить кабели возможно открыв крышку. Жидкость диэлектрическая.
А есть ли перспективы для охлаждения ноутбуков или PC? Понятно что это требует особой конструкции оных и сделает их потяжелее, но если получится бесшумный отвод тепла то будет очень даже неплохо, я считаю.
Отвод можно и сейчас с водянками сделать относительно бесшумно. А вот сброс теплас носителя сложнее. Один из оверклокеров использовал современную батарею отопления с плоскими внешними стенками. Бесшумно. Громоздко.
Мы считаем, что такая система оправдана там, где обычные не справляются, ввиду высокой плотности мощности. Впрочем за деньги можно сделать что угодно)))
Всегда мечтала собрать лампочку на погружном светодиоде в прозрачной колбе.
«для сбора данных был использован промышленный контроллер»
«Овен»… Сталкиваюсь с ними по работе. По ощущениям, под русским логотипом скрывается дешевая китайская поделка. Очень ненадежное, глючное и капризное оборудование.
«Овен»… Сталкиваюсь с ними по работе. По ощущениям, под русским логотипом скрывается дешевая китайская поделка. Очень ненадежное, глючное и капризное оборудование.
У нас не было нареканий к контроллеру. Дело свое он делал.Сейчас мы перешли на Ардуино и в дальнейшем видимо закажем под себя маленькую плату со всеми нужными деталями.
Как часто нужно менять жидкость?
Порядок цен так и не озвучен, что весьма характерно
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Контейнеры двухфазной иммерсионной системы охлаждения