Выделенные серверы под водой, буквально!? Перспективы разведения рыб в серверах?!

Все мы знаем, что вода и электроника — опасное сочетание, но так ли всегда? Способны ли современные технологии изменить это представление?



В этой статье мы рассмотрим возможность, преимущества и недостатки размещения серверов в жидкости и обсудим возможные проблемы эксплуатации. Покажем, как это все может выглядеть на практике и реально работать. А также обсудим вопрос, почему в серверах могут или не могут плавать рыбы :)

Долгое время потери энергии и затраты на охлаждение при эксплуатации серверов не давали покоя многим, в том числе и нам, так как количество используемых нашими абонентами серверов постоянно стремительно растет, мы все больше задумываемся о создании собственного центра обработки данных (ЦОДа) в обозримом будущем. И когда свыше половины энергии, потребляемой всем ЦОДом, расходуется на охлаждение воздухом, благодаря которому можно не более чем с коэффициентом эффективности 1.7 отвести выделяющееся тепло от оборудования, вольно не вольно задаешься вопросом, а как можно повысить эффективность охлаждения и минимизировать потери энергии?



Из курса физики известно, что воздух — крайне не эффективный проводник тепла, так как его теплопроводность в 25 раз ниже теплопроводности воды. Он скорее более пригоден для теплоизоляции, нежели для теплоотвода. А еще у него очень небольшая теплоемкость, а значит, что его постоянно нужно интенсивно перемешивать и поставлять большими объемами для охлаждения. Другое дело — вода и жидкости. Именно их используют в системах охлаждениях ЦОДов в виде теплообменника, чтобы повысить общий коэффициент эффективности, однако непосредственно с серверами жидкости не контактируют, только через воздушную прослойку и/или радиатор (для охлаждения чипсета к примеру), что позволяет повысить мехнический коэффициент эффективности системы охлаждения (mPUE) до 1.2 или даже до 1.15 при использовании внешней среды в целях охлаждения.



Но как охладить сервер наиболее эффективно? Выход только один — поместить его полностью в жидкость (разумеется диэлектирик), желательно с как можно большей теплопроводностью и теплоемкостью, которая не будет оказывать негативного влияния на компоненты сервера. И таким диэлектриком может быть минеральное масло. Идея, увы и к счастью, оказалась не нова — ее уже несколько лет разрабатывают и реализуют несколько компаний в различных вариациях и с различной эффективностью. Современные технологии позволяют построить «подводный» Дата Центр! Но какие преимущества и недостатки этого решения?

Преимущества и недостатки размещения серверов в жидкости


Охлаждение в жидкости уже сейчас экономит до 95 процентов электроэнергии, которая обычно используется для охлаждения в Дата Центрах и, как следствие, до 50% всей энергии, которую потребляет Дата Центр.



Система охлаждения в жидкости позволяет сэкономить до 60% средств при строительстве Дата Центра, так как нет необходимости в закупке дорогостоящих чиллеров, HVAC (heating ventilation air cooling) систем, строительстве холодных/горячих коридоров, применении фальшпола и т.п.



SSD-диски могут быть погружены в охлаждающую жидкость, разумеется сохранив при этом работоспособность :), без каких-либо модификаций, как в прочем и остальные стандартные компонены серверов, за исключением жестких дисков. Для жестких дисков потребуется использование дополнительных приспособлений, ведь они не будут способны эффективно вращаться в жидкости.



Так как охлаждающая жидкость является диэлектриком (не проводит электричество) — нет необходимости сушить серверы и осушать всю систему для проведения работ в шкафу или с конкретным сервером. Тем не менее эта жидкость должна быть не токсична, без запаха (с минимальным испарением) и не быть агрессивной по отношению к компонентам сервера, к примеру не растворять каучуковую изоляцию проводов и т.п. Подбор правильного и эффективного минерального масла — не простая задача. Для задачи охлаждения в жидкости подойдет далеко не каждое минеральное масло. И в зависимости от выбранного масла мы получим разную допустимую мощность оборудования в 42-юнитовом шкафу, тепло с которого система способна отвести.



Если же говорить об эффективности охлаждения в жидкости в целом, то система позволяет достичь PUE 1.03. Но как такое возможно, спросите Вы, если применение минерального масла для охлаждения позволяет сэкономить только 95% энерегии? За счет чего мы можем получить дополнительную эффективность в 2%?



Ответ тут прост, охлаждение в жидкости позволяет сэкономить энергию, которую потребляют серверы, за счет того, что в них более нет нужды ставить куллеры для охлаждения, а также за счет того, что уменьшается утечка токов с чипов, так как они надежно изоллированы и работают при постоянной температуре (изменение температуры способствует утечке токов). И как следствие мы экономим на системе охлаждения, так как она теперь может занимать меньший объем, ведь ей необходимо отводить уже меньше тепла. Это и дает выигрыш тех заветных 2 процентов на охлаждении, но мы получаем не только это. Сами серверы начинают расходовать энергии на 10-20 процентов меньше, нежели серверы с другим охлаждением. PUE всего Дата Центра растет.

Успехи различных компаний в области охлаждения серверов в жидкости


Минеральное масло способно эффективно защищать от коррозии и пыли, благодаря тому, что в отличии от воздуха не содержит в себе воды и кислорода, продлить срок эксплуатации оборудования. Оно не токсично и не имеет запаха, а значит практически не испаряется. Но оно бывает различной эффективности и подбор правильного минерального масла — настоящее искусство.



Различные компании давно занимаются этими вопросами вплотную и имеют различные успехи благодаря применению разных минеральных масел, создают собственные «ноу-хау». Примерно месяц назад Intel и SGI анонсировали «новость», что способны благодаря применению минерального масла и собственной разработанной системы охлаждения на его основе, которая предусматривает эксплуатацию серверов в жидкости, обеспечить отвод тепла со шкафа в несколько десятков киловатт и даже более. Но у них все еще есть проблемы, в особенности в их сообщении упоминается, что обычные оптические кабели в их минеральном масле работать скорее всего не смогут, по какой причине увы не указано, видимо масло аггресивно для них. Решение далеко от коммерческой эксплуатации.



Другая же компания, GRC, уже давно использует намного более эффективное минеральное масло, предлагает готовое коммерческое решение и не имеет подобных проблем, давно не публикует это, как «новость», при этом по их словам они способны отвести тепла со шкафа до 100 кВатт и более, а значит значительно превзошли успехи Intel! Так что нужно более критично относится ко всей информации из новостей. Если одна компания заявляет о «ноу-хау», то это вовсе не значит, что другая уже не придумала лучше, некоторые просто могут находится в начале своего пути в новом для них направлении :) Как упоминалось выше, Intel еще очень далека от коммерческой эксплуатации этого решения, но без нее в конечном итоге решение любой компании не обойдется.

Перспективы


На сегодняшних материнских платах схемы выложены на «огромном» расстоянии друг от друга, чтоб максимизировать рассеивание тепла для использования в качестве охладителя воздуха, который является ужасно не эффективным охладителем. Благодаря охлаждению в жидкости можно начать производство серверов с более плотно упакованными схемами, которые учитывают работу в жидкости и свойство отвода тепла жидкостью, ведь жидкость имеет не только более высокую теплопроводность, чем воздух, а гораздо более высокую теплоемкость. Самые эффективные на сегодняшний день минеральные масла имеют теплоемкость, которая превосходит теплоемкость воздуха более, чем в 1200 раз!



Это все позволяет не только гораздо эффективнее отводить тепло, но и в случае остановки системы охлаждения получить гораздо больше времени на ее ремонт до перехода работы в критическое состояние из-за роста температуры, так как свойства жидкости (большая теплоемкость и плотность) позволяют поглотить гораздо больше тепла, при этом жидкость не становится перегретой сама, тем самым отодвигается порог «критического перегрева» во времени.

Очень большие перспективы открываются и для суперкомпьютеров, работающих в жидкости, экономия энергии и площадей при эксплуатации высокопроизводительного оборудования — колосальна.



Скорее всего в будущем не останется вычислительного и серверного оборудования, которое смогло бы работать без погружения в жидкость. Преимущества огромны, недостатков практически нет, разве что шкафы теперь нужно располагать не вертикально, а горизонтально, что несколько непривычно. Благодаря этому можно увеличить «плотность» оборудования в Дата Центре, а также обеспечить дополнительный уровень безопасности. Если вдруг Дата Центр будет затоплен водой в результате стихийного бедствия — вода не окажет влияния на серверы, так как они уже погружены в жидкость, пусть и с другой плотностью, но при этом надежно герметизированы в шкафах.

Охлаждение в жидкости в цифрах


Экономия свыше 60% средств при строительстве:

— нет необходимости в закупке дорогостоящих чиллеров, HVAC (heating ventilation air cooling) систем;
— нет необходимости в строительстве холодных/горячих коридоров, применении фальшпола;
— уменьшается количество генераторов, батарей систем бесперебойного питания (UPS) на N юнитов оборудования, за счет снижения потребления — -- энерегии этим оборудованием при работе в жидкости;
— стоимость инфраструктуры в расчете на Ватт ниже на 73%, чем при строительстве ЦОДа с воздушным охлаждением, и на 55%, если ЦОД использует внешнюю среду для охлаждения;
— стоимость инфраструктуры в расчете на сервер дает выигрыш в 86 и 70 процентов соответственно.



Экономия свыше 50% средств при эксплуатации:

— оборудование, находясь в жидкости, потребляет на 10-20% энергии меньше, в зависимости от типа, за счет отсутствия куллеров и потерь токов с чипов, благодаря их нахождению в диелектирке и обеспечению их постоянной температуры;
— 90-95% энергии сохраняется благодаря охлаждению серверов в жидкости и отсутствию крупногабаритных систем охлаждения в ЦОДе, так как теперь тепло от шкафа с серверами в минеральном масле можно эффективно отвести применив испарительную охлаждающую башню (никакой механики, только испарение воды) или при помощи контура с холодной водой;
— нет расходов связанных с амортизацией обычных систем охлаждения, расходы на системы энергообеспечения значительно сокращаются в перерасчете на N юнитов, благодаря тому, что нужно содержать меньше батарей UPS в том числе;
минеральное масло практически вечно, его не нужно менять и почти не нужно добавлять (за исключением случаев утечки), в отличии от других охладителей в ЦОДах;
— если в среднем сервером потребляется порядка 230-270 Ватт мощности и 50-170 Ватт на охлаждение, в зависимости от применяемого метода охлаждения, то использование охлаждения в жидкости снижает среднее потребление энергии сервером до 210 Ватт, а энергия необходимая на его охлаждения составляет порядка 10 Ватт!



Можно отвести свыше 100кВатт тепла от погруженного в минеральное масло шкафа на 42 юнита! А также значительно снизить траты на серверное оборудование, до 50% на различные комплектующие, а все потому, что теперь постоянная температура эксплуатации примерно на 20 градусов ниже, чем в воздушной среде, есть возможность применять без опасений даже декстопные комплектующие, так как они работают при гораздо более низких температурах.

От «подводных» серверов до ПК, охлаждаемых жидкостью, или как создать рабочую станцию в жидкости в домашних условиях


Конечно эта идея не получила и не получит столь широкого применения на рынке персональных компьютеров, просто потому, что большинство уже давно перешло на ноутбуки и другие гаджеты, домашние рабочие станции в корпусе «tower» используют зачастую только профессионалы, так как им необходима большая производительность и отвод большого количества тепла. Вот для них погружение их бесценного железа в жидкость может стать очень полезным!

Оказывается реализовать это в домашних условиях не сложно и возможно, причем было сделано уже многими любителями модинга и довольно давно. Некоторые компании даже предлагают приобрести готовое решение, на основе минерального масла «Crystal Plus 70T», которое доступно в свободной продаже и по словам экспериментаторов идеально подходит для этой задачи, имеет теплоемкость в 750 раз выше, чем у воздуха и плотность более низкую, чем у воды.



Перемешивание жидкости может осуществляться благодаря пропусканию воздуха через минеральное масло или даже обычному компьютерному куллеру, который в минеральном масле вращается само собой гораздо медленнее, нежели в воздухе, однако сохраняет свою работоспособность. На вопрос о том, что делать с парами воды, которые будут попадать в минеральное масло при пропускании воздуха с целью перемешивания, разработчики отвечают, что благодаря различной плотности (бОльшая у воды), вода будет скапливаться в самом низу «аквариума», где не находится каких-либо электрических компонентов, однако они еще не видели, чтоб в процессе долгой эксплуатации появлялось хотя бы мизерное количество воды, иначе бы резервуар начал напоминать «лава-лампу».

Хочу, чтоб в серверах плавали рыбы! Бросьте туда рыб!


Смею признать, что наблюдение различных РЫБОВ под водой — незабываемое удовольствие. Я дайвер и не отказался бы от рабочей станции дома в виде аквариума с тропическими или не очень тропическими рыбами.

Но увы, генная инженерия еще отстает от моды в IT, рыбы сдохнут, если их поместить в минеральное масло, оно по свойствам крайне далеко от так нужной рыбам воды. Будем надеятся, что эту идею, либо за счет применения новых технологий, либо за счет генной инженерии, удастся кому-нибудь реализовать в будущем, а пока можно использовать роботизированных рыб!

Я буду первым, кто закажет роботизированную boxfish!



Ну и само собой не забудьте поддержать строительство нашего будущего подводного Дата Центра (в идеи которого я не сомневаюсь) — закажите выделенные серверы у нас, пока что в Нидерландах и США и от $49, а в будущем и на Барьерном рифе!
ua-hosting.company
499.10
Хостинг-провайдер: серверы в NL / US до 100 Гбит/с
Share post

Comments 229

    +13
    Рекламка конечно, но за информацию спасибо, при необходимости воспользуюсь.
      +4
      producer, рекламка в конце больше ради шутки написана, чем ради рекламы (статья рассчитана не только на наших потенциальных клиентов), хотя, в каждой шутке есть доля шутки. Лично меня эта тема глубоко затронула и при достаточном наличии свободных средств в будущем обязательно построю нечто подобное. Мне не жаль потратится ради экологии и интересного проекта, без инноваций скучно.
        +5
        Разместить компьютер в аквариуме — это не инновация.
          +2
          За что минусуете человека? Тысячи их!

          P.S. А причина, по которой это считается «инновацией» банальна и описана ниже — никто не хочет рисковать деньгами, вкладываясь в разработку нестандартного, возможно менее окупаемого дата-центра.
      +2
      Вопрос в том — если всё так прекрасно, почему подавляющее большинство охлаждает воздухом? Минеральным маслам не один десяток лет, проблеме отвода тепла от серверов — тоже. Никакого rocket science тут не видно, на мой взгляд.
        +2
        vsb, а почему большинство хостеров просто перепродают предложения Дата Центров, не заморачиваясь над чем-то новым для их клиентов? Я думаю, что тут причина в банальной лени и отсутствии достаточного финансирования, нежелании рисковать деньгами. Было бы у меня в наличии достаточно свободных средств — я бы этим проектом занялся. Но, как уже писал — несколько компаний уже довольно успешно используют это решение сейчас, в особенности в вычислительных центрах, где продуцируется много тепла.
          +5
          Причин на самом деле множество. Вот хотя бы несколько…
          1. Кардинальное падение цен на серверные комплектующие, связанное с их растущим объемом производства и появлением новых материалов. Что в свою очередь привело к относительному увеличению статьи затрат на энергопотребление, за оптимизацию которой и идет борьба.
          2. Появление схожих технологий в последнем десятилетии может быть спровоцировано выходом на рынок множества конкурирующих между собою игроков в данной сфере, где даже незначительное сокращение затрат может оказаться решающим в условиях острой конкуренции.
          3. Слишком быстрый технологический прогресс, переварить который за короткий срок просто не хватает человеческого потенциала нашего общества. Банально руки пока не дошли.
            0
            Когда-нибудь всё происходит в первый раз. Но иногда, даже через большой промежуток времени, люди, увы, не торопятся меняться.
            +4
            А как обстоят дела с влиянием «жидкости» на контакты ethernet или той же оптики?
            Какая дополнительная нагрузка по весу на такие сервера?
              +1
              novoselov, жидкость не влияет на контакты ethernet, это диелектрик. Не совсем понятен вопрос по поводу нагрузки по весу. Погруженным в жидкость сервер весит значительно меньше, чем в воздушной среде.
                +31
                А если сервер всплывает, то это говорит о его качестве?:)
                  +1
                  Главное, чтобы не зависал.
                    +5
                    Кстати — можно обыграть. Теплая жидкость же по плотности легче холодной — и по закону Паскаля архимедова сила будет давить по-разному. Добавив микроцистерн «нулевой» плавучести — по глубине погружения платы можно будет определять ее температуру и загрузку CPU ;-)
                      +1
                      Положительная обратная связь получается. Если я ничего не путаю. Чем больше температура, тем в более теплые слои охладителя попадает плата, тем хуже охлаждается.
                        +1
                        просто кулер направить вверх. Поднялась скорость кулера — притопило сервер в холодную глубину.
                          0
                          Почему просто не закрепить железо около дна?
                            +8
                            Не будет видно какой из серверов «горячее» :) И как бонус: если сдох кулер — сервер всплывает!
                              0
                              И сразу сверху ее можно забрать и отдать в ремонт ;-)
                                +3
                                да… как рыбки. Дохлые к верху пузом всплывают.
                    +4
                    То есть между плотно прижатыми, но не припаянными контактами масло со временем не просочится и не разомкнет их? Или на силовых элементах если часть проводимых прижатых поверхностей перестанет быть соединенной, то не приведет ли это резкому повышению температуры тех поверхностей? С ходу такие вопросы возникли.
                      +2
                      Поищите по ключевым словам «масляный трансформатор, переключение позиций», «масляный выключатель».
                      Описанный Вами проблем нет в энергетике, откуда им взяться в слаботочке?
                        +4
                        Если диэлектрик ну очень тонкий (например микроны) — то уже не важно что он диэлектрик, т.е. он отлично будет проводить ток, и обладать малым итоговым сопротивлением (хотя при этом будет иметь большое удельное сопротивление).

                        Собственно факт проводимости через «холодный» (т.е. без пайки) контакт именно это и демонстрирует: в случае отсутствия пайки, лишь малая часть атомов одного конца провода реально контактирует (через взаимодействие эм-полями оболочек атомов) с атомами второго конца. Конечно, если не брать экзотический случай специально отполированных и выровненных поверхностей. Т.е. подавляющая часть площади такого контакта по сути находится в разорванном состоянии, с воздушной прослойкой в качестве диэлектрика (а воздух — это весьма хороший диэлектрик). Но, поскольку толщина такой «диэлектрической прокладки» мизерная — то, чисто по закону Ома, она не вызывает проблемы. Разве что, при заметной величине тока, вызывает чуть повышенный прогрев места контакта (опять же — по Ому) в силу чуть повышенного сопротивления такого контакта. Откуда и возникает стандартное правило силовой электротехники: «холодное соединение — всегда горячее, горячее соединение — всегда холодное». Для случая контактов в минеральном масле — выполняется всё ровно то же самое.

                        Ну и именно по этому механизму происходит «пробой» статического электричества например на корпус машины, когда мы касаемся её рукой: сам по себе статический заряд на нашем теле мал, и так же мал — статический вольтаж. Но даже напряжение всего в 3 вольта, при толщине воздушной прослойки в 1 микрон — уже дает напряженность поля в 30 киловольт на см, что достаточно для пробоя воздуха. Так что эти 3 вольта спокойно пробивают воздух (когда пальцы касаются металла корпуса — там и будут расстояния в микроны или меньше), и мы видим искру — и неприятный удар по пальцам.

                        Так что диэлектрик — это одно, а возможность проведения тока через «диэлектрический контакт» — это другое (зависит от расстояния).
                          0
                          Спасибо за разъяснение!
                            –1
                            дело в том, что по вашей логике, в вакууме сухой контакт работать не будет. А он работает. Ровно с тем же сопротивлением, что и в воздухе.
                              0
                              Что-то не так с вашей логикой восприятия чужой логики. Перечитайте комментарий, на который вы отвечали и скажите из каких сведений в нем вы сделали свой вывод, то, право, смешно.
                                0
                                Могу предположить, что возражение построено на интуитивном понимании вакуума как идеального диэлектрика (не проводящего ток вообще), что весьма далеко от реальности.

                                Весь вопрос лишь в уровне детализации описания процесса. Ибо любой реальный сухой контакт (впрочем как и реальный пропаянный контакт) это очень сложная штука, у которой есть сразу целый ряд физический явлений.

                                На уровне общего понимания (т.е. где-то на уровне школы) мой комментарий выше вполне корректен. Т.е. для сухого контакта в вакууме — всё то же самое: есть такое понятие как пробой вакуума (и соответствующее напряжение пробоя вакуума — близкое к таковому для воздуха), так что вся логика в моём комменте выше — применима и для вакуума (т.к. вакуум это отнюдь не идеальный диэлектрик).

                                Однако, если копать глубже, то вопросы проводимости/пробоя вакуума — это совершенно отдельное «научное поле». По которому до сих пор ведутся споры среди теоретиков. Там начинаются вопросы вынужденной эмиссии электронов с поверхности проводников (с учетом и разности потенциалов, и температуры металла, и формы поверхности, и материала контакта — от которого зависит работа выхода электрона из металла, т.п. и т.д.), и плюс вопросы тунеллирования электронов через потенциальный барьер, разделяющий контакты (там где расстояние между поверхностями совсем мало — и где проводимость обеспечивается уже тоннельным эффектом). По большому счету — всё это применимо и к воздуху, то бишь к сухому контакту в воздухе (чтобы пошел постоянный ток сквозь воздушную прослойку контакт — необходима эта же самая эмиссия электронов с поверхности контакта в воздушную прослойку, так же надо учитывать процессы туннелирование электронов через потенциальный барьер — там где расстояние между поверхностями мало). Кроме того, для переменного тока — если говорить строго, нужно учитывать и емкость контакта, и в ряде редких случаев — даже индуктивность (например, для случая, когда плотность электронов в воздушном промежутке очень мала, а частота велика, может стать значимой т.н. кинетическая индуктивность).

                                Полагаю, что разбирать/пояснять процесс проводимости сухого контакта на таком уровне — это явно лишнее, для общего понимания вполне хватает уровня детализации, на котором вакуум рассматривается просто как определенный диэлектрик, близкий по своим параметрам к воздуху (так что и сопротивление сухого контакта в воздухе разумеется будет близко к таковому в вакууме).
                          +1
                          Вопрос в том не повлияет ли попадание жидкости между контактами на качество передачи сигнала — это же диэлектрик :)
                          Аналогично для оптики жидкости имеют другие коэффициенты преломления и пропускания света.
                          Сколько весит сама жидкость в расчете на стойку, точно больше воздуха.
                            0
                            Не повлияет, процесс диффузии занимает длительное время, Вы скорее замените плату по другим причинам, чем из-за того, что между контактами просочился диэлектрик. Это как он должен просочится, отпаять что ли? :)
                              +3
                              Например, разъем Ethernet вместе с материнкой находится в масле и нужно быстро переткнуть сетевой кабель. В процессе масло, конечно, зальется внутрь разъема и покроет медные контакты. Вопрос в том, что не приведет ли масляная прослойка к разомкнутым фактически контактам?
                                +1
                                Воздух тоже ведь диэлектрик, и ничего, все работает. Все контакты механически нагружены и будут вытеснять жидкость и газ в «пятне контакта».
                                  –4
                                  Скорее всего приведет.
                                    +4
                                    Нет не приведет. Проблема пропадания контакта, не в прослойке воздуха между парами (конечно в условиях достаточного прижима). На воздухе проблем две:
                                    1. Окисление контакта воздухом — образование пленки оксида непроводящего.
                                    2. При размыкании — искровой разряд приводит к разогреву и обгоранию (опять таки окисление).

                                    В масле нет проблемы окисления и искрового разряда соответственно никакого окисления.
                                      +1
                                      В теории красиво, но практика показывает обратное. Неоднократно попадание масла в различные разъемы приводило к нарушению цепи. Помогает разбор разъема и протирка контактов. Человек правильные опасения высказывает и без специальных ухищрений они, скорее всего и возникнут.
                                        +2
                                        Это происходит не из-за масла, а из-за того что место куда попало масло притягивает всякую грязь, если полностью погрузить контакты в масло и НИКОГДА не вынимать — они прослужат хоть сто лет не окисляясь.
                                        0
                                        И еще, как справедливо отмечает мой четырехлетний сын, как же тогда работает смазка в машинах и механизмах, если масляное пятно вытесняется в «пятне контакта»? :)
                                          +2
                                          В машинах же движущиеся части смазывают, а не прижатые друг к другу неподвижно.
                                            +1
                                            Оно никогда не вытесняется полностью. Масло достаточно вязкое, и даже тысячетонные турбины вращаются не на сухом трении — на масляном клине, и ротор никогда не касается статора.
                                              0
                                              Совершенно верно. Вот и получается, что «даже тысячетонные турбины вращаются… на масляном клине», а разъем Ethernet на столько мощно прилегает к контактам, что даже вязкость масла не помогает и оно прям так и вытесняется в пятне контакта :)
                                                0
                                                Не вытесняется, просто в микро-масштабе поверхности контактов очень и очень рельефные, в процессе работы горы сталкиваются с горами от малейших вибраций.
                                                И разница будет огромная если поместить в масло подключенный разъем или если подключить его будучи предварительно помещенным в масло.
                                                  0
                                                  Я понимаю, что со временем начальная тема обсуждения «как бы забывается», но делаем разворот на 180 градусов и, хоп…

                                                  «Например, разъем Ethernet вместе с материнкой находится в масле и нужно быстро переткнуть сетевой кабель. В процессе масло, конечно, зальется внутрь разъема и покроет медные контакты. Вопрос в том, что не приведет ли масляная прослойка к разомкнутым фактически контактам?»


                                                  А дальше можете еще раз перечитать всю цепочку «доказательств», «что все будет ок» :)
                                                    0
                                                    Я думаю что «чтобы это доказать — надо снять и показать».

                                                    Взять банку минмасла, USB-сетевушку с удлинителем, погрузить онную в масло, а потом взять и вставить в нее (не вынимая из масла) сетевой шнур.

                                                    Собственно вот и весь эксперимент.
                                                      –1
                                                      Сетевушку? ведь надо всего лишь проверить надежность контакта… достаточно взять ответный разъем и соединить все пары таким образом чтобы кабель-разъем представлял из себя один непрерывный провод, вот сопротивление этого провода и измерять. В воздухе, в масле и после многочисленных перетыканий под маслом и в воздухе, потом после суток-недели-месяца… Скорей всего может понадобится милиомметр, чтобы достоверно измерить единицы Ом, так чтобы можно было бы доказать факт ухудшения контакта и его степень, особенно изменения со временем.
                                                        0
                                                        Мне кажется что «живая сетевушка» будет более репрезентативна как эксперимент, да и измерение (банальные сетевые тесты) влияния организовать проще, чем мучиться с милиомметром.

                                                        Опять же нахомячить штук 50 сетевушек «для масла» и 50 «для контроля» из одной и той же партии, и прогонять их сетевыми тестами в течении скажем полугода проще, чем грамотно обмерять все это время милиомметром кучу контактов.
                                                          0
                                                          милиомметр можно оставить в покое, он будет писать себе данные каждый час. А гонять для этого компьютер или целый кластер ради того чтобы посмотреть «будет ли контакт»… это извращение. Темболее этот эксперимент не ответит на вопрос «насколько хуже», сетевушки могут продолжать работать только лишь за счет избыточности надежности, а если работа будет происходить на пределе надежности? На ход эксперимента так же будут влиять контакты USB-разъема…

                                                          Гораздо проще организовать массив приборов измерения сопротивления — требований к точности никаких, только разрешающая способность а значит можно такой прибор сделать на микроконтроллере, который при помощи простого дополнительного мультиплексора может наблюдать сразу за сотней контактов.
                                                          Измерение динамики изменения сопротивления контакта со временем позволит прогнозировать изменение оного на время превышающее время проведения эксперимента, а в случае с живыми сетевушками можно только констатировать факт работает/не работает который выявится только при очень грубом нарушении контакта.
                                                            0
                                                            Окей, убедили :)
                                                              0
                                                              Всё проще.

                                                              Работает ли такая схема в продакшне? Да, работает. Значит, кто-то уже протестировал это и пришел к выводу, что масло между контактами не является проблемой.
                                                                0
                                                                не факт… может они особые разъемы используют? Чисто интуитивно конечно кажется что там нечему «ломаться» или окисляться в масле, но пока не увидишь доказательства это будут всего лишь догадки.
                                                                  0
                                                                  На фотографиях видны совершенно обычные разъемы.

                                                                  И даже оптика не возражает против купания. Вот этот момент меня намного больше интересует. Волокна прижимаются друг к другу куда слабее, чем медные напружиненные контакты. Если масло попадет между волокнами — наверняка возникнут сильнейшие потери из-за лишнего преломления. Хотя может, техникам инструкциями запрещено вставлять оптику в трансиверы под водой, только сами трансиверы в свитч.

                                                                  но пока не увидишь доказательства это будут всего лишь догадки.

                                                                  Доказательства выше, в виде фотографий. Это — продакшн, явно достаточно надежно работающий. Итог: стандартные коннекторы 8P8C могут использоваться в масле. А дальше нюансы вроде «втыкают ли их после погружения, или только до, на сухую».
                                                                    0
                                                                    То что они у кого-то на фотографии это не значит что это и есть сам продакшн. Это как 1+1=2 кажется что это знают все и оно незыблемо, но поди ж убедительно докажи что это так.

                                                                    Чисто вот так интуитивно оно понятно что пошевели такой разъем в масле и даже если была где-то прослойка то она уйдет. Но интуиция от доказательства кардинально отличается.

                                                                    Может у них там конструкция контактов особая, просто они об этом умолчали как фирменный секрет. А на вид конечно обычный разъем. Интуиция подсказывает что особого там нафиг не надо, но…
                                                                      0
                                                                      То что они у кого-то на фотографии это не значит что это и есть сам продакшн.

                                                                      То есть это:
                                                                      Скрытый текст
                                                                      image

                                                                      не продакшн? Тогда я даже не знаю, что вам сказать.
                                                                      но поди ж убедительно докажи что это так.

                                                                      Ну не знаю… Например, взяв и погрузив в минеральное масло много-много серверов и посмотрев, как у них будет работать сеть?
                                                                      Интуиция подсказывает что особого там нафиг не надо, но…

                                                                      Доверьтесь интуиции и не выдумывайте глупостей на пустом месте. Какие еще фирменные секреты в таком деле?
                                                                        0
                                                                        Из фотографии не следует что это продакшн, а не какой-то масштабный пилотный проект. Может вообще рисованное. Но правда, непонятно с какой целью и кому понадобилось бы такое рисовать.
                                                                          0
                                                                          Вы сейчас понимаете, насколько глупо обвинять одних людей в фальсификации того, что вполне приличное число других людей уже реализовало (гугл)?

                                                                          Далее — вы в курсе, сколько всяких медных соединений внутри компьютера? Память-мать, процессор-мать, множество проводов под разные задачи от передней панели до накопителя, да хоть БП-220в (если через масло постоянно будет ходить искра — не дело)…

                                                                          Так что заканчивайте говорить глупости. Раз этот подход используют, и никто (включая хомячковых энтузиастов с аквариумами) еще не жаловался на масляную прослойку между контактами и нарушение ей контакта — значит, есть причина, по которой это не является проблемой, и вы ее просто не понимаете. Не надо выдумывать заговоры и считать себя умнее других.

                                                                          Кстати, 1+1=2 мне доводилось убедительно доказывать. На первом курсе, на матанализе, когда изучали операцию сложения. Это разве не у всех было?
                                                                            0
                                                                            Нет не у всех.
                                                                            Тут ведь какое дело, я тоже ничего против не имею электронике в масле… но, пока это выглядит как 1+1=2 без доказательства, да работает но пока никто не потрудился достоверно объяснить как потому что… оно просто работает и никому не нужны эти доказательства до тех пор пока не попадется условие при котором «не работает». Отсутствие доказательства в данном случае не мешает работе.
                                                                            И вот еще что, раз масло диэлектрическое, как дела обстоят со статикой? В условиях отсутствия проводимости, оно может переносить и накапливать электрические заряды…
                                                                              0
                                                                              но пока никто не потрудился достоверно объяснить

                                                                              Вам не кажется, что на самом деле это не «никто не потрудился достоверно объяснить», а «я ничего не понял и навыдумывал всяких проблем на ровном месте»?
                                                                              раз масло диэлектрическое, как дела обстоят со статикой?

                                                                              Ну вот, опять. А разве воздух не диэлектрик?

                                                                              Рассмотрим обычный сервер. В нем материнка заземлена на корпус, корпус на стойку, а стойка — к центральному заземлению. Какую роль в процессе играет воздух?
                              +7
                              Есть же жидкости типа «сухая вода» — например 3М™Novec™1230 на основе фторкетонов. Зачем минеральное масло?

                              См habrahabr.ru/company/3mrussia/blog/200840/

                              В такой аквариум можно и телефон кинуть — и он даже будет звонить
                                0
                                Сухая вода «Novec» и есть недавняя разработка компаний Intel/SGI, по их словах в этой «воде» (взятой из системы пожаротушения, если не ошибаюсь) не может работать оптика, и тепла они способны отвести гораздо меньше, нежели минеральное масло компании GRC.
                                  +1
                                  Ещё она быстро испаряется, это тоже должно добавлять проблем.
                                    +1
                                    Про это не слышал, интересно, если вдруг есть ссылка на источник — поделитесь пожалуйста, было бы интересно ознакомиться. Испарение может дать только одну проблему — необходимость постоянного пополнения + по свойствам тогда будет хуже отводить тепло, становится понятно почему такая большая разница между тем, что делает Intel/SGI и GRC.
                                      +1
                                      По той же ссылке, что привёл tri_botinka
                                      Вещество мгновенно испаряется, не вступая в химические реакции, что позволяет не наносить ущерб материалам и дорогостоящему оборудованию, а диэлектрические свойства предотвращают короткое замыкание.
                                        +1
                                        Ну это вопрос состава. Просто при той формуле ( в общем виде типа R1-CO-R2, фторкетон имеет от 4 до 10 атомов углерода)
                                        на 6 атомах температура кипения 49С (С6-фторкетон или додекафтор-2-метилпентан-3-он )- вот и кипит на горячих процессорах. Но можно же взять более «тяжелую» органику — до 9 атомов.

                                        0
                                        habrahabr.ru/post/194268/
                                        Это статья на тему — почему «сухую воду» нельзя использовать для целей описанных в Вашей статье.
                                          +2
                                          Мне кажется там много доморощенных рассуждений. И с очень большой натяжкой. Да — можно говорить что Novac при нагревании до 550 градусов разлагается на очень едкие компоненты (попробуйте нагреть фторопластовый провод, или хотя бы докрасна тефлоновую сковородку — тоже задохнетесь) — но где вы такие температуры в компе видели?
                                        0
                                        Ещё она быстро испаряется, это тоже должно добавлять проблем.
                                        Я не понимаю, почему ЭТО должно быть проблемой, наоборот — это отличное решение отвода тепла уже в пределах здания!

                                        Отводите пар в теплообменники на улице, и возвращайте назад жидкость. Замкнутая система — все просто невероятно довольны, а при размещении теплообменников на крыше — экономия еще и на насосах.
                                        p.s. это решение уже было эффективно реализовано у ASICMiner (на хабре была статья) для охлаждения его mining rigs.
                                      +37
                                      Я™ ждал™ этого™ комментария™ про™ 3M Novec.
                                      +4
                                      Обычные рыбы могут добавить в воду соленость, а это приведет к электрической проводимости.
                                        +3
                                        Промыть рыб минеральным маслом и с мылом!
                                          +4
                                          Может, не маслом, а спиртом заливать?
                                            +22
                                            Тогда сразу пивом… Но рыбы должны быть в сухом и соленом состоянии :)
                                              0
                                              Ребят, мне кажется, что защитники природы скоро ополчаться на нас за наши шутки, да, я тоже люблю рыб, как в приготовленном, так и живом виде, больше в живом конечно, нельзя все только есть и есть, рыбы существуют не только для нашего эстетического и гурманского удовлетворения. Во время недавнего посещения Французской Полинезии, наблюдал, как каждый день в ресторанах люди заказывают Махи-Махи, рыба вкусная, спору нет, но вот с таким потреблением, мне кажется, что скоро ее не останется там совсем. Люди зло, надо уметь себя ограничивать :)
                                                +32
                                                Можно решить сразу множество проблем, включая обозначенную, если начать есть людей!
                                              +4
                                              Спирт — ионизируется, есть OH группа. Нужно брать диэлектрические жидкости с _ковалентной_ связью — хлорированные и фторированные углеводороды, ненасыщенные парафиновые и вазелиновые масла, кремнийорганические соединения (полиорганосилоксаны), сжиженные газы, дистиллированная вода, расплавы некоторых халькогенидов…
                                            +4
                                            Ладно бы если только соленость!
                                            Многолетний опыт аквариумистики подсказывает, что эти красивые чудные создания за неделю так засирают аквариум, что диву даешься. Серверам в этой воде точно не понравится.
                                              0
                                              Можно улиток подсадить.
                                                +5
                                                Возможно кому то это покажется странным, но улитки говно не едят. Они едят водоросли и сами серят в промышленных масштабах… Поэтому предложение поместить улиток в аквариум который засрали рыбки. Мягко говоря не даст желаемого эффекта.
                                                0
                                                вода будет скапливаться в самом низу «аквариума», где не находится каких-либо электрических компонентов
                                                Вода с рыбами пусть будет под маслом с серверами. Вместе со своей грязью.
                                                  +1
                                                  Задохнутся без воздуха.
                                                    0
                                                    Полагаете, искусственная аэрация будет невозможна из-за перемешивания масла с водой?
                                                      0
                                                      По-моему — нет.
                                              +1
                                              Масло со временем не нужно менять?
                                              Интересно было бы увидеть ноутбук с масляным охлаждением.
                                                0
                                                В статье писал, масло не нужно менять со временем, оно может служить практически «вечно».
                                                  0
                                                  Действительно, пропустил как-то этот предложение.
                                                    0
                                                    ой-ли… Это же органика — в ней могут даже завестись бактерии…

                                                    С другой стороны — можно же взять любую жидкость — деионизированную воду или что-то типа глицерина. Они тоже на электрический пробой не сработают.
                                                      +3
                                                      Не всякая органика одинаково вкусна. Углеводороды не жрет почти никто. Единственное живое существо, которое способно извлечь из них пользу — человек на автомобиле.
                                                        +1
                                                        Отчего же тогда срок годности солярки лишь 2 года, а потом она сильно «краснеет» от развившихся бактерий?
                                                          0
                                                          Не уверен, но насколько я знаю, питаются они не самой соляркой, а примесями. И только при наличии воды. В минеральном масле воды меньше.
                                                        +1
                                                        Деионизированная вода очень быстро перестает таковой быть. А глицерин микробы и зверьки начнут жрать гораздо раньше, чем минмасло. Минмасло вообще штука брутальная в этом плане.
                                                        0
                                                        Как минимум нужно следить за утечками (вытекание масла) и протечками (затекание маслоохладителя в контур).
                                                        Еще неплохо бы следить за чистотой масла.
                                                          0
                                                          За этим всем следит система, которая перемешивает масло и передает тепло с него на теплообменник.
                                                      +3
                                                      Для жестких дисков потребуется использование дополнительных приспособлений, ведь они не будут способны эффективно вращаться в жидкости.

                                                      А я всегда думал, что жёсткие диски герметичные и блины вращаются в среде с низкой плотностью. Каким образом внутрь попадёт вода и помешает вращению?
                                                        +4
                                                        Нет, жёсткие диски не герметичны.
                                                          +1
                                                          Они не абсолютно герметичны. У винтов есть небольшое отверстие в крышке для выравнивания давления, закрытое плотным противопылевым фильтром.
                                                            +2
                                                            Эх, а я всегда думал, что это герметичная пломба, запечатанная в помещении с резреженным воздухом.
                                                              0
                                                              а зачем в винтах есть пакетик с silica gel? :)
                                                                +2
                                                                Чтобы окисление контактов медленнее происходило.
                                                                  +2
                                                                  Это я к тому что винты негерметичны, ведь если бы они были герметичны — зачем изнутри влагу впитывать
                                                                    0
                                                                    Винты и прокладка крышки, как раз-то герметичны. Но есть точка для выравнивания давления воздуха внутри и снаружи с микрофильтром от пыли (с надписью Do not cover (WD)).
                                                              0
                                                              А как насчет новых дисков заполненных гелием? Уж они то должны быть герметичны, иначе гелий быстро улетучится
                                                                +2
                                                                Гелий и так, даже из, казалось бы, герметичных, достаточно быстро убежит.
                                                                0
                                                                И как минеральное масло помешает выравниваться давлению через эту мембрану?
                                                                  0
                                                                  Либо оно его закроет, либо протечёт.
                                                                    +1
                                                                    А зачем нужно выравнивать давление в харде, кроме как для того, чтобы крышку не вспучило?
                                                                      +1
                                                                      Точная механика… корпус поведет от разности давлений, поедет и прецезионный блок головок, шпиндель перекосит…
                                                                        0
                                                                        Сложно сделать что-то понастоящему герметичное — будет выдавливать уплонители и т.п. Герметичным оно будет значительно больше и тяжелее.
                                                                        +1
                                                                        протечёт под давлением в сотню атмосфер, разве что.
                                                                          0
                                                                          А за пять лет?
                                                                            +1
                                                                            И за 5 лет не продавит. Поверхностное натяжение же, жидкость будет сопротивляться давлению как пружина.
                                                                            Обычная вода, к примеру, через чугунные трубы(стенки труб) протекает под давлением в 10атмосфер, а фреон — через малейшие щелочки проходит под малейшим давлением, поэтому его используют совместно с медными трубами.
                                                                        0
                                                                        Силы поверхностного натяжения у масла огромны по сравнению с водой, это считай закупорить отверстия вовсе.
                                                                    +2
                                                                    Но увы, генная инженерия еще отстает от моды в IT

                                                                    аквариум: www.pugetsystems.com/nav/aquarium/EATX/customize.php
                                                                    рыбки: bit.ly/QEBxiM

                                                                      +2
                                                                      Можно сделать «Аквариум в аквариуме», или слоеный, чтобы рыбы вокруг системного аквариума плавали — дополнительный теплоотвод и красота :)
                                                                        +1
                                                                        Хорошая идея.
                                                                        Только надо будет следить, чтобы не было перегрева воды у рыбок. А то сварятся. Или селить каких нибудь южных, которые любят теплую воду.
                                                                      +12
                                                                      Скоро сисадминам надо будет иметь навыки дайвинга, для обслуживания глубоких бассейнов с серверами :)
                                                                        0
                                                                        Слава Богу у нас в нашей небольшой организации с этим проблем нет, правда обучены нырять только менеджеры, 4 из 6 человек, еще 2 на очереди обучения осенью. Спасибо за совет, видимо надо будет заняться и админами :)
                                                                        +8
                                                                        Из курса физики известно, что воздух — крайне не эффективный проводник тепла, так как его теплопроводность в 25 раз ниже теплопроводности воды.


                                                                        Теплопроводность и того, и другого катастрофически низкая, и разница в 20 раз мало что дает. В школе часто показывают замечательный демонстрационный эксперимент, когда верх пробирки кипит на спиртовке, а в нижней части спокойно лежит лед и даже не думает таять.

                                                                        Суть не в теплопроводности самой по себе, а в конвекции и теплоемкости. При той же интенсивности конвекции (скорости потока) вода способна отводить значительно больше тепла за счет значительно более высокой теплоемкости на единицу объема. Поэтому при охлаждении водой процесс может происходить за счет естественной конвекции либо с небольшим искусственным нагнетанием, а в случае воздуха приходится применять интенсивное нагнетание, чтобы обеспечить необходимый отвод тепла.
                                                                          +6
                                                                          Благодарю за уточнение, но разница в теплопроводности в 25 раз все-таки играет роль. Достаточно показательный пример — в воде +20 мы замерзаем гораздо быстрее, чем на воздухе с +20. При этом конвекция может быть минимальна, мы можем сидеть в бассейне и не двигаться и испытывать жуткий холод и большие теплопотери.

                                                                          А на счет того, что воздух нужно гораздо интенсивнее перемешивать — Вы безусловно правы, конвекция играет не последнюю роль.
                                                                            –1
                                                                            Есть разные формы отвода тепла. Например мои друзья-физики, которые делали «ТОПАЗ» (космический ядерный реактор) — хвастались что использовали в нем все 6 форм переноса энергии ;-) Кругом же вакуум — так просто лишнее тепло не скинешь.

                                                                            Кто знает — может микросхемы будущего будут излучать — как печка камина, вырабатывать хлорофилл — связывая CO2, генерировать антивещество или менять гравитационное поле…

                                                                            Вообще говоря — проблема паразитного нагрева — наиболее сильно связана именно с кремниевой индустрией. На компонентах A3B5 (арсенид галлия) и другие сложные структуры, вплоть до графена — с этим сильно проще. Но беда в том что в «классическую» MOS технологию вложено столько бабла, что просто так господа капиталисты на инновации не пойдут. Нафига рисковать — построил фабрику, 4-5 лет ее поэксплуатировал и в хвост, и в гриву, и снес бульдозером с земли — построив новую. Новые технологии при таком цикле просто не вызревают
                                                                              +1
                                                                              Нафига рисковать — построил фабрику, 4-5 лет ее поэксплуатировал и в хвост, и в гриву, и снес бульдозером с земли — построив новую. Новые технологии при таком цикле просто не вызревают

                                                                              Конечно, все так просто! А деньги на разработку и на риск просто так из воздуха возьмутся, и прибыль за это 5 лет тут абсолютно ни при чем.
                                                                                0
                                                                                Да ничем наши короли FAB-ов уже не рискуют. Из всех идей — только уменьшать технологические размеры. На частотах 5-6 ГГц Intel уже лет 10 как топчется…

                                                                                А разрабатывают всякие verilog-овские модели не владельцы фабрик, а дизайн-бюро. Такие как например NVIDIA — у нее нет своего производства, она придумывает процессор в «цифре» — и отдает разводку в любую тайванскую контору. Так что ценна не фабрика, а та микропрограмма — которая в данные момент управляет оборудованием.
                                                                                +7
                                                                                использовали в нем все 6 форм переноса энергии
                                                                                А теперь перечислите их поименно, моей физфаковской фантазии не хватает…
                                                                                  0
                                                                                  начнем с испарения-конденсации ;-)
                                                                                    0
                                                                                    Это фазовые переходы а не виды переноса энергии. Причем, при конденсации и десублимации происходит получение энергии.

                                                                                    Но в случае космоса — испарение/сублимация приводят к потере рабочего тела, что нормально при, например, при работе ЭРД, но не очень нормально для охлаждении: выгоднее это рабочее тело нагреть и использовать для тяги (как работают ЭРД, прямоточные ядерные двигатели).
                                                                                      0
                                                                                      ну чего глумишься. Я просто подсказал что теплота может передаваться и через создание/разрушение межмолекулярных связей. То же самое и с химическими связями. Дальше классика — конвекция (теплоотдача, термомагнитная, капиллярная, термогравитационная, термострессовая, гранулярная, термодинамическая), излучение (как ядерное, так и радиационно-световое), теплопроводность, термоэлектрическое преобразование и пр…

                                                                                      Насчет «ТОПАЗ»-а, то я не сказал что из него что-то в вакуум материальное улетает. Это эдакая многослойная «матрешка» с ядерной сердцевиной — и между некоторыми слоями — работает именно испарение/сублимация. Наружу скидывается конечно излучение…
                                                                                        0
                                                                                        И еще — ядерный реактор — очень нужная штука при полетах в дальний космос или где есть массо-габаритные ограничения (Электрическая мощность «ТОПАЗ-1» ~ 6,5 кВт, а тепловая почти 150 кВт )). Предполагалось даже в некоторых проектах при полетах на Марс тащить на буксире маленький реактор, естественно с правильной биозащитой.
                                                                                        Американцы с ума сходили пока в рамках ельцинского бардака не купили у нас «Топаз-2» (Енисей) и не разобрали его по винтикам, восхищаясь как он был устроен
                                                                                  +2
                                                                                  Не хочу быть занудой, но теплопроводность воды самой по себе чуть ниже теплопроводности кирпича. Вряд ли кому придет в голову охлаждать процессоры кирпичом, правда ведь? Так что конвекция – самый главный фактор.
                                                                                    0
                                                                                    Процессоры охлаждают не водой, а минеральным маслом, вода используется только в контурах с холодной водой для отвода тепла уже от шкафов. Там действительно, Вы правы, преимущество за конвекцией.
                                                                                      +3
                                                                                      Коэффициент теплопроводности масел существенно (в 6 раз) ниже, чем у воды. Так что в случае масел конвекция еще важнее :)

                                                                                      Масла используют исключительно из-за высокой температуры кипения и из соображений электробезопасности. В воде уже при 70 градусах может начаться кавитация растворенного воздуха, которая снижает теплопередачу и может со временем приводить к механическим повреждениям. Кроме того, очевидно, что даже малые примеси солей в воде (а они туда могут попасть из тех же из деталей конструкции) вызовут нежелательные электролитические эффекты.
                                                                                        +1
                                                                                        Конвекция важна везде, не спорю, только теплоемкость более важна, нежели теплопроводность. Вы же сами сказали, что воздух нужно более интенсивно перемешивать. Вот как раз в случае с маслами благодаря большей теплоемкости перемешивание может быть гораздо менеее интенсивным.

                                                                                        Воду для охлаждения серверов не применяют, так же как и перемешивают охладитель не воздухом, а при помощи насосов, так что случаи кавитации воздуха в маслах не думаю, что стоит рассматривать. Разве что в том ПК, который на картинке, но там я не думаю, что масло сильно греется :)
                                                                                +2
                                                                                Я думаю, что с точки зрения длительной стратегии развития железа жидкостное охлаждение не лучшее решение. Потому что проблема не отвод тепла от чипов. Проблема в чрезмерном нагревании самих чипов. Стратегическое решение таким образом состоит в повышении энергоэффективности микросхем и их тепловой стойкости.
                                                                                Мне кажется, что датацентр будущего это не мегаватты тепловыделения в минеральном масле, а полностью пассивные сервера, не требующие специальных мер охлаждения.
                                                                                  +1
                                                                                  Вы не правы, законы сохранения энергии никто не отменял, каким бы способом Вы не охлаждали Ваши серверы (уже кстати существует довольно давно полупроводниковое охлаждение Пельтье, вбейте в гугл — узнаете что такое) — Вам все-равно нужно отвести выделяемое ими тепло. Ближайшее будущее, как раз за минеральным маслом, так как оно позволяет стабилизировать температуру чипов и понизить их рабочую температуру свыше, чем на 20 градусов, при этом убрав потери токов.
                                                                                    +1
                                                                                    Juggernaut, как раз предлагает уменьшить выделение тепла самих серверов, что-бы их не надо было охлаждать.
                                                                                    И у меня вопрос, а почему именно минерально масло, а не синтетическое?
                                                                                      0
                                                                                      А тут мы в замкнутый круг попадаем. Меньше выделение -> меньше потребление -> меньше техпроцесс -> меньше физ. размер -> больше вместится в цод :)
                                                                                    0
                                                                                    Во-во. Видел в Исландии ЦОД-ы — мечта мизантропа. Абсолютно простой ангар — где с одной стороны холодный полярный воздух вдувается, а с другой выдувается.… И никаких фанкойлов, кондиционеров и прочей дребедени.

                                                                                    В век хороших телекоммуникаций — ЦОД-ы можно поставить в любом месте земного шара, в основном там где дешевле электроэнергия или кондиционирование. И только наши отдельные «пилильщики» стремятся ставить серверные внутри садового кольца — где бешеная стоимость земли, з/п сотрудников и прочие дизастеры.
                                                                                      +4
                                                                                      Да, а потом обеспечивать тройное резервирование канала в сибири, искать людей на полугодовую вахту и доставлять железо на замену попутным вертолетом с геологами.
                                                                                        –1
                                                                                        Именно. Например на полном серьезе строить ЦОД возле алюминиевого завода или ГЭС — сильно выгоднее, чем в столице — электричество стоит копейки. Не понимаю — отчего наши олигархи не думают об этом — предпочитая увольнять пол-Череповца, пол-Красноярска и пр.
                                                                                          +1
                                                                                          Вот вам картинка:
                                                                                          image
                                                                                          Электроэнергия — это всего пятая часть расходов на содержание. Ну уменьшите вы ее в два-три раза. Зато вырастет «обслуживание»,«управление»,«системный мониторинг». В любом случае, это не «сильно выгоднее».
                                                                                            +7
                                                                                            Мне кажется, или там разовые расходы вперемешку с постоянными?..
                                                                                              0
                                                                                              Спасибо за картинку. Вместе с тем — как будто из любого госконтракта любого системного интегратора вытащена. Все в кучу — и капитальные затраты, и переменные — в общем по сметному принципу — чтобы побольше бабла срубить.
                                                                                              Сейчас при облачных технологиях и виртуализации — передернуть сервер или перенести весь инстанс на «1000 км правее» — раз плюнуть. У нас сисадмин например рулит около ~ 300 виртуальными серверами — и не жужжит.
                                                                                              Так что непонятно — отчего такое дорогое в вашем графике «Обслуживание» (это пыль сдувать ?), Аренда (?), Разработку -термоконтроль-энергетику (42%) тоже долой — это все единоразовые затраты… Что осталось?

                                                                                              Даже по общему принципу представьте — что дешевле — тащить сотни километров к ЦОД-у тоненький оптоволоконный проводок (когда ЦОД стоит у ГЭС), или ставить сотни километров мачт с толстенными проводами, трансформаторное хозяство — чтобы протянуть тысячи киловатт мощностей (когда ЦОД стоит у потребителя). А в электричестве есть еще и необратимые потери на магистрали…
                                                                                              Коммуникации — уже давно не проблема. С момента выборов в 2011 году, только Ростелеком (была такая авантюра с видеонаблюдением на выборах) почти вдвое (!) увеличил пропускную способность Рунета. А есть и другие операторы. Вы что думаете — эти все 50мбит/с в квартиру, 3G/LTE и кабельное ТВ — просто так взялось? НЕт — это как раз результат значительного увеличения скорости и надежности межхостовых коммуникаций.
                                                                                                0
                                                                                                Так что непонятно — отчего такое дорогое в вашем графике «Обслуживание» (это пыль сдувать ?), Аренда (?), Разработку -термоконтроль-энергетику (42%) тоже долой — это все единоразовые затраты… Что осталось?

                                                                                                Обслуживание — это как раз инженеры, техники, уборщицы, охрана и так далее. Это же не сарай, чтобы поставить и стоит себе годами. У ЦОДа есть клиенты, и у этих клиентов внезапно появляются какие-то желания — типа сервер поменять, или жесткий диск, или в другую стойку переставить. И это кто-то должен делать.

                                                                                                Даже по общему принципу представьте — что дешевле — тащить сотни километров к ЦОД-у тоненький оптоволоконный проводок (когда ЦОД стоит у ГЭС), или ставить сотни километров мачт с толстенными проводами, трансформаторное хозяство — чтобы протянуть тысячи киловатт мощностей (когда ЦОД стоит у потребителя). А в электричестве есть еще и необратимые потери на магистрали…

                                                                                                Одним тоненьким проводком на весь ЦОД дело не обойдется. Резервирование всех каналов(причем не в одном кабеле, и даже не в двух, лежащих в одной канаве, а разнесенных физически — чтобы таджики на экскаваторе, копающие бассейн гарантированно повредили только один), толстые каналы к IX, и так далее.
                                                                                                Да и не такой уж он и тоненький — с изоляцией да с защитой он будет уже диаметром сантиметров в 10, да и придется его вешать на те же столбы или закапывать в землю.
                                                                                                А тащить провода в центр москвы не надо — они там уже есть.
                                                                                          0
                                                                                          Я вот подумал, глядя на двигатель воздушного охлаждения своего мотоцикла, раз уж затронули возможность пассивного охлаждения, можно попробовать рассчитать наружный серверный шкаф аквариум воздушно-масляного охлаждения.
                                                                                          Имею в виду, что внутри такого аквариума будет масло, а сам аквариум металлический с оребрением, и стоять должен в хорошо продуваемом ветром месте.
                                                                                          Стоящие под открытым небом трансформаторы с масляным охлаждением так и устроены, так что в этом по идее не должно быть ничего нового и сложного.
                                                                                            0
                                                                                            Так масло и сейчас остывает за счёт большой поверхности аквариума, где тепло выделяется в воздух.
                                                                                              0
                                                                                              Золотые слова. Вспомним 2-й закон термодинамики и сохранения энергии. Ну стоит это сервер в закрытой комнате — и выделяет, допустим 10 кВт тепла.
                                                                                              Погрузи его в жидкость — никуда эти 10 квт не денутся — все равно будет жарко. Значит надо отводить эту жидкость наружу и затем… (опачки !) охлаждать именно воздушным способом — т.е. ставить вентиляторы, оребрение и пр. — такого же размера, как и было бы — если бы это оребрение было в комнате и охлаждалось обтекающим воздухом.
                                                                                              (Ситуацию — как в Могилеве — когда жидкость охлаждения тамошних Эльбрусов системы противоракетной обороны сливалась в бассейн, с виду прикинувшийся фонтаном — не берем. Уж очень жителей развлекал этот фонтан, который работал и зимой ;-) )

                                                                                              И еще штука — бОльшая теплоемкость жидкости — это и хорошо, и плохо. Ведь чем ее труднее остыть, тем ее и труднее нагреть. Попробуйте посчитать (в килограммах) — сколько вам надо будет прогнать через площадку 25*25 см жидкости, чтобы снять с нее 1 квт мощности… И сколько воздуха.
                                                                                              В жидкости есть еще минусы — она застывает, а у воздуха диапазон температур — хоть до — 198С. Жидкость несжимаема (будут гидроудары и кавитация) — а воздух спокойно выдержит сжатие-расширение до нескольких атмосфер. Протечка жидкости опасна — а дырку в воздушной магистрали можно заклеить жевачкой… и пр.

                                                                                              Т.е. в жидкостном охлаждении — вы НЕ ИЗБАВЛЯЕТЕСЬ от радиатора охлаждаемого воздухом, а вдобавок к нему еще присобачиваете транспорт жидкости и всю обвязку. Куча геморроя с «носителем» и его свойствами как несжимаемого тяжелого замерзающего тела. И в чем экономия?

                                                                                                0
                                                                                                Прелесть любых видов жидкостного охлаждения именно в возможности дистанцировать источник тепла от теплообменника, и сделать теплообменник более эффективным. А допустим поблизости есть труба, по которой течет холодная вода — так можно даже не нарушая целостность этой трубы сделать так, чтобы тепло уходило в нее, а не в воздух. Или сделать проточку. А можно отдавать тепло и в воздух, только наружный, холодный (если климат соответствующий).

                                                                                                В той тесной серверной обычно стоит кондиционер, который греет окружающий мир сильнее, чем охлаждает серверную. А если каким-то образом выносить большую часть тепла за пределы комнаты, то кондиционер уже даже можно заменить на вентилятор.

                                                                                                Вообще, жидкостное охлаждение уже давно популярно. Правда, обычно в виде традиционного водоблока, лепящегося на греющиеся чипы. У меня вот на домашнем компьютере процессор водянкой охлаждается. Метод погружения лишен главного недостатка этого подхода — на одной только материнской плате наберется сотня греющихся элементов, существование которых не стоит игнорировать, иначе что-то навернется. Но даже без погружения средняя водянка охлаждает чипы лучше топовой воздушки — именно за счет возможности вынести радиатор за пределы корпуса, чтобы у него был доступ к прохладному воздуху, и сделать его более массивным без оглядки на любые ограничения вроде «не превысить такую-то высоту и массу, не заблокировать слот оперативки».
                                                                                                  0
                                                                                                  Я и не спорю. В каждой ситуации надо выбирать наиболее подходящее решение. Вопрос в том — что и потенциал воздушного далеко не исчерпан…
                                                                                                    –1
                                                                                                    Да и температурный режим бывает разным. Высокое тепло «не любят» в основном конденсаторы и дешевые микросхемы (там где контактные цепи на алюминии или меди, а не на золоте — которые лихо термодиффундируют при высоких температурах — убивая p-n переход за 2-3 года).
                                                                                                    Вполне можно делать и разводку, пригодную не только под цели минимизации помех и межслойной емкости, но и для целей различного охлаждения.

                                                                                                    Кстати — как раз была тема что некоторые вендоры (палился на этом Samsung) — сознательно размещают конденсаторы возле выделяющих тепло элементов — тем самым «убивая» срок службы скажем импульсного БП в телевизорах/мониторах. А что — каждый жить хочет, иначе новые телики бы не покупали, вот и приходится закладывать копеечную «часовую бомбу»…
                                                                                                    0
                                                                                                    Для охлаждения можно построить градирню, довольно эффективное охлаждение на компактной площади. Есть еще разработки с созданием внутри градирни циклона, увеличивающего её эффективность а значит можно уменьшить её размер.
                                                                                                      0
                                                                                                      Зато этот радиатор не внутри сервера, в виде множества мелких деталей, а снаружи одним блоком.

                                                                                                      Про теплоёмкость вы не правы. Жидкость с большей теплоёмкостью сложнее нагреть до заданной температуры именно потому, что на это потребуется затратить больше энергии.
                                                                                                  0
                                                                                                  А кто сказал что для воздушного надо брать воздух? Есть и другие газы, в том числе лучшие переносчики — чем «80% азот»…
                                                                                                    0
                                                                                                    Герметичные газопроводы и герметичные серверные — это ещё сложнее, чем жидкостное охлаждение.
                                                                                                    0
                                                                                                    Или наоборот привнесения охлаждения внутрь чипа т.е. пусть в чипах будут спец каналы, как кровеносные сосуды в организмах, но гонять они будут не кровь, а охлаждающую жидкость. Если охлаждение «опустить» на сам полупроводник, то его можно хорошо «разогнать». Тем более, что такая схема позволяет делать плотную 3-D компоновку. Сейчас нельзя сделать чип слишком толстым — ибо внизу «подгорит», даже если наверху не прогрелось.
                                                                                                      0
                                                                                                      IBM подобное предлагал: www.cnet.com/news/ibm-to-cool-layered-chips-with-water/
                                                                                                        0
                                                                                                        Ага. Только пока имеются странные тормоза с реализацией.
                                                                                                        +1
                                                                                                        Тоже возможно, но из-за вязкости жидкости могут получится большие энергозатраты на прокачивание жидкости через тонкие каналы.
                                                                                                          +1
                                                                                                          Угу. Потому для такой схемы вода лучше масла. Молекула меньше.
                                                                                                      +2
                                                                                                      Можно запустить рыбок, сконструировав аквариум, с разделяющей его на две части вертикальной стеклянной стенкой. В задней половине булькает масло, в передней — плавают рыбки в воде.
                                                                                                      При виде спереди стенки будет не видно, и будет казаться, что резервуар общий.
                                                                                                        0
                                                                                                        Да, я написал об этом выше :) Единственная очевидная проблема — сервисное обслуживание аквариума. Как поменять воду, не затронув масляную емкость? В этом случае сетап в формате «водяной бани» предпочтительнее :)
                                                                                                        0
                                                                                                        А существуют ли ДЦ с подобным решением? Чтобы не посмотреть, будет ли работать, а прям вот по-настоящему? :)
                                                                                                          0
                                                                                                          Существует, компания GRC построила большой вычислительный кластер, который используют геофизики для своих рассчетов + предлагает внедрение технологии на сторонних площадках. В основном сейчас в Дата Центрах подобного рода находятся вычислительные кластеры, потребляющие много энергии и выделяющие много тепла. Тем не менее GRC предлагает использовать свой Дата Центр и для других целей, большинству абонентов они готовы предоставлять шкафы с теплоотводом 6-20 кВатт с 42 юнитов.
                                                                                                          0
                                                                                                          Тут уже шла речь о конвекции. Если рассматривать не серверные стойки, а обычный ПК, реально ли обойтись без активного охлаждения вообще? Скажем, разместить горизонтально материнскую плату и БП близко ко дну в «аквариум» литров на 25 (30 см высотой) в масло.

                                                                                                          Может быть существуют какие-то калькуляторы хоть приближенные? И на какое масло из доступных лучше обратить внимание при желании делать что-либо подобное? Трансформаторное, полагаю, будет эффективнее какого-нибудь моторного?
                                                                                                            0
                                                                                                            Абсолютно реально, в том ПК, что на фотке — вентилятор погружен в жидкость ради «прикола», как пишут сами разработчики. Там достаточно большой объем, передать энерегию по нему можно и за счет радиатора, а не перемешивания.
                                                                                                              –1
                                                                                                              Думаю что для обычных ПК можно вообще обойтись даже без масла, один большой радиатор размером с материнскую плату и никаких проблем. И главное никакой возни с жидкостями и герметизацией. Представляешь, вот эта вся красота возьмет и потечет?
                                                                                                              Масло хорошо когда надо с одного юнита киловатт снять… но в домашних условиях масло в таких случаях не поможет — тепло все же надо будет куда-то девать и отводить иначе летом в комнате будет просто АД.
                                                                                                                0
                                                                                                                Как такой радиатор собрать-то?
                                                                                                                Ну и выравнивания температур не будет, в отличии от жидкости.
                                                                                                                  –1
                                                                                                                  температур чего? на материнке в основном греются только две вещи, процессор и южный мост. Достаточно с них снимать тепло при помощи тепловых трубок на общий радиатор размерами 30x30 сантиметров. Он позволит рассеять все необходимое тепло за счет обычной конвекции.

                                                                                                                  Собирать-то зачем такой радиатор, его надо вытачивать. Или набрать из стандартных профилей. Всяко будет легче чем система с маслом.
                                                                                                                    +1
                                                                                                                    А сможет ли такой большой радиатор, к которому тепло подводится в нескольких точках, эффективно распределить его по всей своей поверхности?
                                                                                                                  +1
                                                                                                                  В моем «обычном ПК» радиаторы видеокарты и процессора имеют площадь ~85% от площади материнской платы. Это не считая охлаждения южного моста, модулей памяти, блока питания. И на одной только видеокарте (никакого разгона) стоят 3 кулера, чтобы радиатор нельзя было использовать в качестве электроплиты кухонной.

                                                                                                                  И какого объема железяка мне понадобится, чтобы охлаждать машинку пассивно? Полуметровой высоты? Полуторацентнеровый куб меди — это очень весело.
                                                                                                                    0
                                                                                                                    Раз.
                                                                                                                    Два.
                                                                                                                    Вы на топовое железо смотрите? Тоже не проблема. Вода с контуром на всё греющееся (full cover на видеокарту) и огромный радиатор за пределами корпуса. Кто-то вроде использовал автомобильный радиатор. У него колоссальная площадь.

                                                                                                                    Только я не понимаю смысла отказа от вентиляторов. Огромная и тихоходная вертушка почти не слышна, но колоссально эффективна. На более серьезных оборотах крупные вентиляторы дают приятный, низкий гул.
                                                                                                                      0
                                                                                                                      Шум меня не особо напрягает. Наоборот ночью просыпаюсь от редкого явления внезапной пронзительной тишины. Просто это механика, а механика подводит. Две извечные проблемы в компьютерах: активное охлаждение и HDD. Не то что бы мешает, но отказаться от кулеров был бы не против, пожалуй.

                                                                                                                      Про воду с контуром можно ссылочек с ценами? Хотя бы пару примерных.
                                                                                                                        0
                                                                                                                        Просто это механика, а механика подводит.

                                                                                                                        Не уверен. У меня в последнем компьютере за пару лет никаких проблем с механикой. Вот с электроникой были проблемы — внезапно кончилась видеокарта, причем так, что комната пару дней проветривалась (транзистор на схеме питания заполыхал). А пять-шесть кулеров плюс помпа для водянки (только процессор) в порядке. Они вообще, если нормальные, могут десятки лет жить.
                                                                                                                        Про воду с контуром можно ссылочек с ценами?

                                                                                                                        Вроде приличное около 10к в полном комплекте. Ссылки бесполезны, просто гуглите на тему «water cooling», материалов много.
                                                                                                                          0
                                                                                                                          Один из моих страхов — боязнь, что в мое отсутствие один из компов в доме загорится.
                                                                                                                          Поугрженный в масло — не сможет ничего зажечь. Масло не горючее, а значит воспламенившийся элемент почти сразу погаснет.
                                                                                                                            +1
                                                                                                                            Рецепт параноика (часть пунктов — рецепт любого здравомыслящего человека):
                                                                                                                            1) Хороший блок питания.
                                                                                                                            2) Хороший бесперебойник, в первую очередь для стабилизации напряжения.
                                                                                                                            3) Стальной корпус с толстыми стенками и без лишних пластиковых декоративных элементов, лучше непокрашенный.
                                                                                                                            4) Установка корпуса на приступку на удалении от огнеопасных предметов.
                                                                                                                            5) Периодически продувать пыль.

                                                                                                                            Но вообще-то компьютеры обычно не горят открытым пламенем. И компоненты загораются в момент включения (пусковые токи), а не при штатной работе. Если ваша фобия сбудется — смело идите и покупайте по билету от всех возможных лотерей, наверняка легко покроете убытки :) Однако, я бы смотрел на любой другой электроприбор вплоть до монитора как на более вероятный источник пожара.
                                                                                                                0
                                                                                                                del
                                                                                                                  0
                                                                                                                  Читал о любительском создании подводного домашнего компьютера как раз на основе аквариума и специального масла. По-моему года 2 проработала система и сдохла.

                                                                                                                  Но речь не об этом. За счёт чего такая эффективность? Ну пусть теплоёмкость в разы больше, количество энергии-то в целом выделяется только же, а значит столько же и рассеивать необходимо! Как реализован отвод тепла с масла? Про испарительную башню не очень понятно.

                                                                                                                  Но в целом огромный инертный аккумулятор тепла, который из себя представляет эта ванная с маслом — это прекрасно.
                                                                                                                    0
                                                                                                                    galanc, не совсем правы, количество энерегии выделяется меньше, чем при работе в воздухе, за счет отсутствия куллеров и потери токов с чипов (они работают при стабильной температуре в диелектрике).

                                                                                                                    На счет вопроса за счет чего больше эффективность, только за счет одного — отсутствует воздух в процессе теплообмена, тепло с погруженного в жидкость шкафа с оборудованием отводится за счет другой жидкости — воды. Которая циркулирует либо в охлаждающем контуре, либо присутствует в испарительной башне.

                                                                                                                    На Википедии примерно описано что это такое: en.wikipedia.org/wiki/Cooling_tower Во всяком случае принципы, это же применяется и в кондиционерах en.wikipedia.org/wiki/Evaporative_cooler

                                                                                                                    Более подробно тут: www.coolingtechnology.com/about_process_cooling/evaporative-cooling-towers/default.html
                                                                                                                      +1
                                                                                                                      dlinyj это делал. Лет так 15 назад. Правда у него был не аквариум, а брутальный бак из нержавейки.
                                                                                                                        0
                                                                                                                        Не из нержавейки, из оцинковки и крышки от старого АТ корпуса, но смысл не меняется.
                                                                                                                        0
                                                                                                                        Ведь суммарная площадь поверхности у аквариума с компьютером большая. Думаю, больше, чем у типичного радиатора.
                                                                                                                        +2
                                                                                                                        А если объединить сразу несколько высказанных выше идей?
                                                                                                                        Берем значится роборыбку — которая умеет делать всего 3 вещи:
                                                                                                                        1. Плавать для красоты по всему аквариуму, ближе к прозрачной боковой стеночке — мне кажется простейший сонар тут решит проблему ориентации, а несложная программка будет рассчитывать координаты свободного парения.
                                                                                                                        2. Заменять собой администраторов — ныряльщиков для диагностирования и обслуживания серверов — приделать манипуляторы с дистанционным управлением, ну или хотя бы один для пробы + камера для визуального наблюдения, + термодатчики
                                                                                                                        3. Выполнять функции чистильщика (в статье сказано что масло лучше чем вода в том числе и по меньшей загрязненности, но все же от пыли никуда не деться) — приделать мини пылесосик с камерой для мусора — пыль, частички краски, различный мусор который может возникнуть в процессе эксплуатации.

                                                                                                                        Таким образом убиваем сразу несколько потенциальных проблем мешающих продвижению систем жидкостного охлаждения серверов, создаем целевую нишу для компаний по созданию моддинговых корпусов и различным разработчикам и продвиженцам роботизированных технологий да и просто делаем мир интереснее.
                                                                                                                          +1
                                                                                                                          А на сколько увеличатся нагрузки на перекрытия за счет заполнения шкафов жидкостью? Не придется ли тратить сэкономленные на охлаждении средства на усиление здания/фундамента?
                                                                                                                            0
                                                                                                                            Спасибо за отличную идею! Меня волнует вопрос шума стационарного компьютера, который работает круглосуточно. Решил эту проблему путем выноса его на балкон, но летом проблема снова становится актуальной. Погрузить его в емкость с маслом на мой взгляд — отличное и недорогое решение. 20л трансформаторного масла будет стоить порядка 40$. В качестве емкости можно использовать канистру с отпиленным верхом или любую другую металлическую коробку.

                                                                                                                            Вопрос: как герметизировать жесткие диски? Достаточно ли будет промазать герметиком стыки и отверстия для шурупов? Посоветуйте, пожалуйста, какое лучше брать масло, что бы без запаха и нетоксичное.
                                                                                                                              0
                                                                                                                              поменяй вентиляторы на ШИМ модулируемые. У них 300-500 оборотов, а если еще на резиновой подвеске — будет шум ниже 25 Дб
                                                                                                                              Толко винчестера щелкать будут, но для активной работы можно SSD поставить
                                                                                                                                0
                                                                                                                                Да, действительно, лучше куллеры поменять. Если подумать, то для домашней системы погружение в масло особых преимуществ не даст. Все равно масло охлаждать придется, а это опять те же куллеры.
                                                                                                                                  0
                                                                                                                                  Да, но размеры бака с маслом, всё же, больше размеров процессорного радиатора. Да и на бак можно радиаторов прикрутить.
                                                                                                                                    0
                                                                                                                                    По факту это будет пассивная система охлаждения. А ее эффективность зависит от площади ее соприкосновения с окружающей средой. Т.е. если радиаторы процессора прикрутить хорошими проводниками тепла к корпусу, то это будет тоже самое, что заполнить этот же корпус маслом. Только легче и не разольется. Такие корпуса, к стати есть, только они дорогие и не такие эффективные, как активные системы.
                                                                                                                                      0
                                                                                                                                      Т.е. если радиаторы процессора прикрутить хорошими проводниками тепла к корпусу, то это будет тоже самое, что заполнить этот же корпус маслом.
                                                                                                                                      Только корпус не будет сам распределять тепло по всему объёму — ну, или вам придётся делать ещё и толстый медный корпус. Плюс, охлаждаться так будет только процессор (или вам придётся приделывать к каждому хоть сколько-нибудь нагревающемуся элементу по теплоотводу), потому что циркуляции воздуха в корпусе без вентиляторов не будет, и там будет печка.
                                                                                                                                        +1
                                                                                                                                        сколько-нибудь не обязательно, 40-50 градусов это нормально. Достаточно остудить лишь самые горячие части системы, на домашних компьютерах их очень мало, даже игровых — +1 радиатор на дополнительной видяхе. Сервера же имеют гораздо больше горячих мест, там замена радиаторов на масляное охлаждение может оказаться более целесообразным делом, несмотря на то что с маслом мороки больше.
                                                                                                                                0
                                                                                                                                Винчестеры не герметичны и их нельзя герметизировать. Просто расположить снаружи, они не настолько греются чтобы охлаждать их маслом.
                                                                                                                                  0
                                                                                                                                  винты не получится загерметизировать! точнее нельзя их герметизировать,
                                                                                                                                    0
                                                                                                                                    Почему нельзя?
                                                                                                                                  0
                                                                                                                                  Админы в таких дата-центрах вместо стандартного свитера и бороды должны иметь водонепроницаемый костюм, маску и трубку.
                                                                                                                                    +1
                                                                                                                                    И сертификат PADI Deep Diver
                                                                                                                                      0
                                                                                                                                      перчатки по локоть. В масле копаться же…
                                                                                                                                      +2
                                                                                                                                      Все хорошо, только подскажите где в России купить масло Crystal Plus 70T?
                                                                                                                                        0
                                                                                                                                        А вопрос с рыбками можно решить очень просто.
                                                                                                                                        Делаем корпус двойным. Внешний контур — обычная вода и рыбки. А внутри плексигласовая капсула с железом и минеральным маслом (не могу на планшете нарисовать, но думаю из описания понятно).
                                                                                                                                        И все. Наслаждается рыбками, которые плавают вокруг системной платы.
                                                                                                                                          +1
                                                                                                                                          Чем хороши такие идеи… тем что не твоя голова будет болеть по поводу технологической сложности изготовления таких корпусов.
                                                                                                                                            0
                                                                                                                                            Ну хватит уже про рыбок. У аквариумистов частая проблема — чтоб не умерли от холода, а мы компьютер охладить научились маслом, теперь бы воду в аквариуме охладить, чтоб рыбки радовали не в течение одного ужина в вареном виде, а подольше.
                                                                                                                                              0
                                                                                                                                              Выше уже предложили использовать тропических рыбок, более стойких к высоким температурам.
                                                                                                                                                +2
                                                                                                                                                «Я не играю! У меня рыбки мерзнут! Спасаю бедняг.»
                                                                                                                                            0
                                                                                                                                            А вы не думали эти технологии попытаться применить не для хостинга, а, например, для майнинга? Это интересный и растущий рынок.
                                                                                                                                              +1
                                                                                                                                              Это не интересный рынок, заработок денег из воздуха лично меня не интересует, мне вообще пофиг на деньги. Они не стоят ничего. Важно то, как мы живем и проживаем жизнь. Жить надо интересно, а не расходовать время на всякую ерунду.

                                                                                                                                              Кстати на счет майнинга, если Вы посчитаете, то электричество обходится дороже тех BitCoin, что Вы получите по итогу. Разве что с учетом этой технологии будет профит, но только в больших масштабах. Но дело в том, что деньги не стоят ничего. Это лишь инструмент, не более. И тратить природы ресурсы на то, чтоб добыть «циферки», как то не здраво.

                                                                                                                                              Давайте создавать реально классные и полезные проекты, а не искать во всем шару и возможность получить средства на шару.
                                                                                                                                                0
                                                                                                                                                Деньги это услуга, не бартером единым земля крутится.
                                                                                                                                                В майнинге эти технологии давно используются: habrahabr.ru/post/203998/

                                                                                                                                                Мне, например, больше интересно встраивание таких систем в отопительную систему (вроде теплых полов) или водоснабжение (через теплообменник), хотя в частном доме столько вычислительных мощностей вряд ли кто-то держит нынче, а вот дата-центрам будет полезно, наверно.
                                                                                                                                                  0
                                                                                                                                                  встраивание таких систем в отопительную систему (вроде теплых полов)

                                                                                                                                                  Уже было.
                                                                                                                                            • UFO just landed and posted this here
                                                                                                                                                +5
                                                                                                                                                Не люблю желтые заголовки. Особенно если это Хабр…
                                                                                                                                                  0
                                                                                                                                                  На Барьерном рифе — это шутка такая? Если нет — то где именно на Барьерном рифе (он очень большой)?
                                                                                                                                                    +1
                                                                                                                                                    Я правильно понимаю что однажды погруженное в масло железо становится, по сути, непригодным для использования на воздухе? Мне представляется что оно начинает всё пачкать этим маслом, а на остатки оного на платах быстро налипнет пыль ещё сильнее затруднив теплоотдачу.
                                                                                                                                                      0
                                                                                                                                                      Вопрос интересный, скорее всего так и есть, что использовать в воздушной среде без проведения специальной очистки, сервер не выйдет. Очистить возможно, но очень затратно. Но какой в этом смысл? Если Вы построите ЦОД с возможностью охлаждения серверов в минеральном масле, Вам перемещать их из масла в воздух не будет ни малейшего смысла. Да и серверы — совсем небольшая статья затрат в ЦОДе. Дешевле купить будет новый сервер, если возникнет необходимость использовать его в воздушной среде по каким-либо причинам, но причины эти представить мне сложно, так как это лишено всякого смысла.
                                                                                                                                                        0
                                                                                                                                                        А что делать при массовой модернизации железа? Обычное можно было сбыть по дешёвке — это выгодно как старым хозяевам, т.к. возвращается часть затрат, так и новым, которые получают железо дешевле. А теперь, если в масляном ДЦ старое железо никому не пригодится — получается, только на цветмет?
                                                                                                                                                          0
                                                                                                                                                          Отмыть в дистилированной воде и как новенькое.
                                                                                                                                                            0
                                                                                                                                                            Масло водой? Сомнительно. Под напором? Опасно. Нужно учитывать что нужно кропотливо промыть подо всеми деталями, не повредив их. Также вода намного агрессивнее к электронным компонентам, а дистилированная быстро перестанет быть таковой набрав солей из самой же платы, как было сказано habrahabr.ru/company/ua-hosting/blog/222669/#comment_7583537. Получается дорого и хлопотно.
                                                                                                                                                              +1
                                                                                                                                                              В спирте с ультразвуком.
                                                                                                                                                                +1
                                                                                                                                                                ага, только это уже проходит по разряду огнеопасных работ, да и спирта сколько надо? ведро? Ультразвук даст усиленное испарение спирта, малейшая искра и… вобщем гуглите ютуб по словам «вакуумная бомба».
                                                                                                                                                        0
                                                                                                                                                        Его все равно надо проектировать по-разному. Обычное железо подойдет для самоделок, но не для промышленного использования.
                                                                                                                                                          0
                                                                                                                                                          Пока речь об обычном железе. С массовым распространением масляного, очевидно, и масляных ДЦ/колокейшонов появится больше, так что проблема потеряет остроту.
                                                                                                                                                        +3
                                                                                                                                                        Каталист-утопленник, прикольно.

                                                                                                                                                        Вопрос. Допустим, железо умерло, его заменили по RMA. Вендор потом не начнет громко ругаться матом по поводу «какой гад его погружал в жидкость?» (даже при отсутствии следов коррозии) и пытаться выставить счет? Сомневаюсь, что это является допустимой средой эксплуатации.
                                                                                                                                                          –2
                                                                                                                                                          Когда Вы строите Дата Центр, то затраты на железо составляют очень небольшой процент, также, как и на его амортизацию. Экономия благодаря использованию охлаждения в жидкости превосходит расходы на закупку железа и амортизацию во много раз. Кроме того, гарантия железа Вас волнует редко, Вы закупаете серверы тысячами, Вам проще выбросить сервер, чем отправлять его по гарантии на замену. К тому же хорошее железо крайне редко выходит из строя, потому поставщик у которого Вы закупаете серверы на сотни тысяч и даже миллионы евро за раз, вышедший из строя даже по Вашей вине сервер может заменить без вопросов (не говоря уже о сервере побывавшем в масле), но на практике Вам самим не интересно проводить такие замены, проще выбросить вышедшую из строя комплектующую или даже сервер, чем тратить время и средства на его отправку в гарантию и получение назад. Это ведь время сотрудников, а оно гораздо дороже железа.
                                                                                                                                                            +1
                                                                                                                                                            Я больше про сетевое железо.
                                                                                                                                                            К тому же хорошее железо крайне редко выходит из строя

                                                                                                                                                            Ткните пальцем в «хорошее» — немедленно закупим. Цискино не является хорошим, так как иногда дохнет целыми сериями.
                                                                                                                                                            закупаете серверы на сотни тысяч и даже миллионы евро за раз

                                                                                                                                                            Цифра не впечатляет. Один-единственный свитч может стоить сотни тысяч евро. Греется он — мама не горюй (скажем, Nexus 7k), потому окунать стоило бы.
                                                                                                                                                            на практике Вам самим не интересно проводить такие замены, проще выбросить вышедшую из строя комплектующую или даже сервер, чем тратить время и средства на его отправку в гарантию и получение назад.

                                                                                                                                                            Вы, кажется, про ту самую замену у поставщика. Зачем? Есть вендор, есть родная поддержка, есть процедура RMA (обычно сегодня или завтра привозят замену, а старую железку надо вернуть когда-нибудь в течение пары недель, всё за счет вендора, оба раза приезжает курьер).
                                                                                                                                                            И вы всерьез будете выбрасывать плату стоимостью в много десятков тысяч евро вместо замены?
                                                                                                                                                            Это ведь время сотрудников, а оно гораздо дороже железа.

                                                                                                                                                            Одна железка может стоить как годовой оклад высокооплачиваемого сотрудника, а то и как целый отдел.
                                                                                                                                                              0
                                                                                                                                                              «Одна железка может стоить как годовой оклад высокооплачиваемого сотрудника, а то и как целый отдел» — не имеет смысл погружать в масло такое оборудование. Речь о серверах, а не о корневых маршрутизаторах и дорогостоящем сетевом оборудовании.

                                                                                                                                                              Они выделяют ничтожно малый процент тепла, на фоне остального оборудования.

                                                                                                                                                              На счет Cisco, уже более 2-х лет работает без сбоев у нас на нашей старой площадке в Utel. Juniper в Нидерландах также не отваливается, как и дорогостоящие Cisco.

                                                                                                                                                              Может Вы просто не у тех поставщиков закупаетесь, либо берете подделки. Оборудование высшей степени надежно, так как на основе Cisco/Juniper успешно маршрутизируется 3.5TB трафика и там ничего не отваливается так часто, как Вы рассказываете.

                                                                                                                                                              По поводу железа — HP/Dell/Supermicro хороши. Это наше реальное наблюдение, так как наши абоненты арендуют у нас свыше 1000 серверов от этих производителей. В этом году у нас не вышел из строя еще ни один сервер, даже жесткий диск не полетел или память. Причем большинство серверов не самые новые и в работе уже по году и более.

                                                                                                                                                              «И вы всерьез будете выбрасывать плату стоимостью в много десятков тысяч евро вместо замены?» да что Вы прицепились к плате за десятки тысяч евро? Это что основная составляющая ЦОДа, что там железа другого нет, которое стоит копейки и которое реально выбросить проще? Еще раз повторюсь, что охлаждают в масле серверы, а не корневые маршрутизаторы, которые составляют незначительный процент всего оборудования и их тепловыделение на фоне остального оборудования мизерно, так как их небольшое количество. В EvoSwitch все ядро, которое обеспечивает маршрутизацию 3.5 Тбит трафика, занимает 2 шкафа по 42 юнита. На 100 000 серверов там 2 таких ядра.

                                                                                                                                                              Погружать ядра в масло — ну никакого смысла и даже дебильно, ибо должен быть оперативный доступ для коммутации.
                                                                                                                                                                0
                                                                                                                                                                Может Вы просто не у тех поставщиков закупаетесь, либо берете подделки.

                                                                                                                                                                Поставщики правильные. Железо настоящее. Даже сервисные контракты у вендора есть.
                                                                                                                                                                Оборудования высшей степени надежно, так как на основе Cisco/Juniper успешно маршрутизируется 3.5TB трафика и там ничего не отваливается так часто, как Вы рассказываете.

                                                                                                                                                                О да, втирайте, втирайте :)
                                                                                                                                                                habrahabr.ru/post/216287/
                                                                                                                                                                (у меня ОЧЕНЬ много трупов по этой части)
                                                                                                                                                                Еще на одной линейке карт постоянно дохнет PoE.
                                                                                                                                                                У другой линейки карт один и тот же радиатор с одного и того же чипа отваливается.
                                                                                                                                                                Можно долго продолжать. Конечно, у других вендоров другие болячки.
                                                                                                                                                                И кстати, причем тут объем трафика, когда важно количество железа для оценки релевантности статистики?
                                                                                                                                                                да что Вы прицепились к плате за десятки тысяч евро? Это что основная составляющая ЦОДа?

                                                                                                                                                                Я — сетевик. Для меня есть «сетевое оборудование», и есть «прочее» :)
                                                                                                                                                                В EvoSwitch все ядро, которое обеспечивает маршрутизацию 3.5 Тбит трафика, занимает 2 шкафа по 42 юнита.

                                                                                                                                                                3тб/с трафика способно вытянуть одно шасси в несколько юнитов высотой, например.
                                                                                                                                                                Погружать ядра в масло — ну никакого смысла и даже дебильно, ибо должен быть оперативный доступ для коммутации.

                                                                                                                                                                Коммутацию обычно трогают на аксессе. Ядро стараются вообще не трогать, ибо святое.
                                                                                                                                                                  +1
                                                                                                                                                                  «И кстати, причем тут объем трафика, когда важно количество железа для оценки релевантности статистики?» — так это и есть показатель количества железа, для того, чтоб маршрутизировать 3,5Тбит / с нужна далеко не одна железка, там не менее это ничтожно малый процент, от всего железа.

                                                                                                                                                                  «Я — сетевик. Для меня есть «сетевое оборудование», и есть «прочее» :)» — тогда понятно, ну есть же что-то другое в ЦОДе, кроме сети :)

                                                                                                                                                                  «3тб/с трафика способно вытянуть одно шасси в несколько юнитов высотой, например. » — но у нас же задача не просто вытянуть, а построить нормальный meet-me-room для операторов, реально занимает 2 шкафа все железо, что там и как я не вникал. Само «ядро» ЦОДа на этой фотке:

                                                                                                                                                                  image

                                                                                                                                                                  Факт в том, что сеть — крайне малая составляющая ЦОДа и я не говорил никогда, что ее нужно охлаждать в минеральном масле.