Компонеты модуля — лезвия погружены в 3M Novec — это весьма дорогая жидкость и достаточно уникальная.
Блок питания — (не понял, AC или DC) тоже охлаждается водой (вода, в смысле смесь на основе воды).
Водяной охлаждающий контур (предполагаю) имеет давление ниже атмосферного, что позволяет не бояться вытекания воды из стойки. К тому же, при демонстрации видно, что клапаны остаются сухими. www.youtube.com/watch?v=lHHHYcdPFnQ (- видео Iceotope у меня не всегда запускается почему-то)
Тут есть о чём подумать инженерам — при прокачке воды в таких системах будут достаточно заметные потери. А для воды более экологичной/экономичной/безопасной альтернативы пока не изобрели. Добавки как правило увеличивают вязкость. То есть, потери энергии переместятся с вентиляторов на насосы.
Сложно сказать без расчётов, но вероятно, и насосы — самый мощный потребитель после процессоров — должны будут питаться от ИБП. А это серьёзные кап-затраты.
Кроме этого, срок эффективной жизни сервера составляет сейчас около 3х лет («стареет» и производит мало гигафлопс на ватт), и удорожание вычислителя и его утилизации может уничтожить все экономические преимущества.
Если шасси выберут «стандартом», начнут делать сменную начинку, или запустят процесс переработки — решение станет ещё эффективнее.
Сплиты друг над другом не надо ставить, потому что верхний сплит имеет право когда-то «протечь» и залить нижний. Вторая причина — если контроллер настроен правильно, то резерв включается до выключения активного блока. Так что, нижний может обмёрзнуть. Ну, и обслуживать неудобно, если один всегда должен работать.
Если выяснили, что рис 1 неверный, то его пора удалить.
>вытяжку стоит располагать вверху горячего коридора, но часто это делают в фальшполу
Под фальшполом не устраивают воздуховодов — там всё пространство является воздуховодом.
Вытяжек в серверных не организуют. Плитки «дуют вверх», воздухом (холодным) из-под пола.
Вот у Вас же правильно в другом месте написано — Воздуховодом такой системы чаще всего служит фальшпол. Почему-то получается, что только для «коридорной системы». Которая по-правде не является «явлением прецизионного кондиционирования». Прецизионное охлаждение пошло с появления машин, поддерживающих точную температуру ±1 градус на выходе — и было это изобретено для перфокарт, магнитных лент и т.п. Изоляция коридоров получила популярность после 2000х. Серверы стали продуваться горизонтально, и с тех пор пошла тенденция к увеличению температуры, её допустимого диапазона и появлению коридоров и заглушек, (т.к. возросли риски локальных перегревов из-за перетоков), и от более горячего воздуха легче отнять тепло используя «не очень холодный» теплоноситель. Т.е. нет осушения воздуха. Плюс, холодное пространство стало комфортнее для работы персонала…
Под потолком тоже обычно холодный воздух не ведут — там горячий собирают.
Чиллер для ЦОДа это с точностью наоборот, никакой это не «фреоновый холодильник внешнего контура». Это холодильная машина для охлаждения воды. Этиленгликоль это яд, он внутри не используется. Посмотрите сайт любого интегратора инженерных систем. Или вот Шишлова — www.youtube.com/watch?v=o1WjolexWhA
Схема N+1 это не обязательно два кондиционера одинаковой мощности, это могут быть 3 и т.д., что бы один можно было обслуживать, пока N держит 100% нагрузку.
> фреоновые кондиционеры имеют габариты двух-трех полноразмерных стоек
Вообще, они любые бывают — габариты половины стойки и даже меньше. Любые габариты.
Вместо «решетчатый» и «сетчатый» в данной науке используют слово перфорация.
С момента > Принципиальная разница жидкостного охлаждения и фреонового лишь в том…
и до > Согласитесь, не самая удачная схема.
вообще достаточно много недоразумений. Начиная с того, что принцип работы DХ и CW разный, что они могут комбинироватья… и жидкостное непосредственное охлаждение это вообще экзотика, а адиабатическое — вполне себе реальность.
> А Google в большинстве своих ЦОДов и вовсе используют систему собственной разработки, где используется система холодных и горячих коридоров.
— тут вообще на дисертацию может хватить, но коридоры не причем.
Поверьте, в данном виде материал только запутывает читателя. Стоило бы ограничить статью небольшими серверными комнатами, потому что в теме легко потонуть даже очень опытному инженеру.
Заранее приношу извинения за комментарий, но затронута такая деликатная тема, которую нельзя компилировать из популярных и немножко древних статей. Слишком дорого обходятся ошибки.
На рис 1, с бытовыми блоками, верхний дует на вход нижнего — это абсолютный пример, как НЕ надо устанавливать. (+ конденсат и т.п.) И там какой-то короб над стойками нарисован — он несёт какую-то функцию?
Самым распространенным вариантом с прецизионным кондиционированием является охлаждение через фальшпол. При этом, там не прокладываются воздуховоды. Через потолок отводится горячий воздух — физика процесса подразумевает движение нагретого воздуха вверх.
На рис 2 не очевидны потери воздуха — он же не улетает из помещения наружу, он смешивается и всё равно охлаждает.
Такого, как на рис 3, вообще не делают обычно — нет необходимости загонять горячий воздух с низкой плотностью в короба.
А под вытяжки — «каминные трубы» (по ссылке на рассказы Леонида Шишлова в период его работы в Intel) — используются исключительно специальные стойки значительно увеличенных размеров.
Коридорная система (с чередованием холодного и горячего коридоров) придумана для того, что бы серверы не выдували горячий воздух на вход следующего ряда. Типовая стойка давно производится с перфорироваными дверями, кроме кроссовых и тех, которые 15 лет назад продувались снизу вверх.
Прецизионное кондиционирование — ему всё равно, как устроены ряды. Изолированных коридров может не быть. Холодные и горячие изолированные коридоры нужны что бы повысить эффективность охлаждения, в т.ч. повысив температуру воздуха на входе в кондиционер — потому что так экономится электричество. На охлаждение уходит до 30% электрической мощности серверной комнаты или ЦОДа. Ну да, и серверы теперь терпят воздух погорячее — вот тут спасибо ASHRAE за исследования. Хотя, для СХД и ленточек есть поправки.
>вытяжку стоит располагать вверху горячего коридора, но часто это делают в фальшполу для экономии пространства над стойками
— для устранения ошибок дизайна или проблем фальшпола устанавливают активные плитки, но не вытяжки в полу!
Про охлаждение InRow забыли.
>Чиллер — это холодильник, он действует на фреоне, охлаждая проходящую через его охладитель жидкость до требуемой температуры.
— это холодильная машина, не «на фреоне», в данном применении на воде или смеси с этиленгликолем.
>С другой стороны, влажность воздуха на улице может категорически не соответствовать принятым стандартам влажности для серверных комнат, и тут на помощь приходит один из главных козырей систем фрикулинга — адиабатическое охлаждение.
— Eсли «снаружи» слишком влажно, то этот способ охлаждения вообще неэффективен.
>Наилучшим, хоть и более дорогим, является решение, которое подразумевает резервирование штатных систем охлаждения альтернативными.
— С электроэнергией понятно, зачем альтернатива. А зачем резервировать штатную систему охлаждения нештатной?
Профессиональные источники
— Из очень доступного и професионального — Книжка Михаила Балкарова — Охлаждение серверных и ЦОД. www.abc4dc.org/ru/book.
— Курсы у Дмитрия Мацкевича dcnt.ru/
— Курсы DCProfessional
Data Centre Design Awareness (DCDA) Концептуальные основы проектирования ЦОД
Data Center Cooling Professional (DCCP) Профессионально о системах охлаждения ЦОД
PS, Liebert уже 7 лет как Emerson Network Power. APC — Schneider Electric.
Я совсем не хейтер. Технически, изделие красивое.
Просто Вы не сможете отвечать за то, что его включат 1 раз в день, на 10 минут и не на 5-6й скорости. В обсуждении уже допускают, что таймер можно ставить на минут 60.
Я думаю, Вы бы не хотели что бы изделие могло нанести вред младенцу — а такая вероятность есть и она велика.
Сам факт наличия такого изделия (и многих других, для справедливости) провоцирует то, что мама и папа уложат младенца укачиваться в люльку вместо того, что бы немного покачать или просто подержать на руках.
PS И это офигенно важный момент для меня, что бы не пройти мимо и не комментировать так данную статью на сайте посвященном информационными технологиям, бизнесу и Интернету.
Это тема перинатальной психологии а не Хабра… Может требоваться укачивание МАТЕРЬЮ в первые 2-3 месяца после рождения а НЕ АППАРАТОМ. Для меня очевидна разница. Далее, можно читать про «Базовое доверие к миру».
> Кажется, вы не поняли главной сути укачивания… +500
Давайте не перевирать, я не давал рекомендаций, что делать а предложил подумать о результате тупой механизации. И ребёнок — объект этой механизации — САМЫЙ деликатный объект.
Вы серьёзно поняли, что я ссылаюсь на Малышеву?
Я лучше сошлюсь на
451 градус по Фаренгейту, Рэй Брэдбери (1953)
Babies (2010) «Bébé(s)» www.imdb.com/title/tt1020938/
Ну ясно, что уже невмоготоу, что спать хочется — но тут предлагается самый простой, технологичный, классный но… наихудший вариант, как решить задачу. Fahrenheit 451 by Ray Bradbury.
> Особенно когда среди ночи родитель хочет спать.
Или родитель захотел поработать/поиграть/выпить пива и это сильнее сна и «родительского инстинкта»
> Ну и какая в итоге разница?
Что такое хорошо и что такое плохо? Если нет знаний, но есть убеждения, то никакой.
>своих детей портят миллиардами, и от их заботы этот факт мало зависит.
Те, кто согласен видеть детей в таком вот миллиарде, может просто продолжать наблюдение j
Не очень понял суть коммента, но что касается конкретного сабжа — любой перинатальный или нейропсихолог ужаснётся от этого устройства.
0% личного, но опыт автора изобретения — 1 год с укачиванием — это не норма.
Я досмотрел видео автора до 6й скорости и не смог остаться в стороне.
Для меня такое воздействие на ребёнка выглядит как насилие. Много насилия было раньше в норме, кто-то с ним боролся, а кто-то поддерживал.
Забавно: YouTube выдаёт похожее видео с Малышевой — пример немого «левый», но на 4:35 она говорит о вреде укачивания.
Мне бы хотелось знать, что будет с вестибулярным аппаратом младенцев, но автор не сможет рассказать о воздействии ритмичного механического укачивания. Опыт со своим ребёнком ни в счёт, когда речь о массовом производстве.
Дело в том, что родители не всегда могут понять обратную связь от ребёнка: некоторые младенцы будут надрываться и требовать устранить дискомфорт, а некоторые будут молча терпеть, экономя силы.
Вы видели, как по-разному взрослые переносят «укачивание» в транспорте и на море? Знаете, что тошнить может часами и сутками?
Пока ребёнок адаптируется к окружающей среде он переносит похожие ощущения — а родитель не рядом — он вдалеке с пультом сидит у компа или готовит обед и т.п.
Теперь подумайте, стоит ли класть младенца в электрическую качалку, потом сажать на iPotty или давать в руки планшет. Дети, всё-таки, это очень деликатный объект — лучше качать и кормить вручную ИМХО — и для Вас лучше.
+100 к комментарию klikalka выше.
и +200 к комменту Kpblc (нету у мня очков чтоб голосовать)
Это не относится к данному расчету, но самое важное, почему такие формулы не работает в реальности, это стоимость инфраструктуры T2 и колоссальные эксплуатациионные расходы. Для того что бы формула работала нужно что бы все 5 ЦОДов имели мощность для охлаждения 100% IT нагрузки и UPS и т.п. (грубо), так же, систему электроснабжения (более 130% мощности IT нагрузки), серверы/СХД и вспомогательные системы. И их не получится ничем как бы занять на время простоя. С точки зрения бизнеса это будут деньги, закопанные с вероятностью более 99,7% бесполезно :)
Я просто не знаю, как рассчитать стоимость эксплуатации DNS и текущую надежность (конечно, всего сервиса DNS в совокупности). И какова реальная стоимость «хлама», включая расходы на электрич-во, охлаждения, место в стойке/на полу/под столом. Я не представляю, как сделать этот расчет. Предполагаю, что если даже часть этих расходов мала, в совокупности получится что-то очень дорогое.
availability, я надеюсь, постепенно выползет в район чистого ПО
Поясните пожалуйста смысл сказанного.
Если имеется в виду, что часть приложений сможет использовать распределенные вычисления, то это далеко не все приложения. Есть Business-Critical приложения больших компаний. Разместив их, скажем, на 5-ти сайтах с доступностью T2 мы не получим даже доступность T3 (99,982%).
Блок питания — (не понял, AC или DC) тоже охлаждается водой (вода, в смысле смесь на основе воды).
Водяной охлаждающий контур (предполагаю) имеет давление ниже атмосферного, что позволяет не бояться вытекания воды из стойки. К тому же, при демонстрации видно, что клапаны остаются сухими.
www.youtube.com/watch?v=lHHHYcdPFnQ (- видео Iceotope у меня не всегда запускается почему-то)
Тут есть о чём подумать инженерам — при прокачке воды в таких системах будут достаточно заметные потери. А для воды более экологичной/экономичной/безопасной альтернативы пока не изобрели. Добавки как правило увеличивают вязкость. То есть, потери энергии переместятся с вентиляторов на насосы.
Сложно сказать без расчётов, но вероятно, и насосы — самый мощный потребитель после процессоров — должны будут питаться от ИБП. А это серьёзные кап-затраты.
Кроме этого, срок эффективной жизни сервера составляет сейчас около 3х лет («стареет» и производит мало гигафлопс на ватт), и удорожание вычислителя и его утилизации может уничтожить все экономические преимущества.
Если шасси выберут «стандартом», начнут делать сменную начинку, или запустят процесс переработки — решение станет ещё эффективнее.
Если выяснили, что рис 1 неверный, то его пора удалить.
>вытяжку стоит располагать вверху горячего коридора, но часто это делают в фальшполу
Под фальшполом не устраивают воздуховодов — там всё пространство является воздуховодом.
Вытяжек в серверных не организуют. Плитки «дуют вверх», воздухом (холодным) из-под пола.
Вот у Вас же правильно в другом месте написано — Воздуховодом такой системы чаще всего служит фальшпол. Почему-то получается, что только для «коридорной системы». Которая по-правде не является «явлением прецизионного кондиционирования». Прецизионное охлаждение пошло с появления машин, поддерживающих точную температуру ±1 градус на выходе — и было это изобретено для перфокарт, магнитных лент и т.п. Изоляция коридоров получила популярность после 2000х. Серверы стали продуваться горизонтально, и с тех пор пошла тенденция к увеличению температуры, её допустимого диапазона и появлению коридоров и заглушек, (т.к. возросли риски локальных перегревов из-за перетоков), и от более горячего воздуха легче отнять тепло используя «не очень холодный» теплоноситель. Т.е. нет осушения воздуха. Плюс, холодное пространство стало комфортнее для работы персонала…
Под потолком тоже обычно холодный воздух не ведут — там горячий собирают.
Тут вариант типичного ЦОДа — www.youtube.com/watch?v=gXuOzTHIDWw
Чиллер для ЦОДа это с точностью наоборот, никакой это не «фреоновый холодильник внешнего контура». Это холодильная машина для охлаждения воды. Этиленгликоль это яд, он внутри не используется. Посмотрите сайт любого интегратора инженерных систем. Или вот Шишлова — www.youtube.com/watch?v=o1WjolexWhA
Схема N+1 это не обязательно два кондиционера одинаковой мощности, это могут быть 3 и т.д., что бы один можно было обслуживать, пока N держит 100% нагрузку.
> фреоновые кондиционеры имеют габариты двух-трех полноразмерных стоек
Вообще, они любые бывают — габариты половины стойки и даже меньше. Любые габариты.
Вместо «решетчатый» и «сетчатый» в данной науке используют слово перфорация.
С момента > Принципиальная разница жидкостного охлаждения и фреонового лишь в том…
и до > Согласитесь, не самая удачная схема.
вообще достаточно много недоразумений. Начиная с того, что принцип работы DХ и CW разный, что они могут комбинироватья… и жидкостное непосредственное охлаждение это вообще экзотика, а адиабатическое — вполне себе реальность.
> А Google в большинстве своих ЦОДов и вовсе используют систему собственной разработки, где используется система холодных и горячих коридоров.
— тут вообще на дисертацию может хватить, но коридоры не причем.
Поверьте, в данном виде материал только запутывает читателя. Стоило бы ограничить статью небольшими серверными комнатами, потому что в теме легко потонуть даже очень опытному инженеру.
На рис 1, с бытовыми блоками, верхний дует на вход нижнего — это абсолютный пример, как НЕ надо устанавливать. (+ конденсат и т.п.) И там какой-то короб над стойками нарисован — он несёт какую-то функцию?
Самым распространенным вариантом с прецизионным кондиционированием является охлаждение через фальшпол. При этом, там не прокладываются воздуховоды. Через потолок отводится горячий воздух — физика процесса подразумевает движение нагретого воздуха вверх.
На рис 2 не очевидны потери воздуха — он же не улетает из помещения наружу, он смешивается и всё равно охлаждает.
Такого, как на рис 3, вообще не делают обычно — нет необходимости загонять горячий воздух с низкой плотностью в короба.
А под вытяжки — «каминные трубы» (по ссылке на рассказы Леонида Шишлова в период его работы в Intel) — используются исключительно специальные стойки значительно увеличенных размеров.
Коридорная система (с чередованием холодного и горячего коридоров) придумана для того, что бы серверы не выдували горячий воздух на вход следующего ряда. Типовая стойка давно производится с перфорироваными дверями, кроме кроссовых и тех, которые 15 лет назад продувались снизу вверх.
Прецизионное кондиционирование — ему всё равно, как устроены ряды. Изолированных коридров может не быть. Холодные и горячие изолированные коридоры нужны что бы повысить эффективность охлаждения, в т.ч. повысив температуру воздуха на входе в кондиционер — потому что так экономится электричество. На охлаждение уходит до 30% электрической мощности серверной комнаты или ЦОДа. Ну да, и серверы теперь терпят воздух погорячее — вот тут спасибо ASHRAE за исследования. Хотя, для СХД и ленточек есть поправки.
>вытяжку стоит располагать вверху горячего коридора, но часто это делают в фальшполу для экономии пространства над стойками
— для устранения ошибок дизайна или проблем фальшпола устанавливают активные плитки, но не вытяжки в полу!
Про охлаждение InRow забыли.
>Чиллер — это холодильник, он действует на фреоне, охлаждая проходящую через его охладитель жидкость до требуемой температуры.
— это холодильная машина, не «на фреоне», в данном применении на воде или смеси с этиленгликолем.
>С другой стороны, влажность воздуха на улице может категорически не соответствовать принятым стандартам влажности для серверных комнат, и тут на помощь приходит один из главных козырей систем фрикулинга — адиабатическое охлаждение.
— Eсли «снаружи» слишком влажно, то этот способ охлаждения вообще неэффективен.
>Наилучшим, хоть и более дорогим, является решение, которое подразумевает резервирование штатных систем охлаждения альтернативными.
— С электроэнергией понятно, зачем альтернатива. А зачем резервировать штатную систему охлаждения нештатной?
Профессиональные источники
— Из очень доступного и професионального — Книжка Михаила Балкарова — Охлаждение серверных и ЦОД. www.abc4dc.org/ru/book.
— Курсы у Дмитрия Мацкевича dcnt.ru/
— Курсы DCProfessional
Data Centre Design Awareness (DCDA) Концептуальные основы проектирования ЦОД
Data Center Cooling Professional (DCCP) Профессионально о системах охлаждения ЦОД
PS, Liebert уже 7 лет как Emerson Network Power. APC — Schneider Electric.
Просто Вы не сможете отвечать за то, что его включат 1 раз в день, на 10 минут и не на 5-6й скорости. В обсуждении уже допускают, что таймер можно ставить на минут 60.
Я думаю, Вы бы не хотели что бы изделие могло нанести вред младенцу — а такая вероятность есть и она велика.
Сам факт наличия такого изделия (и многих других, для справедливости) провоцирует то, что мама и папа уложат младенца укачиваться в люльку вместо того, что бы немного покачать или просто подержать на руках.
PS И это офигенно важный момент для меня, что бы не пройти мимо и не комментировать так данную статью на сайте посвященном информационными технологиям, бизнесу и Интернету.
> Кажется, вы не поняли главной сути укачивания… +500
Вы серьёзно поняли, что я ссылаюсь на Малышеву?
Я лучше сошлюсь на
451 градус по Фаренгейту, Рэй Брэдбери (1953)
Babies (2010) «Bébé(s)» www.imdb.com/title/tt1020938/
А Вы поймёте?
Там г-жа М. упомянула вред от укачивания — один из научных фактов, которые она упоминает помимо глупостей.
Про обрезание прикольно же снято? Я ржал! Но слегка не по теме )
Про кишечник не видел, не смотрю её канал.
Или родитель захотел поработать/поиграть/выпить пива и это сильнее сна и «родительского инстинкта»
> Ну и какая в итоге разница?
Что такое хорошо и что такое плохо? Если нет знаний, но есть убеждения, то никакой.
>своих детей портят миллиардами, и от их заботы этот факт мало зависит.
Те, кто согласен видеть детей в таком вот миллиарде, может просто продолжать наблюдение j
Не очень понял суть коммента, но что касается конкретного сабжа — любой перинатальный или нейропсихолог ужаснётся от этого устройства.
0% личного, но опыт автора изобретения — 1 год с укачиванием — это не норма.
Я досмотрел видео автора до 6й скорости и не смог остаться в стороне.
Для меня такое воздействие на ребёнка выглядит как насилие. Много насилия было раньше в норме, кто-то с ним боролся, а кто-то поддерживал.
Забавно: YouTube выдаёт похожее видео с Малышевой — пример немого «левый», но на 4:35 она говорит о вреде укачивания.
Дело в том, что родители не всегда могут понять обратную связь от ребёнка: некоторые младенцы будут надрываться и требовать устранить дискомфорт, а некоторые будут молча терпеть, экономя силы.
Вы видели, как по-разному взрослые переносят «укачивание» в транспорте и на море? Знаете, что тошнить может часами и сутками?
Пока ребёнок адаптируется к окружающей среде он переносит похожие ощущения — а родитель не рядом — он вдалеке с пультом сидит у компа или готовит обед и т.п.
Теперь подумайте, стоит ли класть младенца в электрическую качалку, потом сажать на iPotty или давать в руки планшет. Дети, всё-таки, это очень деликатный объект — лучше качать и кормить вручную ИМХО — и для Вас лучше.
+100 к комментарию klikalka выше.
и +200 к комменту Kpblc (нету у мня очков чтоб голосовать)
Поясните пожалуйста смысл сказанного.
Если имеется в виду, что часть приложений сможет использовать распределенные вычисления, то это далеко не все приложения. Есть Business-Critical приложения больших компаний. Разместив их, скажем, на 5-ти сайтах с доступностью T2 мы не получим даже доступность T3 (99,982%).