Комментарии 11
Отличная статья, спасибо.
Заранее приношу извинения за комментарий, но затронута такая деликатная тема, которую нельзя компилировать из популярных и немножко древних статей. Слишком дорого обходятся ошибки.
На рис 1, с бытовыми блоками, верхний дует на вход нижнего — это абсолютный пример, как НЕ надо устанавливать. (+ конденсат и т.п.) И там какой-то короб над стойками нарисован — он несёт какую-то функцию?
Самым распространенным вариантом с прецизионным кондиционированием является охлаждение через фальшпол. При этом, там не прокладываются воздуховоды. Через потолок отводится горячий воздух — физика процесса подразумевает движение нагретого воздуха вверх.
На рис 2 не очевидны потери воздуха — он же не улетает из помещения наружу, он смешивается и всё равно охлаждает.
Такого, как на рис 3, вообще не делают обычно — нет необходимости загонять горячий воздух с низкой плотностью в короба.
А под вытяжки — «каминные трубы» (по ссылке на рассказы Леонида Шишлова в период его работы в Intel) — используются исключительно специальные стойки значительно увеличенных размеров.
Коридорная система (с чередованием холодного и горячего коридоров) придумана для того, что бы серверы не выдували горячий воздух на вход следующего ряда. Типовая стойка давно производится с перфорироваными дверями, кроме кроссовых и тех, которые 15 лет назад продувались снизу вверх.
Прецизионное кондиционирование — ему всё равно, как устроены ряды. Изолированных коридров может не быть. Холодные и горячие изолированные коридоры нужны что бы повысить эффективность охлаждения, в т.ч. повысив температуру воздуха на входе в кондиционер — потому что так экономится электричество. На охлаждение уходит до 30% электрической мощности серверной комнаты или ЦОДа. Ну да, и серверы теперь терпят воздух погорячее — вот тут спасибо ASHRAE за исследования. Хотя, для СХД и ленточек есть поправки.
>вытяжку стоит располагать вверху горячего коридора, но часто это делают в фальшполу для экономии пространства над стойками
— для устранения ошибок дизайна или проблем фальшпола устанавливают активные плитки, но не вытяжки в полу!
Про охлаждение InRow забыли.
>Чиллер — это холодильник, он действует на фреоне, охлаждая проходящую через его охладитель жидкость до требуемой температуры.
— это холодильная машина, не «на фреоне», в данном применении на воде или смеси с этиленгликолем.
>С другой стороны, влажность воздуха на улице может категорически не соответствовать принятым стандартам влажности для серверных комнат, и тут на помощь приходит один из главных козырей систем фрикулинга — адиабатическое охлаждение.
— Eсли «снаружи» слишком влажно, то этот способ охлаждения вообще неэффективен.
>Наилучшим, хоть и более дорогим, является решение, которое подразумевает резервирование штатных систем охлаждения альтернативными.
— С электроэнергией понятно, зачем альтернатива. А зачем резервировать штатную систему охлаждения нештатной?
Профессиональные источники
— Из очень доступного и професионального — Книжка Михаила Балкарова — Охлаждение серверных и ЦОД. www.abc4dc.org/ru/book.
— Курсы у Дмитрия Мацкевича dcnt.ru/
— Курсы DCProfessional
Data Centre Design Awareness (DCDA) Концептуальные основы проектирования ЦОД
Data Center Cooling Professional (DCCP) Профессионально о системах охлаждения ЦОД
PS, Liebert уже 7 лет как Emerson Network Power. APC — Schneider Electric.
На рис 1, с бытовыми блоками, верхний дует на вход нижнего — это абсолютный пример, как НЕ надо устанавливать. (+ конденсат и т.п.) И там какой-то короб над стойками нарисован — он несёт какую-то функцию?
Самым распространенным вариантом с прецизионным кондиционированием является охлаждение через фальшпол. При этом, там не прокладываются воздуховоды. Через потолок отводится горячий воздух — физика процесса подразумевает движение нагретого воздуха вверх.
На рис 2 не очевидны потери воздуха — он же не улетает из помещения наружу, он смешивается и всё равно охлаждает.
Такого, как на рис 3, вообще не делают обычно — нет необходимости загонять горячий воздух с низкой плотностью в короба.
А под вытяжки — «каминные трубы» (по ссылке на рассказы Леонида Шишлова в период его работы в Intel) — используются исключительно специальные стойки значительно увеличенных размеров.
Коридорная система (с чередованием холодного и горячего коридоров) придумана для того, что бы серверы не выдували горячий воздух на вход следующего ряда. Типовая стойка давно производится с перфорироваными дверями, кроме кроссовых и тех, которые 15 лет назад продувались снизу вверх.
Прецизионное кондиционирование — ему всё равно, как устроены ряды. Изолированных коридров может не быть. Холодные и горячие изолированные коридоры нужны что бы повысить эффективность охлаждения, в т.ч. повысив температуру воздуха на входе в кондиционер — потому что так экономится электричество. На охлаждение уходит до 30% электрической мощности серверной комнаты или ЦОДа. Ну да, и серверы теперь терпят воздух погорячее — вот тут спасибо ASHRAE за исследования. Хотя, для СХД и ленточек есть поправки.
>вытяжку стоит располагать вверху горячего коридора, но часто это делают в фальшполу для экономии пространства над стойками
— для устранения ошибок дизайна или проблем фальшпола устанавливают активные плитки, но не вытяжки в полу!
Про охлаждение InRow забыли.
>Чиллер — это холодильник, он действует на фреоне, охлаждая проходящую через его охладитель жидкость до требуемой температуры.
— это холодильная машина, не «на фреоне», в данном применении на воде или смеси с этиленгликолем.
>С другой стороны, влажность воздуха на улице может категорически не соответствовать принятым стандартам влажности для серверных комнат, и тут на помощь приходит один из главных козырей систем фрикулинга — адиабатическое охлаждение.
— Eсли «снаружи» слишком влажно, то этот способ охлаждения вообще неэффективен.
>Наилучшим, хоть и более дорогим, является решение, которое подразумевает резервирование штатных систем охлаждения альтернативными.
— С электроэнергией понятно, зачем альтернатива. А зачем резервировать штатную систему охлаждения нештатной?
Профессиональные источники
— Из очень доступного и професионального — Книжка Михаила Балкарова — Охлаждение серверных и ЦОД. www.abc4dc.org/ru/book.
— Курсы у Дмитрия Мацкевича dcnt.ru/
— Курсы DCProfessional
Data Centre Design Awareness (DCDA) Концептуальные основы проектирования ЦОД
Data Center Cooling Professional (DCCP) Профессионально о системах охлаждения ЦОД
PS, Liebert уже 7 лет как Emerson Network Power. APC — Schneider Electric.
По затронутым пунктам:
1) Не соглашусь с вами в том что так нельзя устанавливать кондиционеры. Для небольших серверных это возможно единственный правильный способ, ведь кондиционеры не работают одновременно. А конденсат он вроде как специально от кондиционера отводится, поправьте если я не прав. Короб на картинке лишний, спорить не буду.
2)
Спасибо что просвятили.
Когда холодный воздух смешивается с горячим и падает эффективность охлаждения разве нет?
Возможно он и не отводится через короба над горячими коридорами но отводить то его надо.
3)
Не понял что вы имели в виду, если плитки просто отбирают воздух из горячих корридоров в холодное «подфальшполье» то это по меньшей мере странно, если там устроены воздуховоды, то чем они не вытяжки?
4) InRow — имхо, частность коридорных систем, но я с вами соглсаен, можно было указать.
5) Чиллер — холодильная машина для внутреннего контура охлаждения, т.е. фреоновый холодильник внешнего контура, охлаждает воду/этиленгликоль внутреннего. Я имел в виду это. А выдранное из контекста оно правда очень неправильно звучит.
6)
В таких условиях адиабатику и не строят обычно.
7) Про резервирование согласен неточно выразился, дублирование — да, не резервирование.
Благодарю за наводки по литературе и курсам.
Названия компаний поправлю, тоже спасибо.
1) Не соглашусь с вами в том что так нельзя устанавливать кондиционеры. Для небольших серверных это возможно единственный правильный способ, ведь кондиционеры не работают одновременно. А конденсат он вроде как специально от кондиционера отводится, поправьте если я не прав. Короб на картинке лишний, спорить не буду.
2)
Через потолок отводится горячий воздух — физика процесса подразумевает движение нагретого воздуха вверх.
Спасибо что просвятили.
он же не улетает из помещения наружу, он смешивается и всё равно охлаждает
Когда холодный воздух смешивается с горячим и падает эффективность охлаждения разве нет?
Такого, как на рис 3, вообще не делают обычно — нет необходимости загонять горячий воздух с низкой плотностью в короба.
Возможно он и не отводится через короба над горячими коридорами но отводить то его надо.
3)
для устранения ошибок дизайна или проблем фальшпола устанавливают активные плитки, но не вытяжки в полу!
Не понял что вы имели в виду, если плитки просто отбирают воздух из горячих корридоров в холодное «подфальшполье» то это по меньшей мере странно, если там устроены воздуховоды, то чем они не вытяжки?
4) InRow — имхо, частность коридорных систем, но я с вами соглсаен, можно было указать.
5) Чиллер — холодильная машина для внутреннего контура охлаждения, т.е. фреоновый холодильник внешнего контура, охлаждает воду/этиленгликоль внутреннего. Я имел в виду это. А выдранное из контекста оно правда очень неправильно звучит.
6)
Eсли «снаружи» слишком влажно, то этот способ охлаждения вообще неэффективен.
В таких условиях адиабатику и не строят обычно.
7) Про резервирование согласен неточно выразился, дублирование — да, не резервирование.
Благодарю за наводки по литературе и курсам.
Названия компаний поправлю, тоже спасибо.
Сплиты друг над другом не надо ставить, потому что верхний сплит имеет право когда-то «протечь» и залить нижний. Вторая причина — если контроллер настроен правильно, то резерв включается до выключения активного блока. Так что, нижний может обмёрзнуть. Ну, и обслуживать неудобно, если один всегда должен работать.
Если выяснили, что рис 1 неверный, то его пора удалить.
>вытяжку стоит располагать вверху горячего коридора, но часто это делают в фальшполу
Под фальшполом не устраивают воздуховодов — там всё пространство является воздуховодом.
Вытяжек в серверных не организуют. Плитки «дуют вверх», воздухом (холодным) из-под пола.
Вот у Вас же правильно в другом месте написано — Воздуховодом такой системы чаще всего служит фальшпол. Почему-то получается, что только для «коридорной системы». Которая по-правде не является «явлением прецизионного кондиционирования». Прецизионное охлаждение пошло с появления машин, поддерживающих точную температуру ±1 градус на выходе — и было это изобретено для перфокарт, магнитных лент и т.п. Изоляция коридоров получила популярность после 2000х. Серверы стали продуваться горизонтально, и с тех пор пошла тенденция к увеличению температуры, её допустимого диапазона и появлению коридоров и заглушек, (т.к. возросли риски локальных перегревов из-за перетоков), и от более горячего воздуха легче отнять тепло используя «не очень холодный» теплоноситель. Т.е. нет осушения воздуха. Плюс, холодное пространство стало комфортнее для работы персонала…
Под потолком тоже обычно холодный воздух не ведут — там горячий собирают.
Тут вариант типичного ЦОДа — www.youtube.com/watch?v=gXuOzTHIDWw
Чиллер для ЦОДа это с точностью наоборот, никакой это не «фреоновый холодильник внешнего контура». Это холодильная машина для охлаждения воды. Этиленгликоль это яд, он внутри не используется. Посмотрите сайт любого интегратора инженерных систем. Или вот Шишлова — www.youtube.com/watch?v=o1WjolexWhA
Схема N+1 это не обязательно два кондиционера одинаковой мощности, это могут быть 3 и т.д., что бы один можно было обслуживать, пока N держит 100% нагрузку.
> фреоновые кондиционеры имеют габариты двух-трех полноразмерных стоек
Вообще, они любые бывают — габариты половины стойки и даже меньше. Любые габариты.
Вместо «решетчатый» и «сетчатый» в данной науке используют слово перфорация.
С момента > Принципиальная разница жидкостного охлаждения и фреонового лишь в том…
и до > Согласитесь, не самая удачная схема.
вообще достаточно много недоразумений. Начиная с того, что принцип работы DХ и CW разный, что они могут комбинироватья… и жидкостное непосредственное охлаждение это вообще экзотика, а адиабатическое — вполне себе реальность.
> А Google в большинстве своих ЦОДов и вовсе используют систему собственной разработки, где используется система холодных и горячих коридоров.
— тут вообще на дисертацию может хватить, но коридоры не причем.
Поверьте, в данном виде материал только запутывает читателя. Стоило бы ограничить статью небольшими серверными комнатами, потому что в теме легко потонуть даже очень опытному инженеру.
Если выяснили, что рис 1 неверный, то его пора удалить.
>вытяжку стоит располагать вверху горячего коридора, но часто это делают в фальшполу
Под фальшполом не устраивают воздуховодов — там всё пространство является воздуховодом.
Вытяжек в серверных не организуют. Плитки «дуют вверх», воздухом (холодным) из-под пола.
Вот у Вас же правильно в другом месте написано — Воздуховодом такой системы чаще всего служит фальшпол. Почему-то получается, что только для «коридорной системы». Которая по-правде не является «явлением прецизионного кондиционирования». Прецизионное охлаждение пошло с появления машин, поддерживающих точную температуру ±1 градус на выходе — и было это изобретено для перфокарт, магнитных лент и т.п. Изоляция коридоров получила популярность после 2000х. Серверы стали продуваться горизонтально, и с тех пор пошла тенденция к увеличению температуры, её допустимого диапазона и появлению коридоров и заглушек, (т.к. возросли риски локальных перегревов из-за перетоков), и от более горячего воздуха легче отнять тепло используя «не очень холодный» теплоноситель. Т.е. нет осушения воздуха. Плюс, холодное пространство стало комфортнее для работы персонала…
Под потолком тоже обычно холодный воздух не ведут — там горячий собирают.
Тут вариант типичного ЦОДа — www.youtube.com/watch?v=gXuOzTHIDWw
Чиллер для ЦОДа это с точностью наоборот, никакой это не «фреоновый холодильник внешнего контура». Это холодильная машина для охлаждения воды. Этиленгликоль это яд, он внутри не используется. Посмотрите сайт любого интегратора инженерных систем. Или вот Шишлова — www.youtube.com/watch?v=o1WjolexWhA
Схема N+1 это не обязательно два кондиционера одинаковой мощности, это могут быть 3 и т.д., что бы один можно было обслуживать, пока N держит 100% нагрузку.
> фреоновые кондиционеры имеют габариты двух-трех полноразмерных стоек
Вообще, они любые бывают — габариты половины стойки и даже меньше. Любые габариты.
Вместо «решетчатый» и «сетчатый» в данной науке используют слово перфорация.
С момента > Принципиальная разница жидкостного охлаждения и фреонового лишь в том…
и до > Согласитесь, не самая удачная схема.
вообще достаточно много недоразумений. Начиная с того, что принцип работы DХ и CW разный, что они могут комбинироватья… и жидкостное непосредственное охлаждение это вообще экзотика, а адиабатическое — вполне себе реальность.
> А Google в большинстве своих ЦОДов и вовсе используют систему собственной разработки, где используется система холодных и горячих коридоров.
— тут вообще на дисертацию может хватить, но коридоры не причем.
Поверьте, в данном виде материал только запутывает читателя. Стоило бы ограничить статью небольшими серверными комнатами, потому что в теме легко потонуть даже очень опытному инженеру.
Вы серьезно думаете что в комнате с положительной температурой и обдуваемый воздухом с положительной температурой в течении 5-10 минут (а то и меньше, не думаю что современному кондиционеру нужно много времени что бы выйти на расчетную мощность), внутренний блок может обмерзнуть на столько что не будет способен выполнять свою работу? Кстати какой смыл Вы вкладываетет в слово «обмерзнуть»?
Допустим, что указаное мной расположение неверно, но предложите тогда правильный вариант. Не каждая комната способна вместить два блока расположеных вдоль на стене, и на противоположных стенах распологать их то же неправильно, а так же на смежных. И потом, при расположении вдоль стены, при малом количестве стоек, один из агрегатов будет дуть в «молоко», тем более это будет малоэффективно если между агрегатами устроена ротация.
Не смотря на то что я выяснил что Рис. 1. неправильный, заменить, его я планирую не раньше чем добуду подходящий для замены. Но Вы можете мне сильно помочь участием в этом поиске, если пришлете годную картинку, но чур без чужих копирайтов.
Кажется я указывал в тексте ссылку на статью с тем видео которое вы указали, да типичный ЦОД, для Intel.
Про схему N+1 полностью согласен, поправил.
Собственно статья и граничивается небольшими серверными, но так как это экскурс в их охлаждение, то и рамки пришлось раздвинуть.
P.S. Перфорация, решетка и сетка все таки разные вещи, согласитесь. Не смотря на то что в сфере охлаждения, как Вы выразились, отверстия в объектах получены чаще с помощью перфорации, Вы же не будете спорить с тем что сетка, будь она даже «посеченкой» все же остается сеткой, а решетка остается решеткой, даже не смотря на то что её могли нафрезеровать из из цельного объекта.
Допустим, что указаное мной расположение неверно, но предложите тогда правильный вариант. Не каждая комната способна вместить два блока расположеных вдоль на стене, и на противоположных стенах распологать их то же неправильно, а так же на смежных. И потом, при расположении вдоль стены, при малом количестве стоек, один из агрегатов будет дуть в «молоко», тем более это будет малоэффективно если между агрегатами устроена ротация.
Не смотря на то что я выяснил что Рис. 1. неправильный, заменить, его я планирую не раньше чем добуду подходящий для замены. Но Вы можете мне сильно помочь участием в этом поиске, если пришлете годную картинку, но чур без чужих копирайтов.
Кажется я указывал в тексте ссылку на статью с тем видео которое вы указали, да типичный ЦОД, для Intel.
Про схему N+1 полностью согласен, поправил.
Собственно статья и граничивается небольшими серверными, но так как это экскурс в их охлаждение, то и рамки пришлось раздвинуть.
P.S. Перфорация, решетка и сетка все таки разные вещи, согласитесь. Не смотря на то что в сфере охлаждения, как Вы выразились, отверстия в объектах получены чаще с помощью перфорации, Вы же не будете спорить с тем что сетка, будь она даже «посеченкой» все же остается сеткой, а решетка остается решеткой, даже не смотря на то что её могли нафрезеровать из из цельного объекта.
Хотелось бы добавить, что не стоит забывать про организацию (разделение) воздушных потоков внутри серверных шкафов. В противном случае имеем забавную ситуацию — в помещении 16—19 °C, а на вход сервера получают воздух с температурой 35—40 °C. Правильно организованные потоки позволяют существенно повысить эффективность охлаждения. Таким образом, мы получаем возможность либо существенно снизить температуру внутри серверов, либо, подняв температуру в помещении до тех же 35—40 °C, без ухудшения теплового режима серверов значительно сократить расход энергии на охлаждение (термодинамика как бы намекает, что перекачивать тепловой поток в X кВт из среды с температурой 35—40 °C в среду с температурой 25 °C несколько проще, чем тот же поток из среды с температурой 16—19 °C в среду с температурой 25 °C).
Честно говоря, ничего не понял: если в помещении серверной 16-19 °C, то почему на входе в сервер мы вдруг получаем 35-40?
Направление потока в серверной стойке я вижу только одно, от передней стенки к задней через собственно сервер(ы).
Направление потока в серверной стойке я вижу только одно, от передней стенки к задней через собственно сервер(ы).
Бюджетные шкафы обычно не комплектуют даже 19" заглушками, хорошо, если их удается найти в продаже за разумные деньги у убедить начальство потратить на них деньги. Про боковые — вообще молчу. Как результат, при не полностью заполненном серверном шкафе имеем значительную рециркуляцию воздуха внутри шкафа.
как то слегка нерационально использовать кондиционеры в серверных. если сервер например выделяет 5 киловатт, что чтобы их нейтрализовать, нужно еще 5 киловатт + кпд устройства. т.е. суммарное энергопотребление вырастает в 2 раза точно. совсем не понятно для чего это в северных странах где можно просто этой энергией обогревать офис
Суммарное энергопотребление вырастает не в 2 раза. Такие штуки как EER и COP вам в помощь. Статью прошу в серьез не воспринимать, это была проба пера, она наивна, а я был молод, глуп и горяч, как эти ваши серверы.
Что касается вашего замечания по поводу перенаправления выделяемого тепла в мирное русло, имею вам сказать что так давно делают. Взять хотя бы ЦОД Яндекса в финляндии, где то тут на хабре есть большая статья тех же лет.
Самая большая сложность в этой истории, это нагреть жидкий теплоноситель от тепла выделяемого оборудованием. Следом идёт интеграция в существующую систему отопления.
Эти задачи настолько проблематичные, что гиганты серверостроения разрабатывают оборудование способное работать при t окружающего сервер воздуха до +50, а специалисты по охлаждению придумывают как охладить атмосферу ЦОДа при помощи распыления воды, или утопить всё оборудование в жиже 3M.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Краткий экскурс в охлаждение серверных