Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 22
Здравствуйте,
Сегодня, прочитав Вашу статью — перечитал и предыдущие.
Послевкусие такое: да, тут не тянет на ТИЕРы и т.д., правильное построение ЦОДов, нормы и прочие вещи. Но от Ваших статей тянет ламповостью, теплой ламповостью. Видно, что Вы переживаете за свое детище, и не стыдитесь (а это главное) описывать то, что Вы сделали, на что натыкались, Ваши фотографии «так, как оно есть». Стоит бытовой вентилятор? — и отлично, потому что выявлен вектор проблемы.
С удовольствием прочту Ваши будущие статьи и хочу видеть рост вашей фирмы.
Спасибо за Ваш труд.
Успехов
Сегодня, прочитав Вашу статью — перечитал и предыдущие.
Послевкусие такое: да, тут не тянет на ТИЕРы и т.д., правильное построение ЦОДов, нормы и прочие вещи. Но от Ваших статей тянет ламповостью, теплой ламповостью. Видно, что Вы переживаете за свое детище, и не стыдитесь (а это главное) описывать то, что Вы сделали, на что натыкались, Ваши фотографии «так, как оно есть». Стоит бытовой вентилятор? — и отлично, потому что выявлен вектор проблемы.
С удовольствием прочту Ваши будущие статьи и хочу видеть рост вашей фирмы.
Спасибо за Ваш труд.
Успехов
Спасибо большое за объективный комментарий. Мы и правда не сравниваем себя с кем-либо из «высшей лиги» и классификацией TIER, это было бы не разумно, мы строим удобную площадку в первую очередь для себя, где нас не будут стеснять временем присутствия, где мы можем подключить и протестировать любое оборудование, где мы можем не дожидаясь пропуска от охраны исправить аппаратный дефект и т.п.
И главное, если наши статьи помогут кому-либо избежать ошибок, которые мы допустили — тогда наша миссия будет выполнена :)
И главное, если наши статьи помогут кому-либо избежать ошибок, которые мы допустили — тогда наша миссия будет выполнена :)
помог нам понять суть проблемы, которую не поняли с десяток фирм-подрядчиков.
Потому-что ниодин из подрядчиков не пришел к вам с тепловизором. Редиски одним словом :)
Привет из Славянска.
В итоге случалось всё, что вам сулили в комментариях, читая про ваши воздушные линии и единственный кондиционер на вашу не простую геометрию помещения с рядами стоек.
Спасибо что делитесь.
У меня в этом году тоже стройка активная была и в итоге на 19кв.м мы разместили наш узел связи с большим комфортом. Отчасти и ваши статьи меня тогда смотивировали написать про мои изыскания в этом. Правда я так и не дописал финальную часть, сейчас уже потому, что не могу сделать фотографии (ногу сломал, на больничном). Но в итоге у меня была вытянутая комната, где блоки 2х бытовых кондиционеров (правда с мозгами и ротационном блоком на два из их) и одной настенно-потолочной системы были вывешаны напротив фасадов стоек. В штатном режиме работает только полупромышленник (General, модель не помню). В случае отвала линии питания на него (ИБП вешать тупо, ибо 4кВт и цена за ИБП будет не маленькая), запускаются бытовые блоки (2 штуки). Блок ротации следит за температурой и решает, как им работать. Одновременный запуск всех кондиционеров можно произвести только вручную, так как не предполагается размещать большие серверные массив в шкафах. Но воздуху подавался с точек его забран оборудованием, а сзади поднимаясь наверх он попадал под мощную струю от кондиционера, который ротационно гнал поток то внизу, то горизонтально. Градусники показывают стабильные 18°.
Так вот произошёл один случай, о котором мы узнали только потому, что электрики предприятия, откуда у нас линия на бытовые нужны и питание полупромышленного кондиционера шла, накосячили при устранение у себя аварии — выгорела этажная ниша, где располагался наш бокс с автоматом на нашу линию. Судя по записи видео камер, АВР отработал как надо, запустив настенные бытовые блоки. И когда питание восстановили — они не выключились. Не выключились потому, что электрики предприятия не удосужились соблюсти фазировку, а подключили как попало. Реле контроля фаз решило, что его обманывают и не стало обесточивать резервные цепи питания на критически важные вещи (безопасность различного рода и климат).
Спасибо что делитесь.
У меня в этом году тоже стройка активная была и в итоге на 19кв.м мы разместили наш узел связи с большим комфортом. Отчасти и ваши статьи меня тогда смотивировали написать про мои изыскания в этом. Правда я так и не дописал финальную часть, сейчас уже потому, что не могу сделать фотографии (ногу сломал, на больничном). Но в итоге у меня была вытянутая комната, где блоки 2х бытовых кондиционеров (правда с мозгами и ротационном блоком на два из их) и одной настенно-потолочной системы были вывешаны напротив фасадов стоек. В штатном режиме работает только полупромышленник (General, модель не помню). В случае отвала линии питания на него (ИБП вешать тупо, ибо 4кВт и цена за ИБП будет не маленькая), запускаются бытовые блоки (2 штуки). Блок ротации следит за температурой и решает, как им работать. Одновременный запуск всех кондиционеров можно произвести только вручную, так как не предполагается размещать большие серверные массив в шкафах. Но воздуху подавался с точек его забран оборудованием, а сзади поднимаясь наверх он попадал под мощную струю от кондиционера, который ротационно гнал поток то внизу, то горизонтально. Градусники показывают стабильные 18°.
Так вот произошёл один случай, о котором мы узнали только потому, что электрики предприятия, откуда у нас линия на бытовые нужны и питание полупромышленного кондиционера шла, накосячили при устранение у себя аварии — выгорела этажная ниша, где располагался наш бокс с автоматом на нашу линию. Судя по записи видео камер, АВР отработал как надо, запустив настенные бытовые блоки. И когда питание восстановили — они не выключились. Не выключились потому, что электрики предприятия не удосужились соблюсти фазировку, а подключили как попало. Реле контроля фаз решило, что его обманывают и не стало обесточивать резервные цепи питания на критически важные вещи (безопасность различного рода и климат).
С кондиционером я чувствую мы еще будем бороться и в дальнейшем, когда многократно увеличим тепловую нагрузку. Но для этого, вероятнее всего, подготовимся заранее.
По поводу Ваших бытовых кондиционеров. Я Вас уверяю, у нас бы не справилось и 10 бытовых, к сожалению. А 1 канальник стоит как 25 бытовых, примерно.
Ну а на счет электрики, да, у нас тоже было много курьезов связанных с этим, но к счастью ИБП всегда спасал, возможно напишем и об этом :)
Спасибо что читаете!
По поводу Ваших бытовых кондиционеров. Я Вас уверяю, у нас бы не справилось и 10 бытовых, к сожалению. А 1 канальник стоит как 25 бытовых, примерно.
Ну а на счет электрики, да, у нас тоже было много курьезов связанных с этим, но к счастью ИБП всегда спасал, возможно напишем и об этом :)
Спасибо что читаете!
А так у нас и расчёт такой был, что нам достаточно, так как мы оператор связи, не хостинг и иже с ними… Но если потребуется, то цена вопроса — труба на выброс воздуха из горячего «коридора» и приточку допилить немного. Само собой киловатты холода нарастить придётся.
Но я в общем к чему — вы тепло только от стоек забирали. Забирайте его со всей половины помещения, куда выбрасывается тепло со шкафа. У вас похожая расстановка с нашей (если я правильно понял) — выброс тепла от оборудования в стенку — если наверху поставить через 1 метр сопла — от стенки до стенки вдоль стоек, и выбросить всё это на улицу, при любой погоде будет хорошо. При этом у вас должен образоваться нормальный приток, иначе всю пыль от входа всосите или в принципе плохо вытягиваться будет, если все двери закроете.
Обратная сторона — почему пошли путём отъёма воздуха от оборудования, а не подводом холодного к фасаду стойки? У меня помещение узкое (3.30) и кондеи дуют прям в фасад. При вашей генерации тепла, мне кажется, лучше заниматься климатом внутри стойки, а не во всём помещение в целом.
Но я в общем к чему — вы тепло только от стоек забирали. Забирайте его со всей половины помещения, куда выбрасывается тепло со шкафа. У вас похожая расстановка с нашей (если я правильно понял) — выброс тепла от оборудования в стенку — если наверху поставить через 1 метр сопла — от стенки до стенки вдоль стоек, и выбросить всё это на улицу, при любой погоде будет хорошо. При этом у вас должен образоваться нормальный приток, иначе всю пыль от входа всосите или в принципе плохо вытягиваться будет, если все двери закроете.
Обратная сторона — почему пошли путём отъёма воздуха от оборудования, а не подводом холодного к фасаду стойки? У меня помещение узкое (3.30) и кондеи дуют прям в фасад. При вашей генерации тепла, мне кажется, лучше заниматься климатом внутри стойки, а не во всём помещение в целом.
Все дело в том, что были проложены шахты до нас. Мы только улучшали. Забирается тепло как раз по 1 дырке на шкаф, сзади, где идет выдув горячего, но этого мало и он застаивался по комнате, где не продувал кондиционер. Мы также сделали подачу вперед шкафа, в последствии, но т.к. трасса слишком длинная — приток был очень мал.
у вас большая площадь для одного кондиционера. Его объём работы надо уменьшать и куда то подавать холод точечно. А тепло забирать со всего помещения (вытяжки от стенки до стенки по в той области комнаты, в которую выбрасывается тепло). Отводить тепло можно и без турбовинтовых вытяжек, пассивной вентиляцией, если тяга хорошая. Если не очень — ну с моторчиком, но всё равно приток должен быть хороший, для большого воздухообмена.
Мы пока строились, ещё до завершение всех инженерок, всё вылизали до блеска, пылесос, влажная уборка несколько раз… начали ставить стойки и оборудование. Проходит неделя. Смотрит — в пыли всё. Не очевидно было, откуда она берётся, если окна не открываются, сообщения с общими системами вентиляции нет, дверь из помещения где уборка каждый день делается специально обученным человеком.
Была лишь одна труба, Z-образной формы, в которой стоял радиальный вентилятор и который должен был сработать по команде системы пожаротушения для выбора газа на улицу. При этом мы имели подозрение, но поймать её на грязном деле не могли — не было через неё никакого притока или оттока. В итоге когда уже заселились в наш новый офис, поймали такой эффект, что в какие то моменты возникает в офисных помещениях такая тяга, что при открытом окне, тяжёлая огнестойкая дверь оснащённая правильно подобранным доводчиком не могла закрыться от потока воздуха. Точнее она закрывалась, но очень медленно и чаще кто-то влиял на эту тягу, прикрыв окно, открыв дверь в общем коридоре и т.п.
В общем пока не запенили противопожарной пеной дыры в помещение серверной от кабельных вводов и кондиционных трасс, пришлось на эту чудо трубу надеть пакет. А пыли (или даже земли какой то) туда налетело столько, что можно рассаду посадить или червей накопать (окна выходили на один из проспектов Москвы).
В общем не жмитесь, приглашайте инженера по системам вентиляции и рассказывайте им свои проблемы. Не придётся покупать дорогое оборудование и вот так же потом с бытовым вентилятором, за 300 рублей, бегать
Мы пока строились, ещё до завершение всех инженерок, всё вылизали до блеска, пылесос, влажная уборка несколько раз… начали ставить стойки и оборудование. Проходит неделя. Смотрит — в пыли всё. Не очевидно было, откуда она берётся, если окна не открываются, сообщения с общими системами вентиляции нет, дверь из помещения где уборка каждый день делается специально обученным человеком.
Была лишь одна труба, Z-образной формы, в которой стоял радиальный вентилятор и который должен был сработать по команде системы пожаротушения для выбора газа на улицу. При этом мы имели подозрение, но поймать её на грязном деле не могли — не было через неё никакого притока или оттока. В итоге когда уже заселились в наш новый офис, поймали такой эффект, что в какие то моменты возникает в офисных помещениях такая тяга, что при открытом окне, тяжёлая огнестойкая дверь оснащённая правильно подобранным доводчиком не могла закрыться от потока воздуха. Точнее она закрывалась, но очень медленно и чаще кто-то влиял на эту тягу, прикрыв окно, открыв дверь в общем коридоре и т.п.
В общем пока не запенили противопожарной пеной дыры в помещение серверной от кабельных вводов и кондиционных трасс, пришлось на эту чудо трубу надеть пакет. А пыли (или даже земли какой то) туда налетело столько, что можно рассаду посадить или червей накопать (окна выходили на один из проспектов Москвы).
В общем не жмитесь, приглашайте инженера по системам вентиляции и рассказывайте им свои проблемы. Не придётся покупать дорогое оборудование и вот так же потом с бытовым вентилятором, за 300 рублей, бегать
Поделюсь своей болью ))))
У нас в серверной обычной организации на две стойки стояло тоже всего лишь два обычных бытовых кондиционера. Хоть и из дорогой серии. Причем оба молотили постоянно. Никакого резерва.
Причем стояли они СЗАДИ стоек. Хоть и дули в противоположную стену. Но всё равно… к сожалению мы тогда были простыми админами. И никто нас не слушал и не хотел делать как нам нужно.
Тоже длинное помещение. На мебельном производстве!!! Кругом мельчайшая древесная пыль. Проникает даже сквозь щели в стенах.
А еще из интересного — через серверную проходила труба ОТОПЛЕНИЯ. Так мало того что отопления, она еще и переодически текла. Один раз так сильно, что пошел аж пар. Еле добились чтобы нам ее заменили и теплоизолировали. О том чтобы провести ее в обход серверной даже слыштаь никто не хотел.
А… ну и ещё комната была под потолком обычного цеха. И потолок этот переодически тёк. Несколько раз приходилось подручными средствами защищать стойки — накрывать полиэтиленом. Ставить тазики.
Ессно ни о каких системах пожаротушения, сигнализации или даже мониторинга серверной речи не шло. Одно время я просто ставил туда веб-камеру и переодически посматривал на нее.
К слову об АВРе… с большим трудом выбили его себе… но всё остальное было самое дешевое и бытовое. Да и АВР был тоже бытовой. Несколько раз он не срабатывал. Приходилось ехать вечером на работу и переключать вручную.
Один раз взорвался вводной автомат в серверной. Заменить было некому и нечем.
Дизель почему-то с каким-то маниакальным упорством покупать не хотели. И насколько я знаю до сих пор там никто так и не купил.
У нас в серверной обычной организации на две стойки стояло тоже всего лишь два обычных бытовых кондиционера. Хоть и из дорогой серии. Причем оба молотили постоянно. Никакого резерва.
Причем стояли они СЗАДИ стоек. Хоть и дули в противоположную стену. Но всё равно… к сожалению мы тогда были простыми админами. И никто нас не слушал и не хотел делать как нам нужно.
Тоже длинное помещение. На мебельном производстве!!! Кругом мельчайшая древесная пыль. Проникает даже сквозь щели в стенах.
А еще из интересного — через серверную проходила труба ОТОПЛЕНИЯ. Так мало того что отопления, она еще и переодически текла. Один раз так сильно, что пошел аж пар. Еле добились чтобы нам ее заменили и теплоизолировали. О том чтобы провести ее в обход серверной даже слыштаь никто не хотел.
А… ну и ещё комната была под потолком обычного цеха. И потолок этот переодически тёк. Несколько раз приходилось подручными средствами защищать стойки — накрывать полиэтиленом. Ставить тазики.
Ессно ни о каких системах пожаротушения, сигнализации или даже мониторинга серверной речи не шло. Одно время я просто ставил туда веб-камеру и переодически посматривал на нее.
К слову об АВРе… с большим трудом выбили его себе… но всё остальное было самое дешевое и бытовое. Да и АВР был тоже бытовой. Несколько раз он не срабатывал. Приходилось ехать вечером на работу и переключать вручную.
Один раз взорвался вводной автомат в серверной. Заменить было некому и нечем.
Дизель почему-то с каким-то маниакальным упорством покупать не хотели. И насколько я знаю до сих пор там никто так и не купил.
я наш АВР сам собрал, причём на отечественной комплектухе. Схему выкладывал в статье. Работает как часы. Бюджет где-то 3000 рублей. Думаю, что его бы любой электрик собрал при желание, потому как собрал я, а я — связист.
Да и вообще зачем вам система пожаротушения? подошли к трубе, вломили по ней топором и потушили всё :)
Да и вообще зачем вам система пожаротушения? подошли к трубе, вломили по ней топором и потушили всё :)
Труба это круто. Нужно было наоборот, тепло продавать всему мебельному производству, а отопление отключить. У нас есть 1 шкаф, в нем стоят dl580. В общем никакое отопление не нужно, никому, даже соседям, даже через пять стен. Молотят больше чем весь цод вместе взятый. Вот такие пироги :)
Зачем охлаждать всю комнату? Шторы из винила хотя бы повешайте, чтобы уменьшить площадь.
Комната не большая и смысла в этом не будет. Какой плюс будет в том, что снаружи будет кипяток. Другое дело, если бы мы могли сделать фальш-полы, это да… но помещение не позволяет этого пока реализовать. Возможно на другом объекте учтем наш опыт)
насчёт фальшпола — если вы про подвод холода в рукавах под стойки, то есть вариант. Если конечно у вас есть 20-30см запас хотя бы над стойками.
Выкрутите ножки из шкафов, сварите под них раму из профиля с высоким подъёмом. и собственно под стойками протащите рукав для выброса холода в цоколь стойки. Только сделайте так, что бы воздух пошёл в фасад (между серверами и _перфорированными_ дверьми), а не в горячий коридор. В цоколе там дырки разные есть… обычно плоские выходят и на фасад и на, простите, зад.
Выкрутите ножки из шкафов, сварите под них раму из профиля с высоким подъёмом. и собственно под стойками протащите рукав для выброса холода в цоколь стойки. Только сделайте так, что бы воздух пошёл в фасад (между серверами и _перфорированными_ дверьми), а не в горячий коридор. В цоколе там дырки разные есть… обычно плоские выходят и на фасад и на, простите, зад.
Если бы был запас, который позволял это сделать — мы бы первым делом это сделали. К сожалению шкафы, с кабельным органайзером практически под потолок.
Молодцы, удачи вам не этом нелегком поприще. Хорошее дело делаете, опыт опять же )
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как мы строили свой мини ЦОД. Часть 5 — пережитый опыт, обрывы, жара