Comments 119
экскурсия
Как долго (минуты-часы-дни) сидите на дизелях при DRT?
Если вопрос про DRP, то это не только про ЦОД. В случае полного отключения питания из города дизели под полной нагрузкой могут работать 24 часа на одном топливохранилище, а их два. Топливо поставляется по договору, привозят в течение 4-5 часов, так что с точки зрения стандартов дизели могут использоваться и как основной источник электричества неограниченное время.
Народная примета: если на хабре пиарят какой-нибудь ЦОД, то вскоре там случается ()() Поглядим…
гм, если насыпать в один топливный люк сахарку, накроются все дизели? Или это как-то диагностируется/фильтруется, помимо охраны территории?
Кстати, какие-то нехорошие люди написали в Викимапии, что это «Nuclear power plant», отчего иностранцы нам чуть не запороли сертификат TIER III с вопросом: «Русские, вы что, с ума сошли строиться около ядерного объекта?»
А почему бы кстати и нет?
Меня другое в топике позабавило — почему нельзя строиться рядом с государственными учреждениями? Мне в голову приходит только забота на случай народных волнений/революций…
В США демонстрации мешают проезду. А могут понадобиться пожарные. Любимое место демонстраций — госучреждения.
Думаю вопрос во многом в правовом регулировании доступа к таким помещениям. В частности, рядом с госами вполне могут существовать правовыве основания для ограничения доступа к здания на время каких либо событий (от выборов, до визита высшего руководства)
Народные волнения, первоочередная цель террористов или потенциального противника, перекрытие дорог гос. службами и т.п… Логично, по большому счёту.
— Здесь нельзя парковать строить ЦОД, это Дом правительства, здесь депутаты кругом!
— Ничего, у меня сигнализация хорошая!
— Ничего, у меня сигнализация хорошая!
«какие-то нехорошие люди написали в Викимапии, что это «Nuclear power plant»»
Увы, но многие принимают за АЭС обычные промышленные градирни. (я про водоохлаждающие башни)
Увы, но многие принимают за АЭС обычные промышленные градирни. (я про водоохлаждающие башни)
Да это понятно. Пускай принимают. Не понятно чем плохо строить ДЦ в непосредственной близости от АЭС? С точки зрения бытового пользователя — наоборот, энергия вот она, без всяких там перекупщиков. Под боком фактически.
Территория с повышенной опасностью техногенных катастроф, я полагаю. Как было бы с ЦОД, построенным возле Фукусимы, к примеру?
Современные АЭС, безусловно, очень надёжны, но аварии иногда происходят.
С другой стороны, должны быть нормы с чётким указанием зоны отчуждения вокруг АЭС, где нельзя ничего другого строить. Т.е. совсем уж рядом с ней просто не выйдет.
Современные АЭС, безусловно, очень надёжны, но аварии иногда происходят.
С другой стороны, должны быть нормы с чётким указанием зоны отчуждения вокруг АЭС, где нельзя ничего другого строить. Т.е. совсем уж рядом с ней просто не выйдет.
Скорее всего, по большей части - жёсткое излучение, которое не любит электроника. Параноя: в ряде случаев не гарантируют даже нормальную работу после рентгена, а тут - "аэс"! Фиг знает, что там может быть за выброс и как на данных скажется!
Это примерно из той-же области, что сервера на 7° наклонять низзя: фиг знает, что там в выключенном состоянии может при движении нарушиться, но вдруг?!
Продублирована даже микроволновка :) Круто!
Продублированы даже пакеты молока в холодильнике.)
UFO just landed and posted this here
пластиковые тарелочки на микроволновке, конечно, продублированы, но при длительной работе микроволновка может сильно нагреваться (под тарелочками наклейка «Осторожно, горячая поверхность!»), тарелки расплавятся, потекут на трансформатор и магнетрон, вместе с салфетками воспламенятся — пожар в дата-центре!
В общем, уборщицу тоже нужно обучать высокой ответственности :)
В общем, уборщицу тоже нужно обучать высокой ответственности :)
А можете в дополнение к материалу выложить план здания с указанием всех сигнализаций и камер? =)
Если честно, даже не верится, что такое может окупиться. Pavel_Kolmychek, а можно узнать примерную стоимость всего проекта?
Шикарен сервер, который нельзя наклонять более чем на 10 градусов. Интересно, это не мешает его возить на самолете или корабле?
А что там настолько критичного к крену может быть? Интересно
Знание, что его не роняли и сильно не трясли.
Можно и строго вертикально уронить.
Для этого ставятся обычные стресс-датчики (наклейки), набором на нужные нагрузки. Наклон тут не подходит. И действительно непонятно как в случае с транспортировкой самолётом (взлёт).
Возможно, такие сервера целиком на самолетах не возят, а по частям, а уже недалеко от места собирают и бломбируют. Хотя, само по себе требование «не наклонять» для сервера странное.
Когда сервер весит сотни кг. и построен по модульной схеме — т.е. набивается платами, то нагрузки при наклоне могут вызвать даже микротрещины в местах соединения, т.к. все расчитано на вертикальную нагрузку.
images.51cto.com/files/uploadimg/20110113/1601056.jpg
images.51cto.com/files/uploadimg/20110113/1601056.jpg
А его держит в руках Бендер, у него же есть гироскоп.
Эти серверы и СХД все крупные вендоры (IBM, HP, EMC и т.п.) собирают в Европе. Возят их обычно на автомобильном транспорте. Есть компании, которые готовы и на самолете доставить, просто условия доставки нужно заранее проговаривать.
Подобного оборудования достаточно много.
К примеру на старой работе мы выгружали себе фотонаборный аппарат Heidelberg, там вообще условие разгрузки — крен не более 5 градусов (ибо высокоточная оптика и лазеры) и физическое наличие их инженера, который распаковывает ящик на месте. А запихивали мы его в оконный проем цокольного этажа, проем размеров всего на 1-2 см по кажому измерению больше ящика, хземля вровень с нижним краем проема, а пол в помещении на метр ниже. Квест тот еще был. Система вытаскивания поддона тоже предусмотрена (снимается верх ящика, в станину аппарата вкручиваются специальные упоры шире поддона, в которые вкручаваются болты для поднятия станины над поддоном), все с уровнями и т.п. Вес всего около 500 кг
К примеру на старой работе мы выгружали себе фотонаборный аппарат Heidelberg, там вообще условие разгрузки — крен не более 5 градусов (ибо высокоточная оптика и лазеры) и физическое наличие их инженера, который распаковывает ящик на месте. А запихивали мы его в оконный проем цокольного этажа, проем размеров всего на 1-2 см по кажому измерению больше ящика, хземля вровень с нижним краем проема, а пол в помещении на метр ниже. Квест тот еще был. Система вытаскивания поддона тоже предусмотрена (снимается верх ящика, в станину аппарата вкручиваются специальные упоры шире поддона, в которые вкручаваются болты для поднятия станины над поддоном), все с уровнями и т.п. Вес всего около 500 кг
Не хватает общего плана здания. Как оно выглядит сейчас?
Больше всего меня удивляет так это то что это востребовано кем то, потому что до последнего времени мне казалось что «большим дядам» вообще пофигу как там что у них стоит и где, оказывается есть сознательные «Дяди» =)
Интересно было бы увидеть помещение техподдержки, если это возможно.
Красиво всё, аккуратно. Хочется пожелать только одного — что бы такое же отношение сохранялось долго. Когда у нас на заводе немцы вводили оборудование от siemens в эксплуатацию, тоже можно было делать такие фотографии, где порядок и идилия. А через год оборудование перестали мыть после каждой смены, только раз в месяц. Потом всё реже и реже. Как и заточка ножей. Потом перестали делать ТО и через 10 лет настал невообразимый беспорядок, грязь и поруха, что показывать это просто стыдно. Надеюсь у вас такого не будет.
Всегда интересовал вопрос о системах газового и порошкового пожаротушения. На практике работали с порошком и были инциденты ложного срабатывания (весь зал засыпало порошком)
с учетом того, что в стойке постоянно циркулирует воздух, при возгорании одного из компонентов стойки высока вероятность быстрого распространения огня на другие узлы.
Возникают вопросы как работает автоматика:
1. датчики дыма расположены над каждой стойкой? по-секторам?
2. газ подается в весь зал?
3. Как ведет себя автоматика, если в зале находятся люди (ручное отключение автоматики, ручной запуск систем тушения.
с учетом того, что в стойке постоянно циркулирует воздух, при возгорании одного из компонентов стойки высока вероятность быстрого распространения огня на другие узлы.
Возникают вопросы как работает автоматика:
1. датчики дыма расположены над каждой стойкой? по-секторам?
2. газ подается в весь зал?
3. Как ведет себя автоматика, если в зале находятся люди (ручное отключение автоматики, ручной запуск систем тушения.
1) Датчики расположены над зоной выдува воздуха, зал разделен на 4 сектора. Срабатывание датчиков по каждому из секторов отображается в системе диспетчеризации отдельно.
2) Газ подается на зал и прилегающие коридоры с фанкойлами (внутренними блоками кондиционеров). Эти помещения интенсивно обмениваются воздухом, поэтому считаются одним объемом для системы пожаротушения.
3) Система пожаротушения работает в полуавтоматическом режиме. Это значит, что все сигналы с датчиков рассылаются на 3 круглосуточных смены – пожарной безопасности, физической безопасности и сопровождения ИТ. В течение минуты после срабатывания три человека уже стоят рядом с машинным залом. Если задымления нет, то заходят в зал втроем, если есть, то только сотрудник службы пожарной безопасности. Дальше действия идут по схеме:
a. Проверяют, что в зале нет посетителей, если есть, их выводят;
b. Отключают питание от источника задымления, если возможно.
c. Если этим причина задымления не устраняется, то используют углекислотные огнетушители, которые есть в каждом зале. Они не повреждают оборудование.
d. Если недостаточно и этих мер, то покидают помещение и запускают газ.
В ЦОД установлена система раннего обнаружения возгораний (VESDA), она очень чувствительна. Поэтому риск распространения огня с одного устройства на другое минимален. Газ не останавливает работы оборудования и не повреждает его. С точки зрения стандартов использовать порошок или воду для тушения в машинных залах категорически запрещено. Мы даже с бутылкой воды или с яблоком посетителей в машинный зал не пускаем, хотя желающие были.
2) Газ подается на зал и прилегающие коридоры с фанкойлами (внутренними блоками кондиционеров). Эти помещения интенсивно обмениваются воздухом, поэтому считаются одним объемом для системы пожаротушения.
3) Система пожаротушения работает в полуавтоматическом режиме. Это значит, что все сигналы с датчиков рассылаются на 3 круглосуточных смены – пожарной безопасности, физической безопасности и сопровождения ИТ. В течение минуты после срабатывания три человека уже стоят рядом с машинным залом. Если задымления нет, то заходят в зал втроем, если есть, то только сотрудник службы пожарной безопасности. Дальше действия идут по схеме:
a. Проверяют, что в зале нет посетителей, если есть, их выводят;
b. Отключают питание от источника задымления, если возможно.
c. Если этим причина задымления не устраняется, то используют углекислотные огнетушители, которые есть в каждом зале. Они не повреждают оборудование.
d. Если недостаточно и этих мер, то покидают помещение и запускают газ.
В ЦОД установлена система раннего обнаружения возгораний (VESDA), она очень чувствительна. Поэтому риск распространения огня с одного устройства на другое минимален. Газ не останавливает работы оборудования и не повреждает его. С точки зрения стандартов использовать порошок или воду для тушения в машинных залах категорически запрещено. Мы даже с бутылкой воды или с яблоком посетителей в машинный зал не пускаем, хотя желающие были.
А как происходит охлаждение зала при работе системы пожаротушения? или у воздуха зала замкнутый цикл? Приточная вентиляция в том или ином виде наверное есть?
рискну предположить, что точно так же, как и при несрабатывании СГПЖ. Сам по себе хладон — такой же газ, только при воздействии на него высокой температуры (близкой к температуре горения) он разлагается, в результате чего образуются «вещества» препятствующие горению, из-за чего горение прекращается.
Приточная вентиляция, надеюсь, есть. Только воздушная смесь в ней должна быть специально подготовлена — высоко очищена, усушена/увлажнена (по необходимости). Вообще, в машзалах стараются поддерживать избыточное давление, чтобы «грязь» «выдувалась» из него, а не тянулась (с посетителями/работами/проч).
Приточная вентиляция, надеюсь, есть. Только воздушная смесь в ней должна быть специально подготовлена — высоко очищена, усушена/увлажнена (по необходимости). Вообще, в машзалах стараются поддерживать избыточное давление, чтобы «грязь» «выдувалась» из него, а не тянулась (с посетителями/работами/проч).
вопрос — почему использовали менее «технологичный» хладон-125, а не более удобный Новек1230?
Вы даже молоко в холодильнике задублировали… о_О
А Вы на всякий случай продублировали комментарий про продублированное в холодильнике молоко :D
Это на Авиамоторной что ли?
UFO just landed and posted this here
geekporn. Я в восторге.
А где ссылка на стоимость услуг?
С такой интенсивностью вентиляции входить можно тольков свитере и с бородой, строгий отбор инженеров у заказчика. Чтобы мог полный рабочий день в этих морозильниках работаь.
Я хочу у вас хоститься.
И тут оптика в шкафах соплями висит :(
Посоветуйте кто-нить недорогие органайзеры для оптических патчкордов? Циску не предлагать, я не хочу отдавать 500 баксов за кусок железа :(( Желательно чтобы это было доступно в Питере/Москве.
Посоветуйте кто-нить недорогие органайзеры для оптических патчкордов? Циску не предлагать, я не хочу отдавать 500 баксов за кусок железа :(( Желательно чтобы это было доступно в Питере/Москве.
UFO just landed and posted this here
Как в таких ЦОДах организован мониторинг?
Явно не nagios. Буду благодарен за детали или линки.
Явно не nagios. Буду благодарен за детали или линки.
Мониторинг делится на три части:
1) Все инженерные системы подключены к централизованной системе мониторинга и управления (контроллеры — Kieback&Peter, ПО – SCADA-система zenOn от Copa-Data, основной протокол обмена данными – BACnet);
2) Заказчики свое установленное оборудование, как правило, мониторят самостоятельно, это ограничения от их внутренних служб безопасности;
3) Наше ИТ-оборудование и оставшихся заказчиков собираем на тот самый nagios. Он подходит хорошо, т.к. не привязан к вендорам, хотя и приходится многое настраивать руками.
1) Все инженерные системы подключены к централизованной системе мониторинга и управления (контроллеры — Kieback&Peter, ПО – SCADA-система zenOn от Copa-Data, основной протокол обмена данными – BACnet);
2) Заказчики свое установленное оборудование, как правило, мониторят самостоятельно, это ограничения от их внутренних служб безопасности;
3) Наше ИТ-оборудование и оставшихся заказчиков собираем на тот самый nagios. Он подходит хорошо, т.к. не привязан к вендорам, хотя и приходится многое настраивать руками.
В ближайшем времени планируем перенести сервер с учетной системой со своего локального ресурса (доступного через интернет) на внешний. Причина — нестабильный канал провайдера, частые отключения элемектроэнергии на длительно время. Рассматриваем варианты выделенного сервера или VDS, нагрузка впринципе небольшая, большой только траффик (сканированные документы).
Статус документов — ДСП.
Вопрос: какие конкретно бумажки может предоставить ваш хостинг, для подтверждения уровеня защищенности ваших серверов, сертификации системы охраны в вашем ДЦ, уровень пожаной безопасности, и т.д.? И вообще, есть ли у вас такое, или все взаимодействие и ответственность определяются только договором?
Статус документов — ДСП.
Вопрос: какие конкретно бумажки может предоставить ваш хостинг, для подтверждения уровеня защищенности ваших серверов, сертификации системы охраны в вашем ДЦ, уровень пожаной безопасности, и т.д.? И вообще, есть ли у вас такое, или все взаимодействие и ответственность определяются только договором?
UFO just landed and posted this here
Как так получилось, что система охлаждения у вас на 2,5 МВт, а оборудование может потреблять до 4,5 МВт? Как я понимаю, сервер с потребляемой мощностью в 600 Вт выделяет около 600 Вт тепла?
UFO just landed and posted this here
Спасибо за ответ. Этот вопрос задавал мой коллега по ЦОДу, завтра он тоже что-нибудь здесь откомментирует.
В принципе, логично — система не замкнута, поэтому тепло отводится вовне, и поэтому энергия на отвод может быть сколько угодно меньше самой отводимой энергии.
Например, чай в стакане можно охлаждать вообще с нулевыми затратами, выставив его на улицу (что и делается во всех системах охлаждения).
В принципе, логично — система не замкнута, поэтому тепло отводится вовне, и поэтому энергия на отвод может быть сколько угодно меньше самой отводимой энергии.
Например, чай в стакане можно охлаждать вообще с нулевыми затратами, выставив его на улицу (что и делается во всех системах охлаждения).
Просто интересно, какая доля из оборудования этого ДЦ была произведена в России. У кого-нибдуь есть предположения?
Жаль, что автор статьи пропустил момент комментариев. Много вопросов, мало ответов :(
А кто работает на ЦОДе?
вы писали что есть пожарный который моментально наряжяется в «космонафта» и идет устранять пожар… т.е. на объекте всегда находится в несколько смен пожарный?
а кто еще — охранники, уборщики, инженеры… сколько там вообще людей работает?
и еще интересна общая стоимость проекта
вы писали что есть пожарный который моментально наряжяется в «космонафта» и идет устранять пожар… т.е. на объекте всегда находится в несколько смен пожарный?
а кто еще — охранники, уборщики, инженеры… сколько там вообще людей работает?
и еще интересна общая стоимость проекта
Здание и земля под ЦОД находится в аренде или выкуплено у завода?
Я не понял одного — сертифицирован ЦОД по Tier III или нет? Пока ТРИ ЦОД в РФ в стадии получения Tier III и только один сертификацию прошел: telecombloger.ru/7890
Tier III и отказ уровня «упал метеорит» на моноблочных ИБП? Нет, SGшки — штуки хорошие и довольно надежные, но все же.
Это насосная. Здесь два контура охлаждения.
Учитывая, сколько питания берёт система, нужно было бы ставить огромный зал с ИБП для поддержания во время переключения на дизель. Естественно, есть решение элегантнее: достаточно держать бассейн с 13-градусной охлаждённой водой, который даёт то же самое, что ИБП (ведь результат работы электрики — холодная вода), но без потерь и без задержек, плюс без сложного обслуживания. В бассейне — 90 тонн заранее охлажденной воды, ее хватает на 15 минут штатной работы минимум, как и электричества от ИБП.
Не совсем понятно, для чего используется именно охлаждённая вода. Не могли бы вы немного пояснить этот момент? Это система кондиционирования? Тогда почему не хватает «обычных» кондиционеров? Вода призвана охлаждать само здание, чтобы облегчить работу кондиционерам?
Отдельный вопрос — тушение газом. Он скорее не к вам, а общий. Окислителем может выступать не только кислород. После начала горения из оборудования каких только веществ не выделяется. На этот случай, я так понимаю, в помещение есть дежурный пожарник с углекислотным огнетушителем, я прав? Или вариант некислородного горения в регламентирующих документах не рассмотрен как фантастический?
так ведь на первый вопрос ответ в вами же отквоченном тексте. Кондиционерам нужно электропитание. При переходе на ИБП зачем тратить энергию на кондиционеры, если экономичнее брать готовый хладогент (вода при +13). Да и 90 тонн воды — это не такой уж и большой резервуар.
«После начала горения из оборудования каких только веществ не выделяется.»
Ну вот тут Вы, скорее всего, всё-таки перегнули. Что значит «каких только»? Есть сертифицированное обородование от нормальных поставщиков для работы в дата центре. И из чего оно сделано и чем его тушить в случае пожара прекрасно известно. Аналогично и с другими материалами — они ведь не выбираются просто так. Включая покрытия полов, стен, потолки и т.п.
«После начала горения из оборудования каких только веществ не выделяется.»
Ну вот тут Вы, скорее всего, всё-таки перегнули. Что значит «каких только»? Есть сертифицированное обородование от нормальных поставщиков для работы в дата центре. И из чего оно сделано и чем его тушить в случае пожара прекрасно известно. Аналогично и с другими материалами — они ведь не выбираются просто так. Включая покрытия полов, стен, потолки и т.п.
Я невеликий спец в системах охлаждения (или просто туплю где-то). Вода используется как «резервная» система охлаждения здания? Или что она охлаждает? Я понял причину использования охлаждённой воды, но не понял способ. Вопрос в том, как же именно используется вода, что она охлаждает и теперь ещё, каким образом это заменяет кондиционеры.
Я где-то за словами потерял смысл. Он может быть очевидный ;) Поясните его, пожалуйста.
Про сертификацию оборудования и материалов отделки я как-то не подумал. В случае, когда известно, что из окислителей только кислород, связывать его — хороший выбор. Согласен ;)
Я где-то за словами потерял смысл. Он может быть очевидный ;) Поясните его, пожалуйста.
Про сертификацию оборудования и материалов отделки я как-то не подумал. В случае, когда известно, что из окислителей только кислород, связывать его — хороший выбор. Согласен ;)
Т.е. как работают кондиционеры — имеется контур, заправленный обычно фреоном или чем-то подобным. С одной стороны его обдуваем вентиляторами, с другой получаем холод, который и подаём в охлаждаемое помещение. Т.е. погуглите принцип работы холодильников и кондиционеров. В описываемом случае в час Ч просто переключатся с холода, генерируемого кондиционерами, на холод от воды из бассейна. Пройдя по теплообменникам она заберёт избыточное тепло из охлаждаемых помещений.
Основная фишка и причина экономии в статье описана. Т.е. не тратим ценное электричество на кондиционеры, которые бы охладили хладагент, а берём готовую холодную воду, которая сделает практически тоже самое. Тратим электричество только на подачу холодной воды.
Основная фишка и причина экономии в статье описана. Т.е. не тратим ценное электричество на кондиционеры, которые бы охладили хладагент, а берём готовую холодную воду, которая сделает практически тоже самое. Тратим электричество только на подачу холодной воды.
Охлажденная вода — это «охладитель», холодильник в терминах физики.
Охлаждение крупных объектов устроено иначе, нежели охлаждение квартиры.
В квартирах всем привычны кондиционеры (работающие по принципу домашнего холодильника, с компрессором и хладагентом).
На крупных объектах (ЦОДах, ТЦ, гостиницах, прочее) применение классических кондиционеров с классическими хладагентами (фреоном) не эффективно и трудозатратно, поэтому применяется чиллерная система на обычной воде (вернее, она не обычная, а специально подготовленная, но не суть). 2 контура — внутренний и внешний. Во внутреннем контуре охлажденная вода поступает на фанкойлы в зале, охлаждая воздух и нагреваясь сама. Далее «теплая» вода приходит в теплообменник с внешним контуром, отдавая ему свое тепло и снова охлаждаясь. Внешний контур гонит тепло на чиллеры (в данном случае, установленные на крыше), где проходит через внешний теплообменник, обдуваемый уличным воздухом.
Теперь у нас нет электричества, тепло от внутреннего контура не можем отдать на чиллер через внешний контур.
Вопрос: что делать и для чего же нам нужна охлажденная вода?
Охлаждение крупных объектов устроено иначе, нежели охлаждение квартиры.
В квартирах всем привычны кондиционеры (работающие по принципу домашнего холодильника, с компрессором и хладагентом).
На крупных объектах (ЦОДах, ТЦ, гостиницах, прочее) применение классических кондиционеров с классическими хладагентами (фреоном) не эффективно и трудозатратно, поэтому применяется чиллерная система на обычной воде (вернее, она не обычная, а специально подготовленная, но не суть). 2 контура — внутренний и внешний. Во внутреннем контуре охлажденная вода поступает на фанкойлы в зале, охлаждая воздух и нагреваясь сама. Далее «теплая» вода приходит в теплообменник с внешним контуром, отдавая ему свое тепло и снова охлаждаясь. Внешний контур гонит тепло на чиллеры (в данном случае, установленные на крыше), где проходит через внешний теплообменник, обдуваемый уличным воздухом.
Теперь у нас нет электричества, тепло от внутреннего контура не можем отдать на чиллер через внешний контур.
Вопрос: что делать и для чего же нам нужна охлажденная вода?
1700 / 6 = 283 килограмма на каждого мужика. Что ж, на мастера спорта по становой тяге они сдали.
А тут — помещение типа коворкинга для делегаций заказчика.
Батарея за шкафом? Это по стандарту или для поддержания традиции «выключатель в шкафу »? :)
Sign up to leave a comment.
ЦОД повышенной ответственности: фотоэкскурсия