Комментарии 68
Доступно, приятно. Спасибо.
Очень интересно читать. А чем снимали теплограммы?
Классно)
Но начиная читать стоатью я надеялся в конце услышать о том, что именно поэтому сегодня и вчера хабр никак не реагировал на внешние раздражители типа Казахстана, Германии или Украины.
Но начиная читать стоатью я надеялся в конце услышать о том, что именно поэтому сегодня и вчера хабр никак не реагировал на внешние раздражители типа Казахстана, Германии или Украины.
>> из-за перепадов температуры там постоянно образовывался конденсат
Конденсат, ага. Сами дизельное спиз эээ… спионерили, а на физику стрелки переводят :)
Конденсат, ага. Сами дизельное спиз эээ… спионерили, а на физику стрелки переводят :)
не кажется вам, что уровень не тот?
Иронию в его словах нахожу я.
Всегда найдётся человек, которому не лишне взять канистру-другую соляра… А потом ещё… И потом.
Каким устройством теплограммы снимали, если не секрет?
Час П…
«Уже чуть позже стало понятно, что топливо хранилось в резервуаре довольно долго, и из-за перепадов температуры там постоянно образовывался конденсат. Дальше – банальная физика: вода тяжелее топлива, и она опускается в самый низ цистерны, откуда идёт забор. Итог – все дизели зачерпнули чистой воды. При этом на самих установках не было даже водяных фильтров, хотя и они бы не помогли – фильтр держит примерно пол-литра, а воды там было намного больше»
Ну ладно — про перепады мог кто-то не знать (хотя это более чем удивительно). Фильтров нет — без комментариев (кто вообще ставил и обслуживал дизеля?). Но как получается — периодически не испытывается аварийка? Да я в деревне даже нафиг никому не нужный и маломощный генератор 3-4 раза в год пускаю на (!) сутки… А тут ЦОД!!! =)
«Уже чуть позже стало понятно, что топливо хранилось в резервуаре довольно долго, и из-за перепадов температуры там постоянно образовывался конденсат. Дальше – банальная физика: вода тяжелее топлива, и она опускается в самый низ цистерны, откуда идёт забор. Итог – все дизели зачерпнули чистой воды. При этом на самих установках не было даже водяных фильтров, хотя и они бы не помогли – фильтр держит примерно пол-литра, а воды там было намного больше»
Ну ладно — про перепады мог кто-то не знать (хотя это более чем удивительно). Фильтров нет — без комментариев (кто вообще ставил и обслуживал дизеля?). Но как получается — периодически не испытывается аварийка? Да я в деревне даже нафиг никому не нужный и маломощный генератор 3-4 раза в год пускаю на (!) сутки… А тут ЦОД!!! =)
НЛО прилетело и опубликовало эту надпись здесь
Если система такова, что для ее проверки нужно больше 1,5 часа значит надо проверять соответственное время, а не просто «включили-работает-выключили». Ну, это мое личное мнение, разумеется.
Просто если проверять всю систему по отдельным компонентам и сделать вывод что по отдельности все работает, то это вовсе не означает что если все это включить вместе, то оно будет исправно работать. Я на работе при проверках гоняю что основной комплект аппаратуры, что резервный, что переключение между ними =)
Просто если проверять всю систему по отдельным компонентам и сделать вывод что по отдельности все работает, то это вовсе не означает что если все это включить вместе, то оно будет исправно работать. Я на работе при проверках гоняю что основной комплект аппаратуры, что резервный, что переключение между ними =)
У дизтоплива есть срок годности, да еще и в нашем климате если баки не отапливаются требуется замена летнего/зимнего топлива. В связи с этим, обычно плановые проверки планируют так, чтобы за срок годности топливо в баках полностью обновлялось за счет его сжигания и заливки нового.
По этому достаточно странно, что вода не попала в локальные баки дизелей по системе подкачки топлива из хранилища во время предыдущих тестовых запусков.
По этому достаточно странно, что вода не попала в локальные баки дизелей по системе подкачки топлива из хранилища во время предыдущих тестовых запусков.
Это старый автомобильный прикол с водой.
Я так понял в баке с солярой насос был неверно установлен, — забор идет снизу бака.
А надо брать — с поплавка, например на 5см сделать погружение.
Причем, желательно, сделать перемешивание, — можно воздух гнать, в момент забора, снизу.
Ведь удаленная емкость, очевидно, — стационарная.
Вообще, я вам скажу, хорошо, что было дело не зимой, — порвало бы железные части у генераторов, они то на улице стоят, — и было бы очень дорого.
Насчет конденсата, — немного не то, воды в соляре было достаточно и на момент залития, она и сыграла злую шутку. Таково качество.
Я так понял в баке с солярой насос был неверно установлен, — забор идет снизу бака.
А надо брать — с поплавка, например на 5см сделать погружение.
Причем, желательно, сделать перемешивание, — можно воздух гнать, в момент забора, снизу.
Ведь удаленная емкость, очевидно, — стационарная.
Вообще, я вам скажу, хорошо, что было дело не зимой, — порвало бы железные части у генераторов, они то на улице стоят, — и было бы очень дорого.
Насчет конденсата, — немного не то, воды в соляре было достаточно и на момент залития, она и сыграла злую шутку. Таково качество.
Не до конца понял, почему именно 8 часов? Даже, я так понимаю, больше, чем 8, потому, что проблема решилась сама собой. Неужели за 8 часов не попытались определить причину остановки генераторов?
А чего б они сделали? Дизели прокачивать надо было бы все равно.
через 8 часов дали свет, а дизели скорее всего за 8 часов не смогли бы починить.
Про свет я понял. Но получается так, что дизели остановились и они 8 часов в тишине сидели и горевали.
А если бы не восстановили электричество? То дата-центр, сертифицированный по Tier III простоял бы и сутки? Что было в течение этих 8-и часов?
А если бы не восстановили электричество? То дата-центр, сертифицированный по Tier III простоял бы и сутки? Что было в течение этих 8-и часов?
Инженеры бегали по центру, как ужаленные, рвали на себе и друг на друге волосы. Постоянно спрашивали: «Что делать?» Поминутно проверяли, а не включили ли шланг из города. Звонили куда попало в поисках резервных мощностей. По пятому разу проверяли всю электронику и механику. Пытались запустить дизеля на воде. Поднимали документацию, выясняя кто это построил и почему оно так не работает.
А если серьезно, то я думаю, что плановое отключение городской линии было с четкими временными рамками. Сотрудники, когда выяснили причину, решили, что за время отключения питания они ничего с дизелями не сделают. И спокойно пошли пить чай. (За исключением тех, кто лично отвечал за состояние топливных запасов. Хотя, не факт, что такие вообще были.)
А если серьезно, то я думаю, что плановое отключение городской линии было с четкими временными рамками. Сотрудники, когда выяснили причину, решили, что за время отключения питания они ничего с дизелями не сделают. И спокойно пошли пить чай. (За исключением тех, кто лично отвечал за состояние топливных запасов. Хотя, не факт, что такие вообще были.)
Ну а почему бы не реализовать первую часть вашего сообщения?
Москва — город большой. И развне нет вероятности, что можно найти несколько промышленных генераторов и оперативно их включить? Ну это в порядке бреда, но тут вообще не написано про это. Неужели это исключено было сразу?
Москва — город большой. И развне нет вероятности, что можно найти несколько промышленных генераторов и оперативно их включить? Ну это в порядке бреда, но тут вообще не написано про это. Неужели это исключено было сразу?
Плановое отключение с заданными рамками имеет свойство выявлять внеплановые косяки устранение которых затягивает временной промежуток. Так что спокойно сидеть с верой что всё само восстановиться — было бы, мягко говоря, несколько безответственно.
Сам я админ маленькой конторы, так что для нас всё не столь критично, но буквально вчера с этим столкнулся: на ночь должны были отключать инет, утром его всё еще не было, звонок выявил следующее: «мы в курсе этой проблемы, наши лучшие люди над ней работают».
Сам я админ маленькой конторы, так что для нас всё не столь критично, но буквально вчера с этим столкнулся: на ночь должны были отключать инет, утром его всё еще не было, звонок выявил следующее: «мы в курсе этой проблемы, наши лучшие люди над ней работают».
Плановое отключение с заданными рамками имеет свойство выявлять внеплановые косяки устранение которых затягивает временной промежуток. Так что спокойно сидеть с верой что всё само восстановиться — было бы, мягко говоря, несколько безответственно.Недавно отключили эл-во во всём районе, звоню энергетикам, говорят что на 5-7 минут максимум.
Побежал, завел генератор и к щиту. А как переводить на генератор — не помню! В инструкцию, а в ней написано идти в старую аппаратную! А там оборудования точно нет :) Начинаю потихоньку паниковать :)
Благо, электрики сдержали слово и УПСки выдержали, а так — положил бы всю аппаратную провайдера :)
Я всегда учусь так деньги зарабатывать — у людей достаточно поставить сепаратор дизтоплива, а их поднимают на полный аудит. Уважаю.
Сепаратор дизельного топлива никак не решит проблему выхода из строя любой другой части системы. Задача была не в том, чтобы не упало по той же причине, а в том, чтобы не упало вообще. Вот за этот подход руководства ЦОДа действительно стоит его уважать, ибо обратные примеры вам наверняка знакомы.
Ну так правильно. При таком косяке надо все проверять. Мало ли где еще накосячено)
Интересно, не сломались ли генераторы после того, как они «попили» воды?
Для запуска генераторов потребовалось несколько дней, но ничего критичного не произошло.
Кто-то ответственный получил по жопе, или кроме Петровича все остались в шоколаде?
То есть гидроудара не было и перебирать дизели не пришлось?
Тогда чисто из любопытства вопрос: а что мешало в течение этих восьми часов удалить воду из емкостей и, провернув двигатели, запустить? Нет, понятно, что скорее всего никто попросту не захотел брать на себя ответственность — «а вдруг угробим дизели за стопицот денег», но тем не менее?
Тогда чисто из любопытства вопрос: а что мешало в течение этих восьми часов удалить воду из емкостей и, провернув двигатели, запустить? Нет, понятно, что скорее всего никто попросту не захотел брать на себя ответственность — «а вдруг угробим дизели за стопицот денег», но тем не менее?
>Чтобы проверить, действительно ли площадка получила сертификат, достаточно зайти на сайт Uptime Institute
А можно ссылочку на конкретную страницу
А можно ссылочку на конкретную страницу
Вот сертифицированные проекты:
uptimeinstitute.com/TierCertification/design-document-certifications.php?page=1&ipp=All&clientId=&countryName=Russia&tierLevel=
Вот сертифицированные площадки:
uptimeinstitute.com/TierCertification/constructed-facility-certifications.php?page=1&ipp=All&clientId=&countryName=Russia&tierLevel=
uptimeinstitute.com/TierCertification/design-document-certifications.php?page=1&ipp=All&clientId=&countryName=Russia&tierLevel=
Вот сертифицированные площадки:
uptimeinstitute.com/TierCertification/constructed-facility-certifications.php?page=1&ipp=All&clientId=&countryName=Russia&tierLevel=
Расскажите, почему в ДЦ до сих пор не переходят на DC питание?
Никаких проблем с синхронизацией, power factor и прочим…
Никаких проблем с синхронизацией, power factor и прочим…
Что вы подразумеваете под DC питанием?
Постоянное напряжение, 48/220/360V по вкусу.
Так его все равно придется из переменного делать. Первичка же подводная — переменка. Это значит выпрямлять надо, сглаживать пульсации и т.д. и т.п. Мне как-то неочевидно чем проще будет.
Так выпрямлять в любом случае нужно — либо централизованно, либо в каждом компьютере индивидуально :-)
То маленькие БП на каждое оборудование, а то агрегат на немалую мощу. Причем не один, а может даже и не два (резервировать же надо).
Хотя я серьезно не думал. Может и действительно смысл есть. Просто привыкли все к переменке. Просто сходу очевидность мне невидна =)
Хотя я серьезно не думал. Может и действительно смысл есть. Просто привыкли все к переменке. Просто сходу очевидность мне невидна =)
в связи стоят те-же сервера, только блоки питания на 48/60 вольт ( там что-то типа 24-60 вольт допускается ), так что возможность сделать стойку или весь ЦОД на DC есть
Я думаю что проблемы в помехах — небольшие шины питания есть в тех же блейдах, а для стойки уже фильтры ставят.
Хотя те-же станции телефонные размерами с ЦОД, но с централизованным DC. Но на них нет свободного распределения нагрузки — там все планируется и рассчитывается заранее.
Я думаю что проблемы в помехах — небольшие шины питания есть в тех же блейдах, а для стойки уже фильтры ставят.
Хотя те-же станции телефонные размерами с ЦОД, но с централизованным DC. Но на них нет свободного распределения нагрузки — там все планируется и рассчитывается заранее.
Много оборудования рассчитано на постоянный ток? Какие вендоры начали выпускать блоки питания под DC?
Я все хочу рискнуть и протестировать обычные ATX блоки с постоянным напряжением. Есть сильное подозрение, что они работают нормально без изменений вообще.
Ну и в целом заказ контрактного производства специализированного БП не проблема для крупных потребителей.
Ну и в целом заказ контрактного производства специализированного БП не проблема для крупных потребителей.
Может быть ещё трансформатор заставите работать от постоянного тока?
Внутри БП на входе стоит диодный мост и большой конденсатор, и оттуда уже генерируется переменка для ВЧ трансформатора. Так что, думаю, блоку питания будет все равно — переменным или постоянным его кормят.
Разница есть — в максимальном допустимом токе для диодов моста.
Их придется менять, то есть ставить более мощные блоки, чтобы без переделок.
Кроме того, в некоторых блоках может быть «дежурка» на обычном трансформаторе,
никто не гарантирован от этого, верно. То есть совсем любой — может не получится.
Их придется менять, то есть ставить более мощные блоки, чтобы без переделок.
Кроме того, в некоторых блоках может быть «дежурка» на обычном трансформаторе,
никто не гарантирован от этого, верно. То есть совсем любой — может не получится.
Практически у любого бренда есть на 24-60В — используется в связи.
Думаю что использование переменного напряжения в большинстве ЦОД определяется универсальностью этого решения. Не ясно что за оборудование нужно будет установить через полгода — год. В том случае, где такой неопределенности нет, постоянное напряжение до серверов используется. Как пример: www.google.com/about/datacenters/inside/efficiency/servers.html, или специализированные телекоммуникационные решения.
Ну что значит «не переходят». В датацентрах изредка используется оборудование с DC-питанием, например используется напряжение -48VDC (не знаю., правда, что это за области, знаю что во всякой судовой элеткронике такое питание есть) Вот пример простого гугления: networkarraysaz.info/fas3210
Но судя по малой распространенности таких вариантов оборудования особой популярностью оно не пользуется.
Одна из причин, например — большие потери в проводах. Думаете высоковольные ЛЭП делают просто по приколу, чтобы потрахаться с повышением и потом с понижением напряжения?
Но судя по малой распространенности таких вариантов оборудования особой популярностью оно не пользуется.
Одна из причин, например — большие потери в проводах. Думаете высоковольные ЛЭП делают просто по приколу, чтобы потрахаться с повышением и потом с понижением напряжения?
Про 48В согласен — там получается большой ток, греющий провода. Но можно сделать постоянные 220В. Толщина проводов (ток) та же, изоляция (напряжение) такая же. А не делают, скорее всего, потому что придется покупать дорогущий выпрямитель на большую мощность, когда все и так нормально работает.
в связи стандарт питания у нас 60В у буржуев 48В.
телефонная станция — тот же ЦОД с централизованным DC питанием.
телефонная станция — тот же ЦОД с централизованным DC питанием.
По моему летом или весной в Обнинске произошла подобная история с одним из крупных банков. Все говорили, что вместо дизеля была вода. Сарафанное радио оно такое беспощадное :)
27 градусов перегрев????? Пффффффффффф, рабочая температура в нашей аппаратной!
(хотя и почти шутка, но так оно и есть :( )
(хотя и почти шутка, но так оно и есть :( )
>Итог – все дизели зачерпнули чистой воды.
А почему зачерпнули? -нарушили технологию хранения топлива, на хранение положено заливать топливо, что называется не до «горлышка», а до «упора»-тогда конденсату просто некуда образовываться.Ну и о компонентных добавках-«поглотителях влаги» конечно никто не подумал, а ведь это все есть в соответствующих справочниках. Вобщем, странно это всё-кто вам топливную часть строил явно должен быть наказан.
А почему зачерпнули? -нарушили технологию хранения топлива, на хранение положено заливать топливо, что называется не до «горлышка», а до «упора»-тогда конденсату просто некуда образовываться.Ну и о компонентных добавках-«поглотителях влаги» конечно никто не подумал, а ведь это все есть в соответствующих справочниках. Вобщем, странно это всё-кто вам топливную часть строил явно должен быть наказан.
Вот это «построено с учетом стандартов Tier 3» очень забавно читать на сайтах хостингов.
Мастерхост, например (с их укладываниями то на пару часов, но на полсуток, то «извините, у нас регламентные работы» и еще несколько часов downtime-а), не стесняется гордиться Tier 3 — но как-то в стандарте пункт про uptime не замечают, обещая этот самый Tier устами менеджеров-продажников…
Мастерхост, например (с их укладываниями то на пару часов, но на полсуток, то «извините, у нас регламентные работы» и еще несколько часов downtime-а), не стесняется гордиться Tier 3 — но как-то в стандарте пункт про uptime не замечают, обещая этот самый Tier устами менеджеров-продажников…
Кстати, а на какое время работы рассчитаны аккумуляторы в данном ЦОДе?
Хотелось отметить что у нас в стране ДТ продается трех видов-летний, зимний и арктический для крайнего севера, и с наступлением например лета очень рекомендуется поменять зимний соляр на летний, ибо двигатели будут регулярно глохнуть. Летний же на зимний менять просто обязательно-дело в том что с понижением температуры в летнем ДТ будут образовыватся кристаллы парафина, и если насос высокого давления хватанет такого топлива то с очень большой долей вероятности выйдет из строя.
Помнится история с одной из прошлых работ, находились мы по соседству от местного провайдера, и пользовались всеми благами такого дружеского соседства в том числе гиговым аплинком и их дизелями.
Вот только в -42 за бортом дизеля сложно заводить… Да и если заведётся может быстро "кончится". Для этого рядом поставили газовый, но как оказалось дизеляка почему-то даже лучше заводился чем этот газовый карлик… Всю байку рассказывать не буду, но в итоге там стояло три генератора (каждый из которых больше чем надо) но проблему это до конца не решило (зимой есстессно).
Эх сибирь суровая..
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
История аварии: как один ЦОД стоял 8 часов