История аварии: как один ЦОД стоял 8 часов


    Часть проверки после аварии: тепловизионное обследование машинного зала

    Эта история произошла с ЦОДом одной компании уже довольно давно, все последствия аварии устранены, плюс выполняются доработки, исключающие повторение ситуаций. Тем не менее, отчёт о происшедшем, полагаю, будет интересен и тем, кто занимается дата-центрами, и тем, кто любит почти детективные IT-истории.

    Ожидалось плановое отключение электричества. В дата-центр приходило две линии, владельцы ЦОДа заранее знали о ситуации, подготовились и провели все необходимые тесты. Всё что было нужно – просто перейти на дизели по стандартной процедуре.

    Час X


    Отключение произошло как и было задумано энергетиками, источники бесперебойного питания отработали штатно, потом ЦОД сегментами перешел на дизель-генераторы (чтобы избежать влияния высоких пусковых токов). Всё как положено. При этом тогда ЦОД ещё не вышел на проектную мощность, поэтому дизель-генераторы давали практически двухкратный запас по мощности.

    Час П


    Дизели работали полтора часа, после чего во встроенных в контейнеры баках кончилось топливо. Соляра по нормативам не может храниться в большом объёме прямо вместе с ДГУ, иначе придётся проходить очень сложную сертификацию по противопожарным вопросам. Поэтому везде используются отдельные хранилища, из которых подкачивается ДТ. Система начала подкачивать топливо, и тут дизель-генераторы «закашлялись» и встали.

    Понятно, паника. Дизели достаточно быстро аварийно отключаются один за другим, что-то сделать просто нет времени – и питание в ЦОДе пропадает. Уже чуть позже стало понятно, что топливо хранилось в резервуаре довольно долго, и из-за перепадов температуры там постоянно образовывался конденсат. Дальше – банальная физика: вода тяжелее топлива, и она опускается в самый низ цистерны, откуда идёт забор. Итог – все дизели зачерпнули чистой воды. При этом на самих установках не было даже водяных фильтров, хотя и они бы не помогли – фильтр держит примерно пол-литра, а воды там было намного больше. При этом, даже если бы удалось всё вовремя понять, дизельное топливо привезти всё равно бы не получилось в сжатые сроки.

    Результат — во время планового отключения компания получила аварийную остановку всего ЦОДа. Примерно на 8 часов, что для крупной компании может равняться чуть ли не квартальной прибыли. ЦОД простоял от момента зачерпывания воды дизелями до того момента пока не подали питание из города снова.

    Встать — мало: нужно больше никогда не ложиться


    Руководство сделало соответствующие выводы и решило не допустить повторения всего класса проблем в будущем. Для этого нужен был аудит всей инфраструктуры на предмет поиска узких мест. В этот момент мы подключились к проекту и начали анализ.

    Использовались методики Uptime Institute — организации, собирающей базу знаний по отказам ЦОДов по всему миру и формирующей точные рекомендации, как и что должно работать. Кстати, подробнее про то, как строить ЦОД по таким жестким требованиям можно прочитать в топике про наш ЦОД повышенной ответственности. Один из интересных моментов состоит в том, что городской ввод электропитания по стандарту – всегда один источник (даже если каналы от 5 электростанций) и считается дополнительным, так как не контролируется в полной мере собственником ЦОДа. В смысле, что он может быть (это хорошо) и его может не быть (это почти нормально), плюс он может отключиться без всякого предупреждения – и эта ситуация достаточно часта. Поэтому специалисты Uptime Institute при анализе инфраструктуры ЦОДа всегда рассматривают городской ввод примерно так: есть и есть, в подробности не вдаются и городскую схему не смотрят.

    С другой стороны, автономная часть по меркам Uptime Institute очень важна. Тщательно изучается качество дизелей, топливо, обслуживание и так далее. Объяснять, что в России принято делать наоборот, наверное, не надо. Все подробно рассказывают: у нас вот этот луч оттуда, а этот отсюда, вот эта подстанция очень хорошая… Если кто помнит случай с Чагинской когда сразу все лучи повыключались, станет понятно, почему Uptime Institute так относится к подобным линиям. По стандарту нужно поддерживать в исправном состоянии ту инфраструктуру, которая есть у именно у вас как владельца ЦОДа, и грамотно её проектировать.

    Обследование


    ЦОД был спроектирован и построен на достаточно современном уровне, с применением современных решений, но, как известно, дьявол кроется в мелочах. Первое, о чем сказали наши профильные инженеры – что реализована очень запутанная и нелогичная схема распределения питания. Она построена на базе программируемых управляемых контроллеров, причем производителя с закрытой архитектурой и одной «головой»: если она ломается, никакого резервирования нет. И тут мы опять приходим к тому, о чем говорят наши коллеги из Uptime Institute: главный принцип выражается по сути одним предложением для Tier III (по нашим ощущениям, самого востребованного): один любой элемент может быть выведен из эксплуатации, и система при этом должна сохранить свою полную работоспособность.

    В элементах проектной документации упоминаний о соответствии стандартам, кроме как строительным и ПУЭ, нет: это характерный симптом, что надо закопаться поглубже и провести аудит всех мелочей. Ещё похожий симптом – это когда указаны стандарты, не предполагающие сертификации внешним, по отношению к проектировщику органом. Здесь часто случается, что на бумаге заявляется одно, а на объекте – совсем другое. К счастью, в нашем случае проектная документация точно соответствовала реальному воплощению.

    Питание


    Ещё раз: любой элемент может быть выведен из эксплуатации в любой момент – и ЦОД должен продолжить работать как ни в чём ни бывало. На нашем конкретном обследуемом объекте практически все элементы были задублированы, кроме, например, контроллера системы автоматики.Он управляет многочисленными системами автоматического ввода резерва, коммутирует линии распределения питания от конкретной нагрузки (серверных стоек) до вводных распределительных устройств. Выглядит так, как будто линии зарезервированы, щиты частично зарезервированы, ИБП и ДГУ зарезервированы. Но лишь один элемент, который стоит очень мало по сравнению с общей стоимость инфраструктуры, не зарезервирован, и может стать дополнительной причиной отказа и аварии. И при этом сделать что-то быстро будет нереально: придётся отключать ЦОД, чтобы заменить одну железку.


    Увеличенный график измерений значений тока на вводе в щит. Фазы нагружены равномерно, периодически возникают пусковые токи.


    Увеличенный график-2 снижения тока на вводе в щит. После провала тока нагрузка в течении 5-6 секунд держится на одном уровне, далее ступенчато начинает возрастать до прежнего уровня.

    Следующий момент — работа системы питания топливом и синхронизации дизель-генераторов. Топливная система рассматривается как критичная для функционирования ЦОД и требует своего резервирования. Ну а отсутствие сепараторов, это уже вопрос недооценки западными проектировщиками наших реалий. Синхронизация дизель-генераторов еще один важный момент, который Uptime Institute с пристрастием проверяет. Если запустить все их, то дальше один назначает себя лидером, садится на общую шину, и все остальные машины по очереди пытаются синхронизироваться. Грубо говоря, должны совпасть синусоиды переменного напряжения, чтобы не было короткого замыкания. Как только какая-то из машин оказывается засинхронизирована, у нее включается контактор, и она включается в общую шину. Так все дизели по очереди набираются на общую линию. Чтобы это все нормально проходило, у современных дизель-генераторов предусмотрена связь между собой, то есть они объединены в общую информационную сеть. Ещё плюс этого метода — машины могут балансировать нагрузку.

    Uptime Institute предлагает исходить из следующего постулата: представьте, что внешней сети нет, вы круглый год работаете на дизель-генераторах. Вот пришло время, например, заменить панель управления одного из дизелей. Вы её выключили, остальных хватает, чтобы обеспечивать ЦОД. А дальше вы должны эту шину, которая объединяет машины, из него вынуть и снять панель управления. Этот тест ни один стандартный дизель-генератор, который у нас продается, не пройдет. Потому что у них шина, по сути, линейная. Они друг с другом соединены: размыкаешь в середине, и правая сторона не знает, что делает левая. Для нашего ЦОДа повышенной ответственности «Компрессора» специально под это требование сделали другие системы управления, где закольцована шина. И мы можем в любом месте ее порвать, данные не теряются, и машины продолжат друг с другом общаться. При проектировании ЦОДов мало кто об этом знает, и, соответственно, есть ещё одно узкое место. Вроде мелкое, крайне меловероятное – но цепочка таких вероятностей создаёт самые страшные ситуации, которые крайне желательно избежать.

    Дальнейшие тесты


    Мы увидели неоптимальное расположение стоек внутри ЦОД. Казалось бы, банальная вещь, много об этом говорится, все на слуху, но тем не менее, бесспорно грамотные и опытные специалисты, которые занимаются эксплуатацией ЦОДа на стороне заказчика, допустили несколько ошибок в части расстановки оборудования.

    Наши специалисты по системе кондиционирования предложили несложное решение, которое позволило (точнее, позволит после внедрения) серьезно повысить эффективность системы кондиционирования. Тем более, заказчик рассматривает возможность увеличения мощностей — это ой как пригодится при повышении нагрузки. Плюс мы расписали рекомендации, что нужно сделать для увеличения мощностей. Дополнительно мы оценивали реализацию СКС и комплекс систем безопасности, тут замечаний не было, все сделано грамотно.

    Основные замечания были по наиболее важным системам. Мы, например, снимали термограммы, искали локальные зоны перегрева. Например, обнаружили зону инжекции:




    Эффект эжекции через решетку

    Была локальная зона перегрева: стоит стойка, не хватает из решетки дальнобойности струи. Внизу охлаждает, а наверху не хватает. Причем если стойка не полностью заполнена серверами, ставятся заглушки, чтобы горячие и холодные коридоры разобщить. В противном случае возникают перетоки. По большому счету, надо просто поднять скорость вращения вентиляторов фанкойлов: до этого нижний сервер охлаждался больше чем нужно, а верхний был в тепле. Второй пример – стоит стена из блоков, на термограмме видны швы: у них теплопроводность выше, чем у пенобетона. Естественно никаких проблем это не сулит, просто хорошая демонстрация возможностей современных тепловизоров.


    Зона стоек


    Зона «горячего» коридора стоек


    Зона «холодного» коридора стоек

    Заодно смотрели качество электроснабжения ЦОД: проверяли, какое качество питания на входе, использовали для этого специальные железки, там всё нормально. Дальше тестировали несколько параметров в СКС, расходы воздуха, соответствие установленной мощности фанкойлов и реальной – все соответствует, все работает нормально.

    Резюме


    Всё началось с аварии, и все это вылилось в анализ, в результате которого вскрылись еще недочеты и были сформированы рекомендации по оптимальному увеличению мощности.

    В России вместо Tier III по методологии от Uptime Institute часто заявляют Tier III по TIA 942. TIA, по сути, описывает требования, которым необходимо соответствовать, чтобы ваш ЦОД был похож на Tier-третий, но на ваше усмотрение, делать так или нет. Это рекомендательный стандарт, и процедура оценки там заявительная: построили и сказали, что это Tier III. А учитывая, что уровень Tier III есть и в Uptime Institute и в TIA, заказчиков часто вводят в заблуждение. Чтобы проверить, действительно ли площадка получила сертификат, достаточно зайти на сайт Uptime Institute.

    Мы много раз проводили аудиты ЦОДов (и помогали их строить), поэтому знаем, что даже если заказчик и исполнитель серьёзные, всё равно лучше и безопаснее привлекать еще одну строну для аудита. Потому что какие бы хорошие ни были поставщики, проектировщики и монтажники, они могут ошибиться. При работе по Tier III, например, как проект так и его реализацию на месте проверяют парни из Uptime Institute, которые годами напролёт только и занимаются тем, что ходят по ЦОДам и ищут баги в них. Получить у них сертификацию сложно, но при тщательном подходе этот квест проходится, и дата-центр действительно работает с уровнем доступности в четыре девятки.
    КРОК
    111.70
    №1 по ИТ-услугам в России
    Share post

    Comments 67

      +3
      Доступно, приятно. Спасибо.
        +1
        Очень интересно читать. А чем снимали теплограммы?
          +1
          Спасибо. Именно эти снимали Fluke TiR32.
          +2
          Классно)

          Но начиная читать стоатью я надеялся в конце услышать о том, что именно поэтому сегодня и вчера хабр никак не реагировал на внешние раздражители типа Казахстана, Германии или Украины.
            0
            В Q&A есть ответ.
            А статья действительно увлекательная.
            +3
            >> из-за перепадов температуры там постоянно образовывался конденсат

            Конденсат, ага. Сами дизельное спиз эээ… спионерили, а на физику стрелки переводят :)
              +3
              не кажется вам, что уровень не тот?
                +2
                Иронию в его словах нахожу я.
                  +1
                  Всегда найдётся человек, которому не лишне взять канистру-другую соляра… А потом ещё… И потом.
                    0
                    Если вы серьезно, то уверен, что это не проктит)
                    Там и камеры везде и пломбы явно стоят. И вообще доступность таких контейнеров обычно ограничена, как правило они под землей, просто так залезть туда с ведром не так то просто.
                      +6
                      у нас на пароходе тоже ключи только у пары человек были, а 22 тонны дизеля испарились :D
                        0
                        Может быть какое-то новое неизведанное свойство дизельного топлива? А все гонят на персонал…
                          +1
                          Овощи у нас тоже с неизведанными свойствами были… Вообще, не пароход, а прямо находка для милиции науки, черная дыра :)
                0
                Каким устройством теплограммы снимали, если не секрет?
                  0
                  У нас полевая измерительная техника в большинстве своем от Fluke. Именно эти термограммы сняты Fluke TiR32.
                  +1
                  Час П…
                  «Уже чуть позже стало понятно, что топливо хранилось в резервуаре довольно долго, и из-за перепадов температуры там постоянно образовывался конденсат. Дальше – банальная физика: вода тяжелее топлива, и она опускается в самый низ цистерны, откуда идёт забор. Итог – все дизели зачерпнули чистой воды. При этом на самих установках не было даже водяных фильтров, хотя и они бы не помогли – фильтр держит примерно пол-литра, а воды там было намного больше»
                  Ну ладно — про перепады мог кто-то не знать (хотя это более чем удивительно). Фильтров нет — без комментариев (кто вообще ставил и обслуживал дизеля?). Но как получается — периодически не испытывается аварийка? Да я в деревне даже нафиг никому не нужный и маломощный генератор 3-4 раза в год пускаю на (!) сутки… А тут ЦОД!!! =)
                    0
                    Вы внимательно читали? Дизели все завелись и работали, пока было топливо в локальных баках. Проблемы возникли, когда начали сосать топливо из удаленного хранилища. Очевидно же, что плановые проверки длятся не по 1,5 часа, с выработкой всего топлива.
                      +5
                      Если система такова, что для ее проверки нужно больше 1,5 часа значит надо проверять соответственное время, а не просто «включили-работает-выключили». Ну, это мое личное мнение, разумеется.
                      Просто если проверять всю систему по отдельным компонентам и сделать вывод что по отдельности все работает, то это вовсе не означает что если все это включить вместе, то оно будет исправно работать. Я на работе при проверках гоняю что основной комплект аппаратуры, что резервный, что переключение между ними =)
                        +1
                        У дизтоплива есть срок годности, да еще и в нашем климате если баки не отапливаются требуется замена летнего/зимнего топлива. В связи с этим, обычно плановые проверки планируют так, чтобы за срок годности топливо в баках полностью обновлялось за счет его сжигания и заливки нового.

                        По этому достаточно странно, что вода не попала в локальные баки дизелей по системе подкачки топлива из хранилища во время предыдущих тестовых запусков.
                          +1
                          Господин минусующий, прокомментируйте пожалуйста свой минус.
                          Вдруг я действительно ошибаюсь в своем мнении относительно дизель-генераторных систем, да и в жизни мне это может помочь, так как у меня дизельный двигатель в машине.
                          +1
                          Это старый автомобильный прикол с водой.
                          Я так понял в баке с солярой насос был неверно установлен, — забор идет снизу бака.
                          А надо брать — с поплавка, например на 5см сделать погружение.
                          Причем, желательно, сделать перемешивание, — можно воздух гнать, в момент забора, снизу.
                          Ведь удаленная емкость, очевидно, — стационарная.
                          Вообще, я вам скажу, хорошо, что было дело не зимой, — порвало бы железные части у генераторов, они то на улице стоят, — и было бы очень дорого.
                          Насчет конденсата, — немного не то, воды в соляре было достаточно и на момент залития, она и сыграла злую шутку. Таково качество.
                        0
                        Не до конца понял, почему именно 8 часов? Даже, я так понимаю, больше, чем 8, потому, что проблема решилась сама собой. Неужели за 8 часов не попытались определить причину остановки генераторов?
                          +2
                          А чего б они сделали? Дизели прокачивать надо было бы все равно.
                            0
                            через 8 часов дали свет, а дизели скорее всего за 8 часов не смогли бы починить.
                              +2
                              Про свет я понял. Но получается так, что дизели остановились и они 8 часов в тишине сидели и горевали.
                              А если бы не восстановили электричество? То дата-центр, сертифицированный по Tier III простоял бы и сутки? Что было в течение этих 8-и часов?
                                0
                                Инженеры бегали по центру, как ужаленные, рвали на себе и друг на друге волосы. Постоянно спрашивали: «Что делать?» Поминутно проверяли, а не включили ли шланг из города. Звонили куда попало в поисках резервных мощностей. По пятому разу проверяли всю электронику и механику. Пытались запустить дизеля на воде. Поднимали документацию, выясняя кто это построил и почему оно так не работает.

                                А если серьезно, то я думаю, что плановое отключение городской линии было с четкими временными рамками. Сотрудники, когда выяснили причину, решили, что за время отключения питания они ничего с дизелями не сделают. И спокойно пошли пить чай. (За исключением тех, кто лично отвечал за состояние топливных запасов. Хотя, не факт, что такие вообще были.)
                                  0
                                  Ну а почему бы не реализовать первую часть вашего сообщения?
                                  Москва — город большой. И развне нет вероятности, что можно найти несколько промышленных генераторов и оперативно их включить? Ну это в порядке бреда, но тут вообще не написано про это. Неужели это исключено было сразу?
                                    0
                                    Плановое отключение с заданными рамками имеет свойство выявлять внеплановые косяки устранение которых затягивает временной промежуток. Так что спокойно сидеть с верой что всё само восстановиться — было бы, мягко говоря, несколько безответственно.

                                    Сам я админ маленькой конторы, так что для нас всё не столь критично, но буквально вчера с этим столкнулся: на ночь должны были отключать инет, утром его всё еще не было, звонок выявил следующее: «мы в курсе этой проблемы, наши лучшие люди над ней работают».
                                      0
                                      Плановое отключение с заданными рамками имеет свойство выявлять внеплановые косяки устранение которых затягивает временной промежуток. Так что спокойно сидеть с верой что всё само восстановиться — было бы, мягко говоря, несколько безответственно.
                                      Недавно отключили эл-во во всём районе, звоню энергетикам, говорят что на 5-7 минут максимум.
                                      Побежал, завел генератор и к щиту. А как переводить на генератор — не помню! В инструкцию, а в ней написано идти в старую аппаратную! А там оборудования точно нет :) Начинаю потихоньку паниковать :)
                                      Благо, электрики сдержали слово и УПСки выдержали, а так — положил бы всю аппаратную провайдера :)
                                        0
                                        У нас, если питания нет три минуты, автоматически заводится генератор, через пять минут — переключается питание с УПСов на него.
                                          0
                                          А у нас эту автоматику сломали :)
                              +4
                              Я всегда учусь так деньги зарабатывать — у людей достаточно поставить сепаратор дизтоплива, а их поднимают на полный аудит. Уважаю.
                                +4
                                Сепаратор дизельного топлива никак не решит проблему выхода из строя любой другой части системы. Задача была не в том, чтобы не упало по той же причине, а в том, чтобы не упало вообще. Вот за этот подход руководства ЦОДа действительно стоит его уважать, ибо обратные примеры вам наверняка знакомы.
                                  +4
                                  Ну так правильно. При таком косяке надо все проверять. Мало ли где еще накосячено)
                                  0
                                  Интересно, не сломались ли генераторы после того, как они «попили» воды?
                                    0
                                    Для запуска генераторов потребовалось несколько дней, но ничего критичного не произошло.
                                      +1
                                      Кто-то ответственный получил по жопе, или кроме Петровича все остались в шоколаде?
                                        0
                                        То есть гидроудара не было и перебирать дизели не пришлось?
                                        Тогда чисто из любопытства вопрос: а что мешало в течение этих восьми часов удалить воду из емкостей и, провернув двигатели, запустить? Нет, понятно, что скорее всего никто попросту не захотел брать на себя ответственность — «а вдруг угробим дизели за стопицот денег», но тем не менее?
                                          0
                                          Именно так и поступили, определили причину отказа, привезли новое топливо, почистили все топливопроводы, баки, выполнили необходимые проверки. Только времени это заняло серьезно больше чем 8 часов.
                                            0
                                            А не было варианта запустить хотя бы один дизель?
                                              0
                                              Сильно сомневаюсь, что один дизель спас бы ситуацию.
                                      0
                                      >Чтобы проверить, действительно ли площадка получила сертификат, достаточно зайти на сайт Uptime Institute
                                      А можно ссылочку на конкретную страницу
                                      0
                                      Расскажите, почему в ДЦ до сих пор не переходят на DC питание?
                                      Никаких проблем с синхронизацией, power factor и прочим…
                                        0
                                        Что вы подразумеваете под DC питанием?
                                          0
                                          Постоянное напряжение, 48/220/360V по вкусу.
                                            0
                                            Так его все равно придется из переменного делать. Первичка же подводная — переменка. Это значит выпрямлять надо, сглаживать пульсации и т.д. и т.п. Мне как-то неочевидно чем проще будет.
                                              0
                                              Так выпрямлять в любом случае нужно — либо централизованно, либо в каждом компьютере индивидуально :-)
                                                0
                                                То маленькие БП на каждое оборудование, а то агрегат на немалую мощу. Причем не один, а может даже и не два (резервировать же надо).
                                                Хотя я серьезно не думал. Может и действительно смысл есть. Просто привыкли все к переменке. Просто сходу очевидность мне невидна =)
                                                  +1
                                                  в связи стоят те-же сервера, только блоки питания на 48/60 вольт ( там что-то типа 24-60 вольт допускается ), так что возможность сделать стойку или весь ЦОД на DC есть

                                                  Я думаю что проблемы в помехах — небольшие шины питания есть в тех же блейдах, а для стойки уже фильтры ставят.
                                                  Хотя те-же станции телефонные размерами с ЦОД, но с централизованным DC. Но на них нет свободного распределения нагрузки — там все планируется и рассчитывается заранее.
                                              0
                                              Много оборудования рассчитано на постоянный ток? Какие вендоры начали выпускать блоки питания под DC?
                                                0
                                                Я все хочу рискнуть и протестировать обычные ATX блоки с постоянным напряжением. Есть сильное подозрение, что они работают нормально без изменений вообще.

                                                Ну и в целом заказ контрактного производства специализированного БП не проблема для крупных потребителей.
                                                  0
                                                  Может быть ещё трансформатор заставите работать от постоянного тока?
                                                    +1
                                                    Внутри БП на входе стоит диодный мост и большой конденсатор, и оттуда уже генерируется переменка для ВЧ трансформатора. Так что, думаю, блоку питания будет все равно — переменным или постоянным его кормят.
                                                      0
                                                      Разница есть — в максимальном допустимом токе для диодов моста.
                                                      Их придется менять, то есть ставить более мощные блоки, чтобы без переделок.
                                                      Кроме того, в некоторых блоках может быть «дежурка» на обычном трансформаторе,
                                                      никто не гарантирован от этого, верно. То есть совсем любой — может не получится.
                                                  0
                                                  Практически у любого бренда есть на 24-60В — используется в связи.
                                              0
                                              Думаю что использование переменного напряжения в большинстве ЦОД определяется универсальностью этого решения. Не ясно что за оборудование нужно будет установить через полгода — год. В том случае, где такой неопределенности нет, постоянное напряжение до серверов используется. Как пример: www.google.com/about/datacenters/inside/efficiency/servers.html, или специализированные телекоммуникационные решения.
                                                0
                                                Ну что значит «не переходят». В датацентрах изредка используется оборудование с DC-питанием, например используется напряжение -48VDC (не знаю., правда, что это за области, знаю что во всякой судовой элеткронике такое питание есть) Вот пример простого гугления: networkarraysaz.info/fas3210
                                                Но судя по малой распространенности таких вариантов оборудования особой популярностью оно не пользуется.

                                                Одна из причин, например — большие потери в проводах. Думаете высоковольные ЛЭП делают просто по приколу, чтобы потрахаться с повышением и потом с понижением напряжения?
                                                  0
                                                  Про 48В согласен — там получается большой ток, греющий провода. Но можно сделать постоянные 220В. Толщина проводов (ток) та же, изоляция (напряжение) такая же. А не делают, скорее всего, потому что придется покупать дорогущий выпрямитель на большую мощность, когда все и так нормально работает.
                                                    0
                                                    в связи стандарт питания у нас 60В у буржуев 48В.
                                                    телефонная станция — тот же ЦОД с централизованным DC питанием.
                                                  +1
                                                  По моему летом или весной в Обнинске произошла подобная история с одним из крупных банков. Все говорили, что вместо дизеля была вода. Сарафанное радио оно такое беспощадное :)
                                                    0
                                                    27 градусов перегрев????? Пффффффффффф, рабочая температура в нашей аппаратной!

                                                    (хотя и почти шутка, но так оно и есть :( )
                                                      0
                                                      >Итог – все дизели зачерпнули чистой воды.
                                                      А почему зачерпнули? -нарушили технологию хранения топлива, на хранение положено заливать топливо, что называется не до «горлышка», а до «упора»-тогда конденсату просто некуда образовываться.Ну и о компонентных добавках-«поглотителях влаги» конечно никто не подумал, а ведь это все есть в соответствующих справочниках. Вобщем, странно это всё-кто вам топливную часть строил явно должен быть наказан.

                                                        0
                                                        Вода, скорее всего, прямо из топлива осела. Конденсата в таких количествах даже в полупустой цистерне я себе представить не могу. Вопрос к поставщикам солярки.
                                                        +2
                                                        Вот это «построено с учетом стандартов Tier 3» очень забавно читать на сайтах хостингов.

                                                        Мастерхост, например (с их укладываниями то на пару часов, но на полсуток, то «извините, у нас регламентные работы» и еще несколько часов downtime-а), не стесняется гордиться Tier 3 — но как-то в стандарте пункт про uptime не замечают, обещая этот самый Tier устами менеджеров-продажников…
                                                          0
                                                          Кстати, а на какое время работы рассчитаны аккумуляторы в данном ЦОДе?
                                                            0
                                                            Хотелось отметить что у нас в стране ДТ продается трех видов-летний, зимний и арктический для крайнего севера, и с наступлением например лета очень рекомендуется поменять зимний соляр на летний, ибо двигатели будут регулярно глохнуть. Летний же на зимний менять просто обязательно-дело в том что с понижением температуры в летнем ДТ будут образовыватся кристаллы парафина, и если насос высокого давления хватанет такого топлива то с очень большой долей вероятности выйдет из строя.

                                                            Only users with full accounts can post comments. Log in, please.