Энергетика в дата-центре

    Сегодняшний пост мы посвятим особенностям организации электроснабжения дата-центра. Если смотреть со стороны, все энергосистемы похожи друг на друга и имеют много общего. Но дьявол, как водится, кроется в деталях, поэтому присмотреться к конкретной реализации той или иной системы никогда не будет лишним.

    Далее – рассказ о нашей системе энергоснабжения и много фото.

    image



    Электричество приходит в дата-центр по четырем вводам от двух независимых подстанций общей мощностью в 5630 кВА. Такая сложность требуется для обеспечения резервирования электропитания на случай непредвиденных ситуаций или аварий. Подобная практика обходится очень дорого, но без резервированного питания серьезный дата-центр не построить.

    Кабели подключены напрямую к четырем щитам автоматического ввода резерва (АВР). К ним же подключены три дизель-генератора FG Wilson мощностью по 2МВт каждый. Этим обеспечивается бесперебойность электроснабжения.

    От щитов АВР электричество сквозь распределительный щит системы бесперебойного электроснабжения приходит на батарейные источники бесперебойного питания. Наши ИБП производства заслуженной компании AEG Power Supply Systems являются трансформаторными. Сегодня уже существует более совершенная технология тиристорных ИБП, но они более чувствительны к температуре и влажности условий эксплуатации. В силу того, что трансформаторные ИБП проявили себя с хорошей стороны в течение многолетней практики, мы решили выбрать именно их из соображений повышения надежности. Проходя через трансформаторы, электричество проходит фильтрацию и стабилизацию, из него удаляются высокочастотные гармоники и помехи, результатом чего является практически чистая синусоида на выходе. После многократной трансформации из переменного тока в постоянный и обратно электричество приобретает параметры, соответствующие высоким требованиям к питанию точного высокопроизводительного оборудования.

    При сбое в магистральном электроснабжении на время запуска дизель-генераторных установок питание серверов, телекоммуникационного оборудования и аварийных систем производится от батарейных ИБП. Питание систем силовой нагрузки (чиллеры, кондиционеры, общее освещение и другие системы) осуществляется от дизельных ИБП. После выхода дизельных ИБП на необходимый уровень нагрузки, питание всех систем дата-центра осуществляется от дизельных ИБП.

    Система батарейных ИБП включает в себя около 800 батарей, а их общий вес достигает 20 тонн. Батареи распределены по четырем металлическим стеллажам. Емкость равномерно распределена между 11 ИБП, и достаточна для обеспечения бесперебойной работы серверов и телекоммуникационного оборудования при полной нагрузке в течение 15 минут. Это время в несколько раз перекрывает нужное на запуск дизель-генераторных установок и их выход на рабочую нагрузку.

    Внутри гермозон задача распределения энергоснабжения возложена на распределительные щиты. Они – последний рубеж перед непосредственным подведением питания в стойки. Каждая стойка получает питание по двум кабелям, это одно из требований резервирования электроснабжения.

    Панели шкафов автоматического ввода резерва (АВР) имеют логическую схему, контролирующую параметры напряжения в сети, полноту и последовательность фаз, а также строго заданный диапазон напряжения. При отклонении от заданных параметров электроснабжение дата-центра переводится на батарейные и дизельные ИБП.

    В плане эксплуатации система неприхотлива. Будучи единожды запущенной, она требует ежегодных замеров и испытаний, включающих протирку контактов спиртом и прочие любимые персоналом мероприятия (шутка). Архитектура системы такова, что любые работы, включая ремонт, можно проводить без какого-либо перерыва в работе оборудования и вспомогательных систем дата-центра.

    Далее – фотографии элементов системы. Надеемся, они окажутся интереснее сухого текста.

    Контрольная панель шкафа ИБП. Виден уровень нагрузки и время работы от батарей (75 минут).

    image

    Батарейный стеллаж. Вес батарей — 5 (пять) тонн.

    image

    image

    image

    Распределительные шкафы ИБП.

    image

    Предохранители шкафа параллельной работы. Обратите внимание, каждый рассчитан на силу тока в 800 Ампер (это очень много).

    image

    image

    image

    Выключатели распределительного щита системы бесперебойного энергоснабжения.

    image

    Плата неизвестного назначения, просто красивая.

    image

    Кабели распределения питания ИБП. Красивые.

    image

    Переключатели шкафа с батарейными предохранителями. Внушительные.

    image

    image

    А это — сами предохранители. Не менее внушительные.

    image

    Приборы шкафа управления электропитание. Виден уровень рабочего тока на фазах и напряжение.

    image

    Автоматические выключатели шкафов управления электропитанием. Те, что рассчитаны на силу тока в 1600 Ампер, обслуживают серверное и телекоммуникационное оборудование, а более мощные, на 2500 Ампер, несут силовую нагрузку (чиллеры, кондиционеры, рабочее освещение и прочее).

    image

    image

    image

    image

    Вид шкафа управления полностью.

    image

    «Мозг» распределительного щита электропитания.

    image

    image

    Переключатель распределительного щита электропитания. «Скромные» 1600 Ампер.

    image

    Содержимое шкафа автоматики. Компоненты TAC Xenta ведут мониторинг работы кондиционеров, чиллеров и других силовых систем.

    image

    image

    Щиты и переключатели: вентиляция и дымоудаление, собственные нужды, аварийное освещение и рабочее освещение.

    image

    image

    image

    image
    image
    Реклама
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее

    Комментарии 208

      +36
      Как там у Вас с противопожарной системой? :)
        +19
        полный порядок. автоматическая установка газового пожаротушения бдительно несет службу. а если вы про отдельный материал — то на подходе.
          +2
          Скажите, а Вы везде уборку делали, или только в тех местах, которые фоткали? )))
            +8
            Везде, раз в 2 недели у нас механическая уборка
              +6
              Ловите плюсик за чувство юмора при выборе юзернейма :)
                +7
                Спасибо, юзернейм — мои сокращенные инициалы =)
                  –7
                  Балиев Ваня, очень приятно :)
                    +9
                    Так Ваня познакомился с климаксом.
                    +11
                    плюсик отправляется родителям!
            0
            Да, это сейчас актуально :)
              +1
              Это всегда актуально.
            +16
            По-взрослому. Впечатляет. Ждем обзор противопожарки.
              +3
              спасибо, постараемся подробнее.
                0
                противопожарка тема нынче очень актуальная, особенно в датацентрах… =)
                  0
                  Главное чтобы ночной саппорт не отключал противопожарную сигнализацию чтоб не мешала :)
              0
              Крутотень просто!

              Порадовала красивая плата :)
                +3
                это контроллер интерфейса
                +9
                Все конечно очень неплохо выглядит, но правовой беспредел реально отбивает желаение хоститься на родине.
                  +1
                  Согласен, но получается что тема с вступлением в ВТО отобьет желание хоститься вообще, я думаю что проще не нарушать закон размещая «корректную» инфу на своих серверах
                    +5
                    В том-то и дело, не нарушать закон — это еще не гарантия, что не придут за твоим сервером. Дело не только в варезе и педобиртьюб.
                      –5
                      тогда и никто не придет, приходят в основном за теми на кого обоснованно пожаловались
                        +4
                        ну да, ну да… Сферический дата-центр в вакууме. А на практике стучат на одного, а приходит дяди в масках и забирают сервер, на котором хостится еще пару десятков проектов. А остальные опечатывают.
                          +1
                          приведи пожалуйста примеры еще таких случаев, как в дата-центре Агава на территории РФ, где приходили дяди в масках.
                            0
                            Вас забанили в гугле?
                            google: маски+шоу+датацентр+агава
                            > Отключили ifolder: Серверы компании «Агава» отключили из-за обыска, приехали…
                            > Милиция закрыла российский файлообменник iFolder
                            > Ху'з некст?

                              +1
                              я же спросила про случаи в дата-центрах (не файлообменники и не случай с Агавой)
                              вопрос открыт: (спасибо за предложение погуглить) реальные случаи в дц с дядями в масках еще были? А не показательные рейды?!
                                –1
                                инфостор, ай.юэй?
                                  0
                                  Colocall в Днепропетровске полностью вынесли, обесточили и отрезали интернет, а пришли за Фрегатом (местный провайдер)
                                  –1
                                  Разве infostore — показательный рейд? Он так и не заработал.
                        0
                        Так закон нарушать и не надо )))
                          +4
                          «То что вы не сидите — не ваша заслуга, а наша недоработка»
                    • НЛО прилетело и опубликовало эту надпись здесь
                        +6
                        Будут, когда вообще что то начнут производить… а не производят ничего потому что есть спрос на то что поставляют из за бугра, потому что там не регулированы цены а соответственно и откаты можно получить… а при производстве в России цена фиксится… и соответственно многим неинтересно это… у нас было много инициатив даже собирать кондеры здесь, пусть хотябы для начала из буржуйской комплектухи… но не находит это у многих понимания…
                          +5
                          мечта, конечно, хорошая, но система мирового распределения труда уже сложилась. нужно в нее вписываться в соответствии с реалиями и стараться извлечь выгоду и укрепить свои позиции.

                          производить отечественное сетевое оборудование, когда уже есть Cisco и Juniper, как минимум нецелесообразно.
                            +1
                            А что тогда «производить»?
                            Сырую нефть и газ?
                              +4
                              вам кажется, что производство — это либо хайтек, либо нефть и газ? Россия традиционно сильна тяжелым машиностроением, железнодорожной техникой, грузовиками, металлопрокатом и десятками других видов продукции. эти производства и нужно развивать.

                              впрочем, хайтека у нас тоже хватает. только он традиционно не слишком-то потребительский. самый яркий пример — ГЛОНАСС.
                                +1
                                Наш хайтек в полном соответствии с остальным вышеперечисленным %) Каждому процессору — ручки для переноски!
                                  +1
                                  и брезентовый рюкзак! ))
                              +1
                              отчего же, ценники на cisco и juniper видели вообще? как насчет IQ2 1Gbe SFP пика ценой в 32 тысячи долларов по GPL. но проблема не в ценах, ценники рисовать много ума не надо, какие-нибудь отечественные производители не стесняются рисовать и ценники и хитрые лицензии на порты, и так далее. проблема в том, что когда некоторым говоришь об «уебищности» их изделия, намекая на «заберите это обратно уже», с вами начинают спорить и убеждать в том что анахронические меню в мультиплексоре, лишенное всякой маломальской диагностики, уж не говоря об удобстве, это верх технологической мысли и вот радуйтесь, потому что производитель считает что этому надо радоваться. в тоже время когда речь доходит до решения проблем, товарищи еще больше мусолят мозги и тратят драгоценное время. ну это, конечно, частный такой пример. есть и весьма достойные отечественные производители, хотя бы по цене/качеству, как раз таке в телекоммуникационном оборудовании, каналообразущее оборудование в частности. как минимум не мусолят, не выносят мозг своими убеждениями и на предьявы об ошибках их фиксят в течении пары-тройке суток :)

                              скажу даже больше :) например натекс сделали замечательный маршрутизатор (могу судить только об аппаратной части его, программную увидеть не было возможности) на intel IXP платформе и тут же заломили конячие деньги, а ведь если бы не провальный маркетинг, то может быть и не нужен нам уже был Cisco ACE .) т.е. вобщем-то, вот оно, что уже могло бы как миниму составить конкуренцию и потеснить ту же cisco.

                              хочется верить, что когда-нибудь времена диких отечественных маркетологов и производителей пройдут, появятся в этом деле адекватные люди предлагающие востребованные решения по справедливым ценам. :)
                                0
                                Кстати, маленькая ремарка, плюс джуниперу за то что у них нет vendor ID на модулях SFP и XFP, точнее он их не требует, можно ставить от любых производителей, а что касается CISCO то vendor ID можно на модули прописать. Про Натекс я Вас полностью поддерживаю. Есть также и другие производители, потихоньку все придет в норму.
                              0
                              ровно в ту секунду как отечественные поделки не будут уступать как минимум в качестве и функционале, при этом будут стоить дешевле, ну и техподдержка вменяемая, решающая проблемы, а не спихивающая их на кого-то…
                                0
                                Это будет тогда, когда в нашей стране начнут Н О Р М А Л Ь Н О финансировать и перестанут хапать деньги. Тогда и начнутся постройки великих дата центров = )
                                +2
                                да, контроллер интерфейса очень красив!!!
                                  +8
                                  Всегда восхищался инженерами, понимающие во всем этом многообразии оборудования
                                    0
                                    Понимать тоже мало, надо ещё много чего знать. Я вот, например, пройдя по датацентру смогу назвать и описать приблизительно 80-90 процентов стоящей там техники. Но с нуля создать такую систему — разве что ИТ-часть :)
                                      +8
                                      Я руководил строительством этого ДЦ, сложно не только понимать… но работать с подрядчиками, сопоставлять все, контролировать кривизну рук и тд… я когда нибудь опишу этот процесс если возникнет потребность…
                                        0
                                        Это как раз интересно.
                                        Заранее благодарен.
                                          +1
                                          Есть такая профессия — датацентры строить.
                                            0
                                            Уже возникла.
                                            +1
                                            Я тоже считаю, что создание ДЦ очень сложное занятие, причем для каждого рабочего звена. И создание Хорошего ДЦ будет для любого инженера, программиста и сисадмина 100-процентным показателем его профессионализма.
                                          +1
                                          читая посты про строительство и внутренние системы вашего ДЦ всегда в голове мысль — «success story». Всегда интересно, жду продолжения!
                                            +3
                                            продолжение конечно будет, скоро сделаем обзор наших изобретений =)
                                            • НЛО прилетело и опубликовало эту надпись здесь
                                              +1
                                              спасибо, такие слова действительно приятно читать. постараемся и впредь радовать ))
                                              +1
                                              Да… просто приятно смотреть на такое — и подход, и реализация внушают доверие. Интересно, кто-нибудь из hosting.ua читает эти материалы?
                                                +2
                                                В хостинг уа сейчас изучают маршруты от Украины до Канадской границы ;-)
                                                +1
                                                А скоро будет статья про охрану этого дата-центра? И про штат юристов, которые будут охранять этот дата-центр от рэйдеров, от липовых заявлений что у вас порноролик лежит на сервере, от наряда ОМОНа и тому подобных российских особенностей ведения бизнеса?

                                                Просто, вот вы пишите какие хорошие дата-центры возводите. Ну прям золотце. Но как только вспоминается, что это в России и последние моменты РУнета — не очень хочеться покупать местечко там. Ну вот прям даже эти красивые фоточки не заманивают :(.
                                                  +8
                                                  никакая охрана не имеет права противодействовать правомерному и подкрепленному соответствующими документами проникновению служб охраны правопорядка на территорию дата-центра. мы играем честно и таких визитов не боимся.

                                                  со всеми остальными угрозами наша охрана справится, глазом не моргнув. штат юристов у нас есть, и рейдеров мы тоже не боимся.

                                                  мы стараемся не рефлексировать на тему «как страшно жить», а идем вперед и помогаем своей стране стать лучше.
                                                    +4
                                                    а активы ваши в России или выведены за границу?
                                                      +1
                                                      наши активы — на фотографиях. находятся в Москве, по адресу ул. Авиамоторная, дом 53.
                                                      +1
                                                      Вы не боитесь, а клиенты? ;-)
                                                        0
                                                        Мы трезво смотрим на ситуацию, и всегда на стороне клиента
                                                          0
                                                          наши клиенты наслаждаются беззаботностью )).
                                                      +2
                                                      Уже которую статью читаю из этого блога, и очередной раз убеждаюсь — При грамотном подходе и достаточном финансировании, можно делать стоящие проекты. Молодцы.
                                                        +1
                                                        спасибо, очень приятно.
                                                        0
                                                        Генераторы в Хайтед покупали?
                                                          0
                                                          если я не ошибаюсь то генераторы на поставляла «Президент-Нева»
                                                          0
                                                          теперь я потихоньку начинаю понимать из-за чего складывается такая высокая стоимость размещения оборудования в Российских ДЦ и почему ДЦ тянет рубль за каждую сотку Ватт.
                                                            +1
                                                            Стоимость подвода электричества порой превышает стоимость инсталляции ДЦ
                                                            0
                                                            А розетка в шкафе автоматики, предполагаю, для чайника или кофеварки? ^__^
                                                            Вообще здорово и… правильно всё. Редко у нас такое встречается.
                                                              0
                                                              Это положено, для того чтобы используя например было бы откуда взять питание, примеров много
                                                                +1
                                                                конечно! пока ковыряешься в кишочках, настраиваешь все, можно быстренько чайку вскипятить, и бутербродик ррраз! )) и уже жить становится лучше, жить становится веселей! ))
                                                                • НЛО прилетело и опубликовало эту надпись здесь
                                                                  +1
                                                                  На первой картинке первые два провода нужно поменять местами!
                                                                  Красный, синий, желтый, зеленый и так далее. =)
                                                                    +2
                                                                    А потом построить раста-дц =)
                                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                                        +1
                                                                        и обжать, обжать обязательно! ))
                                                                        • НЛО прилетело и опубликовало эту надпись здесь
                                                                      +1
                                                                      Зная столько о внутренностях датацентра прям и доверяешь больше :) Правильный маркетинговый ход выбрали. Скажите, а у вас только колокейшн или аренда серверов тоже будет?
                                                                        0
                                                                        Аренда уже есть, на днях должны вывесить калькулятор по расчету аренды серверов на сайт.
                                                                          +2
                                                                          спасибо, мы изначально были уверены в том, что Хабралюди оценят нашу откровенность и желание поделиться опытом.

                                                                          основная услуга дата-центра — аренда стоек, вплоть до десятков. услуги размещения серверов (колокейшн) и аренда dedicated-серверов также присутствуют, равно как и размещение проектов в МВК (масштабируемом виртуальном комплексе). скоро напишем о нем подробнее.
                                                                          0
                                                                          что такое чиллеры?
                                                                            +1
                                                                            Предыдущий пост почитайте, там всё подробно описано. А вообще — часть системы охлаждения.
                                                                              +1
                                                                              если просто — это большие насосы, охлаждающие хладагент и прокачивающие его по контуру системы охлаждения.
                                                                              +2
                                                                              > три дизель-генератора FG Wilson мощностью по 2 мВт каждый
                                                                              скорее МВт :) Так и представил себе генераторы размером в копейку :)
                                                                                +1
                                                                                спасибо за наводку, сейчас поправим ))
                                                                              • НЛО прилетело и опубликовало эту надпись здесь
                                                                                  +1
                                                                                  что вы имеете в виду?
                                                                                    0
                                                                                    Кучу веселеньких и разнообразных тумблеров!
                                                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                                                        +1
                                                                                        Я проходил практику на ТЭЦ (Теплоэлектроцентраль) и на троллейбусном парке города. Так поигрался такими тумблерами. Мастер на троллейбусном парке передернул тумблер на щитке, взял два контакта диаметром по 2,5 см, соединил их, включил питание, развел руки и показал наглядно, что такое электрическая дуга в руках )) Зрелище уххх )
                                                                                        На ТЭЦ дали поиграться старыми масляными трехфазными выключателями. Шкаф не маленький. Так нет, что бы тумблером выключать, мне пришлось создать аварийную ситуацию, а точнее обычное замыкание, но в таких масштабах, она не выглядит обычной.
                                                                                        И вот я замыкаю плоскогубцами контакты, и возле меня падает эта установка, замыкается цепь, летят искры, бабах и я стою перепуганный. Это лучше всех аттракционов. Адреналина достаточно )
                                                                                        Там где все по мощней, контакты поднимают на высоту 5-го этажа, и ставят защитную сетку. Такой штукой поиграться мне не дали, но говорят, когда замыкают такие контакты, то сыпятся такие искры, что каска становиться лучшим другом. Так-же долго находиться в таких помещениях опасно для здоровья. Там постоянно есть запах озона. Да-да, при таких условиях там образуется озон. Электрики еще говорят, что за 2 часа провидение в том здании вечером потенции не жди ))

                                                                                        Может стоит сделать статью с обилием фото, цифрами и спецэффектами?
                                                                                        • НЛО прилетело и опубликовало эту надпись здесь
                                                                                            0
                                                                                            Но-но! Повторяю, я проходил практику, а значит у меня и группа есть, и соответствующие знания. И не мне Вам объяснять, что «кого-нибудь» на такой объект не пускают, а в подобные помещение без пропуска и специальных документов ты и ногой не ступишь. Все это происходило не от «просто так», а по плановой проверке безопасности (раз в 5 лет) подобной установки. Руководило два мастера 6-ой группы со стажем 20 и 15 лет, плюс 2 мастера с 4-ой группой и стажем не больше 4-ех лет.
                                                                                            Так что Вы переставайте чуть, что сразу отбивать руки, сами знаете, что раз я был на таком объекте, то про безопасность мне не стоит рассказывать.
                                                                                  0
                                                                                  Хороший обзор, единственное замечание: фотографии уж слишком вырваны из контекста. Вот вы пишите что батарейный переключатель внушительный. Наверняка так оно и есть, но на фото его сравнить не с чем. И мне, как ни разу не видевшему его, трудновато представить размеры.
                                                                                    +1
                                                                                    спасибо за отзыв, учтем.
                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                      +1
                                                                                      почему же необкатанное? дата-центр прошел полугодичный (!) отладочный период.
                                                                                      • НЛО прилетело и опубликовало эту надпись здесь
                                                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                                                        +1
                                                                                        проза жизни, ничего не поделаешь ))
                                                                                          +1
                                                                                          за которые смею заметить платят деньги
                                                                                        • НЛО прилетело и опубликовало эту надпись здесь
                                                                                            +1
                                                                                            подскажите, какой у нее поражающий эффект?
                                                                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                +1
                                                                                                У вас такая есть? Давайте испытаем!
                                                                                                • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                    0
                                                                                                    Гыгы у меня тоже первый был вопрос что будет если поставят сервак конкуренты с EMP зарядомвнутри ну или сромней с обычной взрывчаткой
                                                                                                      0
                                                                                                      обычно заглядывают внутрь сервака перед установкой, ну чтоб оборудование описать хотя бы :)
                                                                                              0
                                                                                              Фанат сериала «24 часа» детектед :)
                                                                                            • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                +3
                                                                                                спасибо, такие отзывы — отличная мотивация!
                                                                                                +1
                                                                                                Предохранитель на 800А внушает доверие!
                                                                                                  +1
                                                                                                  а «автомат» на 2500 — благоговейный трепет! ))
                                                                                                  +1
                                                                                                  не знаю как у вас, а у меня слюни текут!
                                                                                                  годика через пол экскурсию проведете для гостей из Украины?
                                                                                                    +1
                                                                                                    приезжайте, об экскурсии можно договорится в личке
                                                                                                      0
                                                                                                      большое спасибо за приглашение. когда соберемся — обязательно свяжусь!
                                                                                                      следим за обновлениями!
                                                                                                    0
                                                                                                    мда, нам бы такой порядочек :)
                                                                                                      +2
                                                                                                      давайте мы вам его наведем?
                                                                                                        0
                                                                                                        кидайте прайс ;)
                                                                                                          0
                                                                                                          Кидайте объемы бардака — получите прайс, есть вещи которые могут быть и вовсе бесплатны =)
                                                                                                            0
                                                                                                            думаю доставка услуг в украину будет самым дорогим пунктом. объем — 1 серверная 3*3м
                                                                                                      0
                                                                                                      Интересна какие же у вас цены на коло и дедики будут? А в общем зачёт молодцы.
                                                                                                        0
                                                                                                        цены на colocation:

                                                                                                        www.oversunmercury.ru/data-center/services/colocation/

                                                                                                        цены на dedicated:

                                                                                                        полный спектр будет на днях на сайте в виде калькулятора. вот цена на примерную платформу.
                                                                                                        Аренда dedicated-сервера:

                                                                                                        Платформа HP ProLiant DL160 G6, процессор Intel E5540 (Xeon 2,53 ГГц),
                                                                                                        память 4 Гб (2 x 2 Гб), жесткий диск 2х300 Sata, порт 100 Мбит/с — 16,530.00 рублей в месяц с НДС. Вариант с двумя процессорами — 19,410.00 рублей в месяц с НДС.
                                                                                                          +3
                                                                                                          16к за средненький дедик??? Вы это серьезно?
                                                                                                            +1
                                                                                                            да, серьезно. не вижу ничего «средненького» в DL160 с хорошим Зеоном. плюс вся обвязка дата-центра, естественно.
                                                                                                              0
                                                                                                              Просто, например, в Хетзнере дают более серьезный конфиг за 2т.р. И ДЦ там, я полагаю, тоже не соломенные.
                                                                                                              Имхо ваша цена не конкурентноспособна.
                                                                                                                0
                                                                                                                Ну не надо сравнивать хетзнер, где десктопные компьютеры стоят без нормального питания, охлаждения, ухода и сети, с датацентрами. Особенно, как я понял из описаний, премиум-класса.
                                                                                                                  0
                                                                                                                  На чем основывается утверждение про хетзнер?
                                                                                                                    0
                                                                                                                    На анализе поведения датацентра в случае проблем.
                                                                                                                      0
                                                                                                                      Иными словами, вы не видели, что за компы у них стоят и как устроен ДЦ. То есть, утверждение голословное. Так я и думал.
                                                                                                                        0
                                                                                                                        Это гуглится. Даже в комментарии ниже есть фотка, которая показывает, какие у них компы.

                                                                                                                        Но лично я там не был и ничего не видел, да.
                                                                                                                    0
                                                                                                                    Ну да, судя по фото у них там все несколько попроще =)
                                                                                                                    www.hetzner.de/images/content/presse/print/pi_0308.jpg
                                                                                                                  0
                                                                                                                  Думается мне сообщество ожидало более серьёзное железо за эти деньги. ДЦ хороший и может брать хорошие деньги за размещение, но экономить на копеечном железе как-то несерьёзно. На Hetzner равняться конечно незачем, но и окупаемость железки за 4 месяца это перебор, всё таки ProLiant DL160 G6 это энтри класс
                                                                                                            +2
                                                                                                            А вот на первой фотке контакты проводов вроде люминь или цинк, а клемы к которым они крепятся вроде как медь? или ошибаюсь?
                                                                                                              0
                                                                                                              Не может быть, чтобы алюминий к меди крепили непосредственно. Да и проводку алюминиевую в 21-м веке нормальные люди не кладут уже.
                                                                                                                +1
                                                                                                                действительно, не может быть. поэтому контакты медные. а серебристый цвет имеют потому, что луженые оловом.
                                                                                                                0
                                                                                                                Тоже обратил на это внимание. Научен горьким опытом, что так делать нельзя). Из какого же материала тогда тот провод, что на алюминиевый похож?
                                                                                                                  0
                                                                                                                  Это в скрутках под изолентой нельзя, в соединениях под винт вполне можно.
                                                                                                                    +1
                                                                                                                    провод медный, контакт луженый оловом, поэтому имеет серебристый цвет.
                                                                                                                      0
                                                                                                                      Наконечники на кабель называются биметаллические, подходят для меди и алюминия. Сам такие ставил…
                                                                                                                    0
                                                                                                                    Тоже на это обратил внимание. Клемы правильные, а контакты по виду из самого попсового металла, люмина, сделаны %). Сначала подумалось, что их в олово окунули, но нет, чистая штамповка. Болтики с гаечками тоже, кстати, в ближайшем магазине куплены, они нифига не для таких специфичных мест.
                                                                                                                      0
                                                                                                                      все контакты медные, на кабелях — луженые оловом.
                                                                                                                      0
                                                                                                                      Сколько стоит «дёрнуть рубильник»?
                                                                                                                      (-:
                                                                                                                        +2
                                                                                                                        все можно купить при помощи мастеркард — дернуть рубильник: бесценно!
                                                                                                                        +2
                                                                                                                        Вот уже которую статью смотрю на фотки и восхищаюсь… всё продумано, везде чисто, красота вообщем.
                                                                                                                        Единственное что не понравилось — логотип вашей компании (Тёма в этот раз подкачал)
                                                                                                                          +1
                                                                                                                          логотип резонансный, а значит — удачный. вот если бы все были равнодушны — тогда можно было бы и приуныть ))
                                                                                                                            +1
                                                                                                                            «Резонансность» — не критерий. А где, кстати, резонанс был? :)
                                                                                                                              +1
                                                                                                                              уважаемый Алексей! это для вас лично резонансность не критерий. а для других — вполне себе критерий, не считаете?

                                                                                                                              резонанс был у всех, кто высказывал мнение о логотипе. у половины логотип вызвал стойкое отвращение, у другой половины — восторг. замечательный результат, на мой взгляд.
                                                                                                                                0
                                                                                                                                Вся прелесть лого в полной мере ощущается только после прочтения брендбука. Спасибо, что выложили.
                                                                                                                                  +1
                                                                                                                                  Логотип то ладно. На главной весь сайт страшно скачет. На правые ссылки не тыкается, пока тот блок не увеличится, а увеличивается он не всегда при наведении. А лучи сверху радостно сожрали 100% проца. Странно это как-то.
                                                                                                                                    –1
                                                                                                                                    Ну вот смотрите, фото расчлененного младенца тоже вызовет резонанс. И отвращение будет, и восторг. Это критерий успеха?

                                                                                                                                    «Резонанс» наблюдаю только у тех, кто ходит к Лебедеву в портфолио или жежешечку. Остальные даже и не знают.

                                                                                                                                    Для сравнения: рестайлинг «Билайна». Ну или даже МТС.
                                                                                                                              –2
                                                                                                                              Кто инвестор и какой объем инвестиций?
                                                                                                                                +2
                                                                                                                                объем инвестиций мы уже неоднократно озвучивали, озвучим и еще раз. все вместе — в районе 400 млн. рублей.

                                                                                                                                инвесторы, в соответствии с общепринятой практикой, не раскрываются.
                                                                                                                                  –2
                                                                                                                                  Это не общепринятая практика ;-)
                                                                                                                                  • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                +1
                                                                                                                                Прям канал Discovery ;)
                                                                                                                                • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                    +1
                                                                                                                                    рады порадовать! )))
                                                                                                                                    0
                                                                                                                                    Получается что дизель-генераторы нужны в качестве основного питания на случай одновременного выхода из строя двух подстанций?
                                                                                                                                    • НЛО прилетело и опубликовало эту надпись здесь
                                                                                                                                      0
                                                                                                                                      Скидки для хаброюзеров уже есть или пока только планируются?
                                                                                                                                        +2
                                                                                                                                        хабраскидки для хаброюзеров имеются! В личку!
                                                                                                                                        0
                                                                                                                                        Не хватает фотографий генераторов!
                                                                                                                                          +1
                                                                                                                                          выложим позже, генераторы находятся на территории со строгим режимом доступа, и фотографировать там сложно. но выложим обязательно, чтобы не быть голословными.
                                                                                                                                          0
                                                                                                                                          Мне вот что интересно — а откуда вы знаете, как надо строить дата-центр? Есть какие-то специально обученные люди, которых можно нанять? Или вы там сами собрались, прикинули, решили попробовать? Или как?
                                                                                                                                            0
                                                                                                                                            Есть инженеры, есть архитекторы, есть энергетики, есть теплотехники и т.п.
                                                                                                                                              0
                                                                                                                                              Ну а как догадаться, что нужно найти, например, теплотехника? Должен же быть какой-то мозговой центр?
                                                                                                                                                0
                                                                                                                                                Ну вот, есть теплотехники, а есть мозговые центры ;-) Я, например :-)))))
                                                                                                                                                  0
                                                                                                                                                  Т.е. даю Вам чемодан денег — на выходе дата-центр? А Вы будете на ходу импровизировать, или Вы точно знаете, как надо строить датацентры?
                                                                                                                                                    +1
                                                                                                                                                    Для начала надо понять для чего ДЦ, под конкретный проект или просто коммерческий
                                                                                                                                                      0
                                                                                                                                                      У вас нет чемодана денег ;-) Нет чемодана денег — нет разговора :-)))
                                                                                                                                                        0
                                                                                                                                                        А если серьезно — управленец расписывает бизнес-процессы и подбирает специалистов на каждый конкретный участок работ.

                                                                                                                                                        Например, нужно постоить дата-центр. Выявляем и прописываем требования к нему. Изучаем существующую практику по данному вопросу.

                                                                                                                                                        Скажем, что такое дата-центр и какие к нему требования, в первом приближении? Это место, где мы будем хранить информацию, обрабатывать ее, получать к ней доступ.

                                                                                                                                                        Основное требование — надежность и бесперебойность. То есть, информация не должна никуда пропасть, не должна утечь в третьи руки, доступ к ней должен быть постоянным.

                                                                                                                                                        На чем хранится инфа? На серверах. Значит, их нужно постоянно питать. Проблемная область №1 — питание.

                                                                                                                                                        А еще нужно отводить тепло. Проблемная область №2 — охлаждение.

                                                                                                                                                        Как мы получаем доступ? Проблемная область №3 — связь.

                                                                                                                                                        Далее прорабатываем каждую область. Выделяем риски, изучаем best practices. Вот связь мы получаем через каналы связи. Значит, должны быть эти каналы. Какой может быть риск? например, экскаватор кабель покоцает. Или маски-шоу у провайдера.

                                                                                                                                                        Как можно этот риск нивелировать? Каналы должны быть резервированы. В идеале — от разных мастральных провайдеров, с заходом с разных сторон здания.

                                                                                                                                                        Какие могут быть еще форс-мажорные ситуации? Пожар. Ограбление. Отключение электричества. Что делаем с ними? Система пожаротушения. Двери, охрана, сигнализация, тревожная группа. Генераторы, ИБП.

                                                                                                                                                        Далее прорабатываем еще на один шаг вперед. Скажем, генераторы не смогут стартовать мгновенно. Что делать? ИБП. Сколько надо аккумуляторов? Инженер рассчитывает, исходя из мощности, которую планируем запитать.

                                                                                                                                                        Затем поднимаем все законодательство и нормативные акты, которые пересекаются с нашим бизнес-процессом. СНИПы, правила устройства электроустановок и т.п. и т.д. и др.

                                                                                                                                                        В общем, это тема не для одного камента и даже не для одного поста.
                                                                                                                                                          0
                                                                                                                                                          Это Вы сейчас рассказали по кусочкам знания каких-то разных людей. А что это за люди такие? Где их взять?

                                                                                                                                                          Я вот, например, некоторое время назад даже не догадывался, что существуют газовые системы пожаротушения. Ну, ни к чему как-то было. Как же мне прописать такое требование?

                                                                                                                                                          А какой-нибудь там теплотехник — откуда он знает, где у серверов нужно забирать тепло? А те, кто стойки расставляет — откуда они знают, как их поставить, чтобы потом тепло эффективнее забиралось? Как все эти люди взаимодействуют?

                                                                                                                                                          >В общем, это тема не для одного камента и даже не для одного поста.

                                                                                                                                                          Было бы здорово почитать про это подробно.
                                                                                                                                                            +1
                                                                                                                                                            Обещаю, напишем, причем ядумаю про несколько проектов, про то как строят корпоративный дата-центр и про то как коммерческий
                                                                                                                                                              0
                                                                                                                                                              Ждем-с:)
                                                                                                                                                              0
                                                                                                                                                              Ну у них же есть специальное образование, вот оттуда и знают. По 5-6 лет учатся.

                                                                                                                                                              Не знали, что уществуют системы газового пожаротушения и как прописать такое требование?

                                                                                                                                                              Ну, во-первых, это требование берется далеко не сразу. Это требование к реализации, а не к свойству продукта. Требование — пожаробезопасность. И притом это еще не корректно сформулированное требование, причем довольно высокого уровня.

                                                                                                                                                              Затем требования прорабатываются. Привлекаются консультанты и специалисты по пожарной безопасности. Они уже знают, какие материалы применить, какие системы оповещения, пожаротушения. Как спланировать расстановку и т.п.

                                                                                                                                                              Как специалисты в своих областях, они знакомы с лучшими практиками, а также с законами и нормативными актами.
                                                                                                                                                                +1
                                                                                                                                                                Но я не вижу связности. Откуда все эти люди берутся, в какой последовательности включаются в работу?

                                                                                                                                                                Ну, допустим, теплотехник откуда-то знает, как правильно забирать тепло у серверов. Допустим, его в ВУЗе не только законам термодинамики учили, но и практические лабораторные с использованием серверов проводили.

                                                                                                                                                                И вот приходит он в датацентр, охлаждение делать. А там сервера задними стронами вплотную друг к другу стоят и никаких тебе горячих коридоров.

                                                                                                                                                                Он такой — вы че, с ума сошли?
                                                                                                                                                                А ему — а мы откуда знали, мы же не теплотехники!
                                                                                                                                                                Он им — передвигайте стойки вот так.
                                                                                                                                                                А пожарники ему — ты че, у нас тут уже трубы с газом смонтированы!
                                                                                                                                                                Инвестор — блядь, пятый раз не угадали, опять все переделывать!
                                                                                                                                                                  0
                                                                                                                                                                  Эврика! Для этого человечество и придумало проектирование.

                                                                                                                                                                  Русская народная мудрость гласит: «Семь раз отмерь, один раз отрежь». Это про проектирование.
                                                                                                                                                    +1
                                                                                                                                                    Не считаю большое количество всяких конференций и обучений, это седьмой дата-центр в постройке которого я участвовал, также есть конечно же куча людей которые сидели не сложа руки
                                                                                                                                                      +1
                                                                                                                                                      Т.е. Вы сами знаете как это делается? Грубо говоря, можете в одиночку спроектировать дата-центр?

                                                                                                                                                      Я не знаю, может я как-то некорректно формулирую вопрос… ну вот кто, например, додумался, что аккумуляторов надо 20 тонн? А кто решил, что вводов должно быть четыре? Отауда известно, что батареи надо поставить после шкафов, а не перед шкафами?
                                                                                                                                                        +1
                                                                                                                                                        В одиночку я знаю концепцию, и контролирую проектировщиков, на остальное есть стандарты и расчеты
                                                                                                                                                          0
                                                                                                                                                          Не понимаю… тут наверное, в одном комментарии не объяснишь…

                                                                                                                                                          А Вы не могли бы написать статью про проектирование дата-центра? Ну вот по шагам: есть чемодан денег — что делать дальше? Где взять проектировщиков? Что за стандарты? И.т.д и.т.п.

                                                                                                                                                          Очень хочется про это почитать, было бы здорово, если бы имеющий опыт человек рассказал про это.
                                                                                                                                                            +1
                                                                                                                                                            Без проблем, как только я полноправно стану как и Александр администратором блога (это скоро случится, связано с оплатой услуг хабра), то непременно напишу об этом.
                                                                                                                                                              0
                                                                                                                                                              Про аккумуляторы также интересно, как происходит замена и утилизация. Т.е. обслуживание аккумуляторов кажется более хитрым, чем обслуживание тех же дизелей.
                                                                                                                                                    +1
                                                                                                                                                    всё круто!
                                                                                                                                                    единственное что всё так же неизменно — ужасные кириллические шрифты, призраки совка :(.
                                                                                                                                                      0
                                                                                                                                                      В корне не согласен, наоборот очень приятно видеть надписи на русском языке на современной технике, они уже давно встречаются очень редко.
                                                                                                                                                      0
                                                                                                                                                      Офигенно!!!
                                                                                                                                                      Поражаюсь как инженеры не запутываются во всех этих проводах и тумблерах
                                                                                                                                                        +1
                                                                                                                                                        Надо все правильно промаркировать!
                                                                                                                                                        0
                                                                                                                                                        Сам я инженер-электрик и занимаюсь проектированием силового электрооборудования — то есть ровно тем, что в отчете. Поэтому понравилось — родное все, знакомое до боли! :)
                                                                                                                                                        Конечно, электрооборудование несколько выдрано из контекста его технологических функций — я достроил «картинку» в голове из собственного опыта. А для не специалистов, тут просто красивые фотки.
                                                                                                                                                          +1
                                                                                                                                                          Расскажите публике, зачем на мощных выключателях сбоку рычаг, думаю народ оценит :-)
                                                                                                                                                            0
                                                                                                                                                            для взвода автомата (там мощная пружина)
                                                                                                                                                            0
                                                                                                                                                            + за огромные рубильники
                                                                                                                                                              0
                                                                                                                                                              Оверсан ведь строит ещё ряд ДЦ, Вы (jazzman, climax, другие) в них тоже участвуете или это отдельные проекты?
                                                                                                                                                              Например Оверсан-Скалакси — под них стоится/строился отдельный ДЦ или они пользуются мощностями «общих» ДЦ?
                                                                                                                                                                +2
                                                                                                                                                                Скалакси распологается в «Меркурии», мы участвуем во всех проектах холдинга, тем или иным образом
                                                                                                                                                                0
                                                                                                                                                                «Панели шкафов автоматического ввода резерва (АВР) имеют логическую схему, контролирующую параметры напряжения в сети, полноту и последовательность фаз, а также строго заданный диапазон напряжения.»
                                                                                                                                                                У вас на фото реле CM-MPS не настроено (фото 23), соответственно, нет контроля параметров описанных выше.
                                                                                                                                                                Зачем вам предохранители на нулевом проводнике (фото 15)?
                                                                                                                                                                  +1
                                                                                                                                                                  уточню информацию и отвечу в понедельник, тут вопрос специфический, к энергетикам.
                                                                                                                                                                    +1
                                                                                                                                                                    отвечаю по порядку.

                                                                                                                                                                    фото 15 по счету сверху. нулевого проводника там нет, это предохранители аккумуляторов. соответственно, там только плюс и минус.

                                                                                                                                                                    фото 23 по счету сверху. видны два реле. KV-1 — электропитание от подстанций, KV-2 — электропитание от дизельных генераторов. оба реле настроены. активно только реле питания от подстанций, при пуске генераторов активным становится второе реле.
                                                                                                                                                                      0
                                                                                                                                                                      По первому вопросу спасибо за ответ. Позже сам догадался, у вас ведь мощные аккумуляторы.
                                                                                                                                                                      По второму: на фото у kv1 и kv2 не настроены параметры работы реле напряжения, нет уставок по напряжению (выше и ниже нормы) и таймеру. Контроль производится по наличию напряжению или или отсутствию любой фазы. Вот посмотрите как должно быть, хотя реле немного другое. Может быть у вас сейчас все настроено.
                                                                                                                                                                        0
                                                                                                                                                                        а вам не кажется что все настроено просто такая специфика для реле? нижний предел стоит на нуле верхний на максимуме
                                                                                                                                                                    0
                                                                                                                                                                    одно слово Вы МУЖИКИ!!!
                                                                                                                                                                      +2
                                                                                                                                                                      Там же не только МУЖИКИ!!! :)
                                                                                                                                                                        0
                                                                                                                                                                        я образно говорю, так что они тоже МУЖИКИ!!! =)
                                                                                                                                                                          +2
                                                                                                                                                                          ок, получается и я тоже мужик :) :D
                                                                                                                                                                        +1
                                                                                                                                                                        спасибо, будем так держать! ))
                                                                                                                                                                        0
                                                                                                                                                                        А были ли случаи когда отключался свет и все это работало от аккумуляторов и потом от дизеля и также возвращалось в нормальный режим?
                                                                                                                                                                        Делались ли такие плановые тесты (отключение электричества на вводе) чтобы проверить работает ли система? :))
                                                                                                                                                                          +1
                                                                                                                                                                          Плановые тесты проводились в режиме обкатки дата-центра
                                                                                                                                                                          0
                                                                                                                                                                          Очень интересно было бы узнать, а вы не планируете, внедрение cloud computing сервисов наподобие Amazon-овского EC2?
                                                                                                                                                                            +1
                                                                                                                                                                            У нас в холдинге есть компания которая называется «Оверсан-Скалакси» она посвящает себя полностью «облачным» технологиям
                                                                                                                                                                            0
                                                                                                                                                                            Красотища! Я прямо заскучал по времени работы электриком/зам. энергетика :)

                                                                                                                                                                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.