Отчет об экскурсии в самый крупный коммерческий ЦОД России. Построен Мегафоном (этот ЦОД скоро также станет площадкой для хостинга)

    В начале ноября Мегафон-Поволжье пригласил 15 блоггеров Самары на экскурсию в свой ЦОД (он на данный момент крупнейший среди всех коммерческих ЦОД в России). Я стал одним из этих 15-ти. В мегафоне не работаю.

    ЦОД открылся 8 октября 2010. Инвестиции в проект 900млн руб. Тут прессрелиз, там есть ряд технических характеристик. Строили этот ЦОД 2 года.

    На территории ЦОДа общей площадью 6 912 кв. м расположено 6 автозалов площадью 400 м2, электропитающие установки и центр управления. В здании 6 этажей (правда работают только 1ый и 5ый пока, плюс на 5ом автозалов нет — только переговорные комнаты и Центр Управления Мониторинга).

    Внешний вид этого 6-ти этажного здания футуристичен:


    ЦОД расположен в 20км от города Самара, раньше тут были леса, сейчас там рядом построили ИКЕЮ (аж года 3 назад, но никак ее не запустят в эксплуатацию). Мегафоном куплено 3-4 гектара земли, и если понадобиться еще более расширится, можно будет пристроить еще одно здание рядом с ЦОДом на этой территории.


    В ЦОДе сейчас работают 60 ч-к (но естественно в один момент времени всех 60ти там нет, потому что у кого-то выходной, у кого-то другая смена).

    ЦОД строился в соответствии с мировым стандартом EIA/TIA-492 «Стандарт на телекоммуникационную инфраструктуру центров обработки данных». Проект отвечает всем требованиям стандарта. Это отдельно стоящее здание, удаленное от жилых построек, располагается в незатопляемой местности. Здесь реализуется 100-процентное резервирование по энергообеспечению (2 независимых ввода электроэнергии), обеспечивается высокая несущая способность полов – до 5 000 кг/м2., действует современная система пожаротушения, безопасная для клиентского оборудования, осуществляется круглосуточная охрана. На территории расположены 2 резервных дизель-генератора (в виде автофургонов). Если в обоих каналах электричество пропадает, в течение 90 секунд все питается от аккумуляторов, и за эти же 90 секунд дизель-генераторы выходят на требуемую мощность и электропитание начинает поступать от этих дизельгенераторов. В общем, с электричеством проблем не будет в любом случае.

    Получено предварительное заключение Uptime Institute о соответствии ЦОД уровню надежности TIER III. В начале 2011 года будет получен соответствующий сертификат. Специалисты в рассказах сказали, что если бы не аэропорт в 25км от ЦОДа, то он бы получил 4ый уровень надежности, а не 3ий.

    Пропускная способность сети центра – до 200 Гбит/сек.

    Обладая собственной масштабной транспортной сетью на территории Поволжья и всей России, «МегаФон» гарантирует максимально надежную трансмиссию ВОЛС и дополнительное резервирование каналов. Волоконно-оптические линии подведены разными маршрутами, что обеспечивает дополнительное резервирование каналов в случае обрыва.

    У ЦОДа даже есть пара своих скважин для добычи воды.

    В общем, отличное место для облачного хостинга.

    Мегафаон планирует предоставлять услуги collocation (размещения сторонних серваков) в данном ЦОДе. Но только объемами от одной стойки и выше (то есть один сервер поставить туда не дадут). Интересующимся обращаться в отдел корпоративных клиентов Мегафона. В пресс-релизе сказано что Мегафон собирается также и заняться хостингом (по слухам — в том числе и виртуальным хостингом).

    Этот ЦОД — первый из сети ЦОДов, которые Мегфон планирует построить по всей стране.

    Репортаж с экскурсии



    Эксурсия проходила 13 ноября, в субботу (это был рабочий день в России). В 16-00 около центрального офиса Мегафона нас погрузили в микроавтобус и повезли в ЦОД. В начале пути нам раздали распечатанные пресс-релизы (первая ссылка в посте) и бахилы. Ехали примерно час (потому что попали в пробки).

    На КПП у ворот у каждого из нас проверили паспорта, и пропустили внутрь.

    Аптайм обеспечивается даже у елочек рядом со зданием! (там дуют сильные ветра)



    Что немного опечалило — вайфай внутри ЦОДа — платный («мегафон-wifi»), очевидно потому что ПОКА никого помимо сотрудников Мегафона в ЦОДе не бывает.

    На входе специально обученные роботы одевают бахилы на любые засунутые в них части тела. Потому что в ЦОДе грязи и пыли нет места. Курить в помещении ЦОДа тоже нельзя, для этого приходится выходить на улицу.


    Сотрудники Мегафона, проводившие блоггеров по ЦОДу и рассказывающие о нем (CTO — слева на снимке). Они тоже в бахилах.


    Эксурсанты + 2 девушки сотрудницы Мегафона:


    Вход в первый машзал


    В действующем машзале. Одна половина машзала пустая — так что места для стоек клиентов collocation найдется даже на этом этаже. А таких этажей с машзалами еще 4 (но в них пока ведется отделка). С потолка свисают системы пожаротушения.


    Далее мы перешли в половину зала, где стоят стойки.



    Внутри машзала нереальный шум из-за систем вентиляции и работы серверов, разговаривать можно только стоя в 1 метре от человека.



    Блоггеры продолжали активно все фотографировать.


    По словам инженеров, более 50% компов — под юникс-подобными ОС (а что же вы хотели!). Есть solaris, есть hpux, есть линукс. А СУБД в Мегафоне — Оракл.











    Поднял руку с фотиком и сфоткал этот машзал:


    Опять в пустой половине машзала. Видны системы пожаротушения на потолке.


    Вот такой фасад у здания. Дырки сквозные — для отдачи тепла.


    «Комната сторонних операторов» на 5ом этаже.


    Потом мы пошли в центр управления мониторингом на 5ом этаже.


    Там на всю стену огромный экран. 28 проекторов, стоящих за ним, выводят на него различную информацию по процессам, происходящим в оборудовании Мегафона в нескольких городах поволжья


    Содержимое экрана.


    Кажется на одном показан объем трафика, проходящего через сотовую сеть, в зависимости от времени суток.


    тут структура собственной сети каналов Мегафон и кажется траффик в каждом из городов Поволжья от времени суток.


    На всех компьютерах что стояли в ЦУМе — виндовс. Но некоторые используюся как терминальные клиенты для захода в юниксы — на некоторых экранах было видно окна, написанные на Motif.


    Потом нас отвели в отдельный зал и показали кино про ЦОД (3Д-модель здания, местность и тд). К сожалению, по сообщению пиарслужбы компании, этого ролика онлайн никогда не будет.


    После показа ролика нас повели перекусить в комнату для приема пищи для всех работников ЦОДа. Там есть холодильник и микроволновка.


    И в процессе мы продолжали общаться с сотрудниками Мегафона, которые проводили для нас эту экскурсию.


    После этого сотрудники Мегафона вручил каждому пакетики с памятными подарками — кружку, мячик, и даже «летающий будильник» — все брендированное.

    После этого отвезли обратно к центральному офису Мегафона.

    Все было отлично организовано и нереально позновательно (крупнейший коммерческий ЦОД России однако), огромное спасибо Мегафону за эту экскурсию, и всем сотрудникам, приложившим руку к ее организации.

    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 72

    • UFO just landed and posted this here
        0
        Туда часть смены перевезли из башни?
          0
          честно скажу — не знаю
            0
            туа часть башни перевезли на постоянку. в частности тех.отдел
              0
              Туда перевезли все тех отделы из Фрегата вообще, осталось только администрация и менеджмент.
                0
                В башне смены никогда не было :) Перевезли всю.
                +2
                Доводилось пользоваться пару раз этим автоматическим роботом для бахил. С первого раза не всегда получается )) Поэтому там частенько на дисплее нечетное число оставшихся бахил )
                  –4
                  И где можно найти контакты девушки в белой футболке Мегафон? =)
                    –4
                    А мне больше рыжеволосая девушка в очках понравилась :)
                      +12
                      ну и вкусы у вас, господа…
                      • UFO just landed and posted this here
                          +1
                          Но их не мало, от этого они прекраснее не становятся… Слишком мало действительно красивых.
                        –1
                          0
                          –1
                          Не знаю где взять контакты, но ещё немного её фотографий есть здесь в конце: kukaev.livejournal.com/719253.html
                        +1
                        Больше всего впечатляет 5 тонн на метр.
                        Бывшим коллегам из МСС-Поволжье, привет! :)
                          0
                          там вроде не на всех этажах 5 тонн на метр, на некоторых поменьше.
                            0
                            Даже на некоторых это сильно! Очень большой запас прочности.

                            Основная проблема нынешних ЦОДов — использование зданий не предназначенных для таких целей и обеспечение электроэнергией в достаточном объеме. При этом, любая из этих проблем может стать ключевой в плане пригодности ЦОДа к использованию.
                            0
                            Привет привет :)
                            +2
                            Лучше бы леса оставили.
                              –1
                              Они уже обои поклеили. Леса можно было убрать.

                              PS За 900 лимонов — весьма неплохо… мы тут на 5 небольшую серверную собрали.
                              +1
                              Скажите парню в полосатом свитере, что у него бахилы не наделись.
                              Ходют тут всякие и топчут…
                                +1
                                Это диверсант МТС, его задача занести пыль на территорию ЦОД.
                                  +1
                                  у меня мегафон с 2004 года, если что ;)
                                  –1
                                  Превед, капитан очевидность! :)
                                  +2
                                  А ИКЕЮ не откроют скорее всего — привет чинушам :(
                                    0
                                    вот у кого проблемы с электричеством! (если конечно эта ТА САМАЯ икея)
                                    0
                                    Да, не умеют у нас строить так, чтобы леса не вырубать. За обзор спасибо.
                                      +27
                                      Куча отвратительных фотографий.
                                      Никакой интересной информации.

                                      Это отчет?
                                        +2
                                        Всю инфу, которой я обладал, я написал в отчете. Фотографировал на плохой фотик, есть такой момент.

                                        Другие блоггеры тоже написали отчеты. Там фотки существенно лучше.
                                        Вот пример одного из отчетов sv-bob.livejournal.com/229004.html — посмотрите, и скажите какой из отчетов более интересен.
                                          0
                                          это хоть более увлекательно, спасибо за ссылку
                                            +1
                                            -Ваш фотоаппарат делает отличные снимки!
                                            -Ваш рот делает отличные комплименты!
                                          +1
                                          Цитата из прессрелиза
                                          Пропускная способность по энергосбережению сети центра – до 200 Гбит/сек
                                          Это как понимать?
                                            0
                                            Это коммерческая тайна :-)

                                            +1
                                            HP,SUN,HUAWEI,NOKIA…
                                            не понимаю, зачем городить такой зоопарк?
                                              –1
                                              а мне бы узнать зачем в мегафоне венда на серверах…
                                                +1
                                                Задач полно, потому и зоопарк.
                                                  +1
                                                  Как минимум для поднятия AD и офисной инфраструктуры
                                                  0
                                                  Ни один из указанных вендоров не может обеспечить полный комплект оборудования для работы сотового оператора. Плюс, так сложилось по историческим причинам.
                                                    0
                                                    Потому что там оборудование не только мегафона. Но и компаний которые там арендуют места.
                                                      0
                                                      Сейчас там оборудование только Мегафона, ну плюс от ФСБ. Пока никто не арендует места.
                                                        0
                                                        Я конечно не могу утверждать абсолютно, но Синтерра предлагала нам размещать в региональных цодах оборудование.
                                                        Да и на мониторинге видно рутюб и мэил
                                                        www.mobile-review.com/articles/2010/image/data-mega-samara/pic/Low/552.jpg
                                                        +1
                                                        Нет там никакого оборудования ФСБ :) Есть для ФСБ.
                                                          0
                                                          Я говорю на основании слов представителей Мегафона на этой экскурсии :)
                                                            0
                                                            :) А я как сотрудник МегаФон. Принимавший участие в проектировании ИТ части ЦОД.
                                                              0
                                                              Впрочем, это не суть важно.
                                                      0
                                                      А про МТС и Билайн будет? Очень интересно посмотреть
                                                        0
                                                        Если пригласят — то может и будет.
                                                        0
                                                        познавательно
                                                          0
                                                          Забавно было прочитать этот отчет сразу после habrahabr.ru/blogs/infosecurity/108464/.
                                                          • UFO just landed and posted this here
                                                              0
                                                              > Пропускная способность сети центра – до 200 Гбит/сек.

                                                              Я так понимаю, это не канал во внешний мир, а внутренняя скорость? Или, может, вообще сумма всех ethernet-портов серверов? Метрики отсутствуют, а маркетолухи могут что угодно написать, дай только волю.
                                                                0
                                                                думаю что внутренняя. Серверов там слишком много чтобы всего 200Гбит было в сумме
                                                                  0
                                                                  Запросто и внешняя. Это же Синтерра.
                                                                  0
                                                                  зачем делать такой плохой отчет?
                                                                    0
                                                                    чем именно он плох (кроме низкого качества фоток — но мы как бы не фотокружок; с удовольствием получу от вас зеркалку в подарок на будущее)?

                                                                      0
                                                                      не, я понимаю, обидно када свое.
                                                                      будете проездом в минске — устроим)
                                                                        0
                                                                        ок, ловлю на слове.
                                                                    0
                                                                    ок, ловлю на слове.
                                                                      0
                                                                      Если кому-то интересно, то в шкафах HP — система хранения HP EVA 6400 или 8400.
                                                                        0
                                                                        Гениально, открою тебе секрет, только 8100 и 8400
                                                                          0
                                                                          Ну по фотографиям более точно я определить не мог. А вот про 8100 не думал, так как уже предыдущее поколение.
                                                                            0
                                                                            То, что предыдущее, еще не значит что выбросить нужно :-)
                                                                              0
                                                                              Ну так я думал, что все оборудование закупали. А 8100 еще в сентябре прошлого года с производства сняли. Получается перевезли с предыдущего места обитания?
                                                                                0
                                                                                Да, и такое тоже :) Это даже не 3я имеющаяся площадка МегаФон в Самаре
                                                                        0
                                                                        Скромненько. Ни тебе «больших утюгов», ни сентер. Да и безопасность + стерильность очень так себе построена. Кстати, когда бывал в по-настоящему большом ЦОДе, настоятельно просили всю электронику (мобильники, камеры и т.д.) выключать—большим серьёзным системам (от IBM, DEC (да-да!), HP (PA-RISC)) не нравится излишнее электромагнитное излучение.
                                                                          +1
                                                                          Большие «холодильники» пока в другом месте :) По поводу сотовых полный бред — ничего не влияет на сервера и СХД, специально даже делали запрос вендору.
                                                                            0
                                                                            Вы не поверите, но в ЦОДах мобильных операторов, например в залах где расположены MSC (коммутаторы мобильной сети), даже устанавливаются тестовые BS (базовые станции, с емкостью на передатчиках естественно) и делаются вызовы. И на стоящее в соседних рядах оборудование SUN, HP, IBM, EMC2 и т.д. это ни коим образом не влияет. Так что либо Вас ввели в заблуждение, либо скрыли цели… либо уж что-то очень специальное там стоит, чего в ЦОД мобильных операторов мне за 5 лет работы с ними не встречалось.
                                                                            +2
                                                                            На самом деле — все «вкусное» — большие «холодильники» и прочие красивые дорогие игрушки еще не завезли по некоторым причинам. Так что рановато сходили на экскурсию.
                                                                              0
                                                                              Как то там в целом все выглядит скучно и грустно…
                                                                                0
                                                                                Красивые слова о чистоте, нарочитое внимание бахилам и обувающим в них роботам… и такая пыль и грязища прямо в действующем машзале:


                                                                                Only users with full accounts can post comments. Log in, please.