Прогулки по ЦОДам и телекомам Питера

    Первые дни лета отлично подходят для развивающей поездки в Питер.
    Мы посетим Миран, linxdatacenter, RETN и Метротек.

    5 утра, Московский вокзал, KFC, набережная Мойки, Тарелка, голуби с крыш, Исакий, Марсово поле, Каптюр яндексодрайвовый, и вот он — Миран.

    Миран


    В Миране уже несколько лет проживает наша лаба с Евой, сервер трансляции, виртуальный микротиковский Роутэрос, хостинг linkmeup с IPv6-доступностью и теперь хостинг подкастов.



    У входа в Миран нас встретил сначала внушительных размеров ДГУ.



    Большинство Дизель-Генераторных Установок стоят на колёсах по двум причинам:

    • Мобильность — в паре сотен метров есть ещё несколько модулей Мирана. У них свои генераторы — но мало ли — придётся катать.
    • Мобильность — их не надо регистрировать, как стационарные электростанции и соответственно, не нужна проектная документация.

    ДГУ Мирана зимой и летом стартует за нескольких секунд. В течение этого времени весь ЦОД питают аккумуляторные батареи.

    И железный HP в стойке Мирана и экскурсия стали возможны благодаря Фёдору Русакову.



    Вся экскурсия прошла в уютной домашней атмосфере. Кофе с печеньками, разговор за телекомы, за истоки компании, про перевоз двухсот серверов вкшечки из Москвы в Питер под покровом ночи. Без спешки мы прогулялись по двум зданиям ЦОДа. Оба — BrownField — переделанные из заводских помещений. В первом, принадлежащем Мирану, с которого мы начали и где на втором этаже заряжались после четырёхчасовой прогулки по Питеру, в своё время располагался завод дизельных установок, поистине гигантских дизельных установок. Собственно второго этажа не было — были огромные ворота, чтобы туда-обратно. Всё разобрали, второй этаж сделали, активное охлаждение, резервированное электропитание, газовая система пожаротушения.

    Классический горячий коридор, откуда воздух подаётся в кондиционеры и под фальшполом в закрытый холодный коридор.

    Так же под фальшполом спрятаны кабели питания.

    Миран не родился как площадка для одного якорного клиента, а скорее планомерно развивал предложение на рынке, где есть спрос.

    В своё время тут располагался крупный банк со всеми полагающимися решётками и СКУДами, но он уже съехал.



    Спрос продолжал расти, Миран тоже, появилось второе здание — уже в аренду — тоже BrownField — в двухстах метрах от первого. Дорога лежит вдоль набережной Большой Невки мимо дома Нобеля.



    Новое здание построено по модульному принципу с возможностью перевезти целиком модуль в случае проблем с арендодателем. Первые две коробочки купили у производителя, третью — уже собрали с учётом старых ошибок.

    У модульной архитектуры оказались минусы — они сравнительно узкие — горячий коридор — 60 см — двум человекам не разойтись. А самое главное — стоимость переезда, как оказалось при первом же расчёте, сравнима со строительством нового.

    Но выглядят они как снаружи, так и внутри свеженько и модно.

    NOC у ребят на православном Linux, стабильном дебиане.



    Своё название компания, кстати, получила от платы Система Meridian Integrated Recorded Announcement (MIRAN)  в телефонном коммутаторе Меридиан. А вслед за тем и ЦОД так назвали.



    ЦОД решили строить в сложный 2008-й год.

    С тех пор ребята предоставляют дедик и колокол. В специальных помещениях установлено оборудование операторов.

    И это накладывает определённые ограничения и особенности на работу. Например, в стойках стоит максимально разношёрстно оборудование, как в плане машин, так и в плане сетёвки. В Миране я разве что Аристу и Мелланокс не увидел. Всё оборудование предъявляет разное требование к температуре в холодном коридоре, поэтому приходится поддерживать на очень низком уровне — порядка 20°С, то есть о низких PUE говорить не приходится — у Мирана он 1,5.
    Ещё один нюанс — со змеиными свадьбами в стойках. Как только вы пускаете в помещение внешних товарищей с их коммутациями, пиши «пропала красота». Ни у кого нет исключений.



    Увы, вводить драконовские меры тут может оказаться себе во вред.



    Последние фото.

    А потом мерч от нашего стола вашему и от вашего нашему. Загрузились всей толпой в таксо — и в линкс.



    linxdatacenter


    Это серьёзные ребята, на временном пропуске которых даже написано «Security Matters». Это пройдёт лейтмотивом всей экскурсии.

    После пряничного Мирана в linxdatacenter ты понимаешь, что пришёл лакшери ДЦ. В свой выходной 4 человека съехались прямо скажем не в центр города, чтобы рассказать о себе другим пяти человекам, которые едва ли станут их клиентами :)

    Нас встретила Мария Свистунова, проводила за большой стол переговоров. Немного праздных разговоров за гватемальским кофе и вперёд.



    Экскурсии здесь поставлены на поток. Максим и Олег знают своё дело: рассказывают по накатанной: чётко и с увлечением. Где надо, делают акцент, а где нет — обходят стороной. С чувством юмора тоже полный порядок, поэтому два с лишним часа пролетели незаметно.

    Гордостью ЦОДа является аптайм в 100% начиная с запуска в 2011-м году.

    Уверенность настолько высокая, что для десятых долей даже не предусмотрено место на табло.



    Linx — пример ДЦ в формате GreenField. Здание специально строилось под размещение в нём ДЦ. Поэтому высота потолков, прочность перекрытий вводы электропитания, его резервирование, СКС — было заложено в проект и учтено ещё на этапе строительства.



    Так, по дефолту пол выдерживает стойку в 800 кг, но массу можно ещё увеличить после дополнительного укрепления. Говорят оракловые стойки стоимостью в Falcon9 требуют к себе особого отношения.

    Сам ДЦ запитан от газо-поршневой установки, а городское электричество является только резервом. По словам Максима — это было очень правильным решением, потому что во время известного Питерского блэкаута офис и рядом стоящий БЦ пострадали, а ЦОД продолжилработу.

    Дизель-генератор здесь уже не прицеп на колёсах, а вполне стационарное помещение с дымовыми трубами, вздымающимися высоко над пейзажем.

    Время запуска — не более двух минут, а на батареях весь ЦОД может проработать около часа. Проработать дизеля могут 3 дня без доазправки.

    Здесь во всём царит порядок и продуманность.

    Вот это, например, ключинца, где клиенты ЦОДа могут сами по отпечатку пальца взять ключи от своих стоек.



    А это помещение, где клиенты могут проводить любые нужные им инженерные работы, для чего на стене висит шанцевый инструмент.





    Это уже полочки для местной эксплуатации со всем жизненно необходимым в повседневной работе:





    Оно всегда заряжено и готово к работе.

    Бейсболка начинающего хипхопера на фото выше спасла голову не одного человека. Она твёрдая аки натуральная каска — самое то лазить под полутораметровым фальшполом, где нет-нет — да торчит какая-нибудь острая железяка.

    Собственно сотрудники из эксплуатации:



    Вот этот ничем не примечательный прибор — дифманометр.



    Он призван решить простую задачу — поддерживать разницу давлений между коридором и машинным помещением. Например для того, чтобы оно было внутри чуть выше и при открытии двери пыль не залетала внутрь, а наоборот отлетала от двери.

    Система пожаротушения тоже газовая — в случае беды газ вытесняет кислород и купирует горение.



    В линксе встают только серьёзные и очень серьёзные ребята, у которых есть причины для паранойи величиной в Арарат.

    Решётки и отдельный от датацентрового СКУД — это только начало.

    Вот когда на решение проблемы или на новые коммутации приезжают два человека — один с материальным ключом, другой с электронным — это уже интереснее. А когда от клиента приезжает аудитор в очках, спускается под фальшпол, раздвигает два листа решёток и говорит, что тут пролезет голова ребёнка, понимаешь, что человек видел некоторые интересные вещи в своей жизни.

    Были забавные ситуации, когда при проектировании клетки учли всё, что только можно, все системы безопасности, все размеры, которые позволяют завозить стойку и ставить в неё оборудование, но как-то не подумали о габаритах инженеров которые будут с ним работать. А они ни в фас ни в профиль не помещаются между клеткой и стойкой.

    Если бы я был ФСБ, я бы поставил своё железо в linx :)

    После экскурсии мы ещё довольно долго сидели, душевно болтая под пиццу.
    Из этого царства безопасности и порядка мы двинулись в RETN.



    RETN


    С этими ребятами мы знакомы уже давно и близко. Поэтому ничего удивительного, что наконец-то мы собрались на их крыше, чтобы пожарить шашлыков и потравить байки.



    У них мы тоже уже бывали, хотя, кажется, не рассказывали. В прошлом году планы по захвату Питерских крыш провалились из-за Фифы.

    RETN- вообще-то крупнейший магистральный оператор с волокном по всей планете. Их паутине позавидует любой паук.

    А ДЦ на обводном — это такой домашний проект для души, который нашёл свою нишу на растущем рынке. Сюда встают те, кому нужна толстая связность с миром и выход на других местных операторов.

    Так, например, в RETNе стоит CDN Netflix'а.





    Я с удивлением узнал, что каждая их нода индивидуально от руки подписана какой-то фразой.
    И вот такие праздничные коробочки молотят в разных городах на POPах RETNа (и, очевидно, не только его), доставляя до вас как можно быстрее «Чёрное зеркало» и «Острые козырьки».

    Тут же есть и CDN гугла и куча операторов, как местного уровня, так и федерального.

    У RETNа рядом со зданием стоят два крохотных (по сравнению с мирановским) дизель-генератора и машина с канистрами, чтобы съездить на заправку. Звучит почти как семейный бизнес.

    Ну а вечерние переговоры на крыше довели нас до того, что RETN выдаст нам виртуалочку для резервной площадки под хостинг подкастов и картинок.
    Мировые парни, суперламповый ЦОД, поражающая своими масштабами сеть.



    Для кого-то этот день закончился турниром по duke nukem, для кого-то долгожданным сном в гостинице.

    На следующий день у нас было не так много планов: Метротек и подкаст живьём — linkmeup IRL.



    Метротек


    Буквально месяц назад в гости телеком-подкаста приходили Миша Соколов и Денис Габидуллин из НТЦ Метротек слэш Plumspace, и мы разбирали, что такое Smart SFP. А теперь мы смогли их потрогать живьём.

    Денис, проводивший экскурсию по Питерскому офису Метротек (который к слову не изменился с последнего нашего похода к ним), собственно с порога дал в руки один из образцов.
    Я было сначала удивился, насколько он топорно сделан — словно лобзиком и напильником выточен из ключа на 32.



    Оказалось, что корпус опытного экземпляра был напечатан на 3д-принтере из металлического порошка, что и видно по шероховатой поверхности. Другие — те, что готовы к серии — в полном порядке.



    Но вообще, глядя на них, поражаешься, как же они всё-таки умудрились в почти стандартный корпус спрятать такой количество мозгов.



    Советую послушать подкаст про Розу, Тозу и сестру их Бозу. Получилось на мой вкус интересно.

    Дизайн офиса максимально обычный. Сравнительно небольшие прямоугольные кабинеты, вытянутые к окну, достаточно тёмные, что немного давило. Но атмосфера, несмотря на выходной, царила рабочая.



    Оформление за два года не поменялось. Порадовали некоторые плакаты и доски.

    Мы прошлись по нескольким комнатам: R&D, системщиков, FPGAшников, подержали в руках разные виды SFP, программаторы, увидели первую модель, в которой Smart было вынесено из SFP на проводочке — один из первых экспериментов — скорее, Proof of Concept, что оно вообще работает.

    Говорят, некоторым клиентам даже удобно, чтобы у них из железа торчал такой хвост.
    Самой первой целью два года назад было собрать обычную оптическую SFP, которая будет хотя бы передавать сигнал.

    Потом отдельно собирали Smart часть с чужой SFP (как раз на шнурке), чтобы убедиться, что они в силах скомпоновать чипы.

    Метротеком провёрнута огромная работа. Подумать только, что за 2 года собрали полностью рабочий оптический модуль, который умеет в инкапсуляции, телеметрию, сервер точного времени, конвертер интерфейсов.

    И при этом отладить до идеала (хотя это ещё предстоит проверить временем) базовую функциональность по передаче сигнала. Не должно быть затуханий, не должно быть даже редких дропов по вине SFP. А ещё оно не должно греться, несмотря на пачку ASICов, FPGA и CPU внутри.
    Браво!

    Полноценная вычислительная система:

    • CPU: NXP i.MX6 ARM до 900 МГц
    • FPGA: Lattice ECP5 до 85K LUTs
    • RAM: DDR3 до 1 ГБ

    Денис отметил, что в компании практикуется и поощряется обмен знаниями, опытом. И тут я подумал: «А разве бывает иначе? 0_о». — Да, зачастую к ним приходят люди, которые на прежнем месте работы варились в собственном соку, не общались, делали двойную и тройную работу и в целом избегали попыток коммуникации.

    И тут я вспомнил, что, в общем-то не далее чем два года назад я работал в одной международной широкозабаненной компании, где конференции были под запретом, а knowledge exchange отсутствовал как класс. И именно я был одним из евангелистов еженедельных встреч для обмена опытом, которые, кажется, спасали одиноких инженеров в удалённых регионах.

    В общем в Метротеке на регулярной основе проводятся внутренние тренинги и лекции, почему они и молодцы.

    А дальше нас завели в удивительный цех монтажа. Сколько раз бы я ни бывал в них, кажется, мой детский восторг не угасает.

    У Метротек прямо в офисе стоит оборудование для печати на платах.

    Трафарет для нанесения катышков припоя, принтер SMD-компонентов (иначе я его назвать просто не могу), маленькая печурка для запекания плат и рядом рабочие места для ручного монтажа.







    К своему удивлению узнал, что микрочипы с сотнями ног тоже припаиваются вручную. Денис говорит, что их ребята прям-таки с удивительной точностью и скоростью напаивают мельчайшие детали и порой нет смысла запускать шайтан-машину — человек сделает быстрее.



    Мы между собой нарекли производственную линию Метротек Элтекс-верилайт, на волне сравнительно недавней экскурсии к ним.

    Кроме того в офисе есть 3d-принтер и фрезеровочный станок для внутренних нужд, на котором однако уже гравировали медальки для прошлогоднего Chaos Construction.



    Оттуда мы отправились в потрясающий по своей идейности Krang Pizza, где уже полным составом linkmeup проглотили мутантскую и по размерам и по смыслу пиццу-бургер и двинули в офис IQ option, где и записали первый выпуск linkmeup IRL.



    На следующий день мы ещё заглянули в Лазерный центр по наводке Мамонта, где с нами случился технократический экстаз и немного воспаление жадности, но об этом будет отдельная история.

    В заключение хочется сказать, что все экскурсии и встречи получились весьма разными, как по масштабу действия, так и по направленности.

    Миран который гостеприимно приютил у себя наш хостинг, быстро растущий, но всё ещё по-дружески простой.

    Линкс — поистине крутой ЦОД, с безопасностью во главе угла и опытными маркетологами.
    RETN- молодые весёлые ребята «из гаражей», которые делают гигантскую сеть и пока ещё маленький ЦОДик и не прочь развести костёрчик на крыше.

    Метротек — сравнительно небольшая команда российских разработчиков железа и ПО, которая делает почти «вот этими вот руками» ворох измерительного более чем конкурентоспособного оборудования, а теперь выходит на новый для себя рынок с амбициозной задачей.

    И Лазерный Центр, который выходит за рамки интересов linkmeup, но является объектом наших личных интересов. Оставил очень приятное впечатление и гравировку микрофончика на диктофоне.
    Поддержать автора
    Поделиться публикацией

    Комментарии 14

      0
      >Meridian
      >Мередиан
      У меня тоже был как-то сервачок, который до меня назвали Meridian, и я путался какая там втоая гласная буква i или e. Мнемоническое правило родилось когда узнал что разработчики его называют Мерином.
        0
        Спасибо! Исправил.
        0
        На предпоследней фотографии очень порадовала девушка))

        Если вы понимаете, о чем я :)
        image
        image
          –1
          Да тут вся статья радует непонятными терминами, которые надо искать, и несуществующем словом «вообще». Учитывая то, что статья рекламная, могли бы и объяснить, что это за гринфилды, а не натужно юморить.
            0
            А потрудитесь, пожалуйста, объяснить, на основании чего вы утверждаете, что статья рекламная?
            А так же в каком именно языке не существует словам «вообще».
              –1
              Всё уже объяснил. Вместо обьяснения непонятных терминов — ссылки на обзоры и каналы.
              Слова не существует в русском языке. Можно, конечно, говорить вообще, донат, барбершоп, эйчар менеджер, но это не нормально. Я ещё понимаю, когда в узкоспециализированной среде пользуются своими терминами и говорят инстанс вместо экземпляра виртуалки, но в рекламной статье могли бы и по-русски писать.
                0
                а) dic.academic.ru/dic.nsf/ushakov/763702
                б) Будьте аккуратны, выдавая свои предположения за истину и обвиняя кого-либо бездоказательно
                в) Это мысли после посещения интересных для меня в Питере мест, которое написано в достаточно вольном стиле. Хабр такой: кому нравится — ставит плюс, кому нет — минус, а автор делает выводы, постить в следующий раз такой материал или оставить для своих лишь.
                г) «Всё уже объяснил» — нет :)
                  –1
                  а) в гугле я всё, что угодно, найду, это делает всё найденное фактом, это не словарное слово
                  б) спасибо, внимателен
                  в) я вижу, что вы пишете про какие-то филды, восхваляете коммерческие организации, а написать по-русски, что это просто переоборудованный завод, не можете, надо искать самому
                  Ну так и комментарии я могу писать, это ж не запрещено. Хотите — ставьте минус, хотите — оставляйте «для своих лишь». В карму мне кто-то уже минус поставил сегодня, скорее всего из-за конструктивной критики в вашей статье, потому, что другая с моими комментариями абсолютно некоммерческая.
            +1
            Девушка, увы, не согласилась воспроизвести классическую фотографию)
            0
            Сам ДЦ запитан от газо-поршневой установки, а городское электричество является только резервом.
            Может кто-нибудь пожалуйста рассказать, исходя из какой логики было принято такое решение? Очень интересен ход мысли.
              0
              Передал вопрос линксу.
                0
                Всё просто: газ дешевле.
                  0
                  Это было БЫСТРЕЕ и дешевле. Получить газовую магистраль проще, чем согласовать строительство и подключение ТП.
                  Вот Миран, например, строился в соседнем помещении с ТП. :)
                  0
                  Ну не так все плохо было в забаненой компании. :) Просто большинство каких-то мероприятий требовало выписывания спецов из поднебесной, соответственно и ограничивалось все дефолт сити.

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое