Первые дни лета отлично подходят для развивающей поездки в Питер.
Мы посетим Миран, linxdatacenter, RETN и Метротек.
5 утра, Московский вокзал, KFC, набережная Мойки, Тарелка, голуби с крыш, Исакий, Марсово поле, Каптюр яндексодрайвовый, и вот он — Миран.
В Миране уже несколько лет проживает наша лаба с Евой, сервер трансляции, виртуальный микротиковский Роутэрос, хостинг linkmeup с IPv6-доступностью и теперь хостинг подкастов.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/4a8/92b/87b/4a892b87b87a80105e23c00758d7e3c1.jpg)
У входа в Миран нас встретил сначала внушительных размеров ДГУ.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/f78/299/e82/f78299e82ac70502740ed0464907f380.jpg)
Большинство Дизель-Генераторных Установок стоят на колёсах по двум причинам:
ДГУ Мирана зимой и летом стартует за нескольких секунд. В течение этого времени весь ЦОД питают аккумуляторные батареи.
И железный HP в стойке Мирана и экскурсия стали возможны благодаря Фёдору Русакову.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/662/132/606/6621326067f14e1e19fb96a469959921.jpg)
Вся экскурсия прошла в уютной домашней атмосфере. Кофе с печеньками, разговор за телекомы, за истоки компании, про перевоз двухсот серверов вкшечки из Москвы в Питер под покровом ночи. Без спешки мы прогулялись по двум зданиям ЦОДа. Оба — BrownField — переделанные из заводских помещений. В первом, принадлежащем Мирану, с которого мы начали и где на втором этаже заряжались после четырёхчасовой прогулки по Питеру, в своё время располагался завод дизельных установок, поистине гигантских дизельных установок. Собственно второго этажа не было — были огромные ворота, чтобы туда-обратно. Всё разобрали, второй этаж сделали, активное охлаждение, резервированное электропитание, газовая система пожаротушения.
Классический горячий коридор, откуда воздух подаётся в кондиционеры и под фальшполом в закрытый холодный коридор.
Так же под фальшполом спрятаны кабели питания.
Миран не родился как площадка для одного якорного клиента, а скорее планомерно развивал предложение на рынке, где есть спрос.
В своё время тут располагался крупный банк со всеми полагающимися решётками и СКУДами, но он уже съехал.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/92b/8aa/2d9/92b8aa2d9c7abe644796e1cabf222a21.jpg)
Спрос продолжал расти, Миран тоже, появилось второе здание — уже в аренду — тоже BrownField — в двухстах метрах от первого. Дорога лежит вдоль набережной Большой Невки мимо дома Нобеля.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/eb1/d2d/32f/eb1d2d32fd412b4272532cefba2283b2.jpg)
Новое здание построено по модульному принципу с возможностью перевезти целиком модуль в случае проблем с арендодателем. Первые две коробочки купили у производителя, третью — уже собрали с учётом старых ошибок.
У модульной архитектуры оказались минусы — они сравнительно узкие — горячий коридор — 60 см — двум человекам не разойтись. А самое главное — стоимость переезда, как оказалось при первом же расчёте, сравнима со строительством нового.
Но выглядят они как снаружи, так и внутри свеженько и модно.
NOC у ребят на православном Linux, стабильном дебиане.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/808/093/0bf/8080930bf5dce86bf77eb47f7347ee61.jpg)
Своё название компания, кстати, получила от платы Система Meridian Integrated Recorded Announcement (MIRAN) в телефонном коммутаторе Меридиан. А вслед за тем и ЦОД так назвали.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/29a/f89/cbb/29af89cbb69ea9f57a2d15b72caea810.jpg)
ЦОД решили строить в сложный 2008-й год.
С тех пор ребята предоставляют дедик и колокол. В специальных помещениях установлено оборудование операторов.
И это накладывает определённые ограничения и особенности на работу. Например, в стойках стоит максимально разношёрстно оборудование, как в плане машин, так и в плане сетёвки. В Миране я разве что Аристу и Мелланокс не увидел. Всё оборудование предъявляет разное требование к температуре в холодном коридоре, поэтому приходится поддерживать на очень низком уровне — порядка 20°С, то есть о низких PUE говорить не приходится — у Мирана он 1,5.
Ещё один нюанс — со змеиными свадьбами в стойках. Как только вы пускаете в помещение внешних товарищей с их коммутациями, пиши «пропала красота». Ни у кого нет исключений.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/cc6/03a/d87/cc603ad87aedb71597921b731e4229f3.jpg)
Увы, вводить драконовские меры тут может оказаться себе во вред.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/f3c/424/7a3/f3c4247a383d5bcdac7b5a43425b121f.jpg)
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/12e/a71/535/12ea7153572c5ec5a3de1fb5d62c9381.jpg)
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/a76/da9/69c/a76da969c0841b8279e8f1fc8cd983d0.jpg)
Последние фото.
А потом мерч от нашего стола вашему и от вашего нашему. Загрузились всей толпой в таксо — и в линкс.
Это серьёзные ребята, на временном пропуске которых даже написано «Security Matters». Это пройдёт лейтмотивом всей экскурсии.
После пряничного Мирана в linxdatacenter ты понимаешь, что пришёл лакшери ДЦ. В свой выходной 4 человека съехались прямо скажем не в центр города, чтобы рассказать о себе другим пяти человекам, которые едва ли станут их клиентами :)
Нас встретила Мария Свистунова, проводила за большой стол переговоров. Немного праздных разговоров за гватемальским кофе и вперёд.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/130/83d/40c/13083d40c9d3ebdd3e07d4d652b34f36.jpg)
Экскурсии здесь поставлены на поток. Максим и Олег знают своё дело: рассказывают по накатанной: чётко и с увлечением. Где надо, делают акцент, а где нет — обходят стороной. С чувством юмора тоже полный порядок, поэтому два с лишним часа пролетели незаметно.
Гордостью ЦОДа является аптайм в 100% начиная с запуска в 2011-м году.
Уверенность настолько высокая, что для десятых долей даже не предусмотрено место на табло.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/335/9f6/2d9/3359f62d9763eed5722b473b2a4033fb.jpg)
Linx — пример ДЦ в формате GreenField. Здание специально строилось под размещение в нём ДЦ. Поэтому высота потолков, прочность перекрытий вводы электропитания, его резервирование, СКС — было заложено в проект и учтено ещё на этапе строительства.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/6de/ac2/4c3/6deac24c38252cd120dbb9e76a20514b.jpg)
Так, по дефолту пол выдерживает стойку в 800 кг, но массу можно ещё увеличить после дополнительного укрепления. Говорят оракловые стойки стоимостью в Falcon9 требуют к себе особого отношения.
Сам ДЦ запитан от газо-поршневой установки, а городское электричество является только резервом. По словам Максима — это было очень правильным решением, потому что во время известного Питерского блэкаута офис и рядом стоящий БЦ пострадали, а ЦОД продолжилработу.
Дизель-генератор здесь уже не прицеп на колёсах, а вполне стационарное помещение с дымовыми трубами, вздымающимися высоко над пейзажем.
Время запуска — не более двух минут, а на батареях весь ЦОД может проработать около часа. Проработать дизеля могут 3 дня без доазправки.
Здесь во всём царит порядок и продуманность.
Вот это, например, ключинца, где клиенты ЦОДа могут сами по отпечатку пальца взять ключи от своих стоек.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/a37/a59/a0c/a37a59a0c6a3d1ea31776a5fd682cbaa.jpg)
А это помещение, где клиенты могут проводить любые нужные им инженерные работы, для чего на стене висит шанцевый инструмент.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/8ce/df3/c42/8cedf3c42835652cd1f94c81c4d88454.jpg)
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/d3a/ee2/4e6/d3aee24e6f792f677c2fad983079ce43.jpg)
Это уже полочки для местной эксплуатации со всем жизненно необходимым в повседневной работе:
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/384/f46/2d2/384f462d28cdb0f57d8583a14a094752.jpg)
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/46b/6fa/eda/46b6faedae05df44259bdbc66b4b9f6f.jpg)
Оно всегда заряжено и готово к работе.
Бейсболка начинающего хипхопера на фото выше спасла голову не одного человека. Она твёрдая аки натуральная каска — самое то лазить под полутораметровым фальшполом, где нет-нет — да торчит какая-нибудь острая железяка.
Собственно сотрудники из эксплуатации:
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/41f/45c/219/41f45c219d266361dd3e2fa27cad6bf1.jpg)
Вот этот ничем не примечательный прибор — дифманометр.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/c70/c69/57e/c70c6957e190593c894054d7c0847d74.jpg)
Он призван решить простую задачу — поддерживать разницу давлений между коридором и машинным помещением. Например для того, чтобы оно было внутри чуть выше и при открытии двери пыль не залетала внутрь, а наоборот отлетала от двери.
Система пожаротушения тоже газовая — в случае беды газ вытесняет кислород и купирует горение.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/4cb/8ee/362/4cb8ee362e53ae3f23839052b1721d56.jpg)
В линксе встают только серьёзные и очень серьёзные ребята, у которых есть причины для паранойи величиной в Арарат.
Решётки и отдельный от датацентрового СКУД — это только начало.
Вот когда на решение проблемы или на новые коммутации приезжают два человека — один с материальным ключом, другой с электронным — это уже интереснее. А когда от клиента приезжает аудитор в очках, спускается под фальшпол, раздвигает два листа решёток и говорит, что тут пролезет голова ребёнка, понимаешь, что человек видел некоторые интересные вещи в своей жизни.
Были забавные ситуации, когда при проектировании клетки учли всё, что только можно, все системы безопасности, все размеры, которые позволяют завозить стойку и ставить в неё оборудование, но как-то не подумали о габаритах инженеров которые будут с ним работать. А они ни в фас ни в профиль не помещаются между клеткой и стойкой.
Если бы я был ФСБ, я бы поставил своё железо в linx :)
После экскурсии мы ещё довольно долго сидели, душевно болтая под пиццу.
Из этого царства безопасности и порядка мы двинулись в RETN.
С этими ребятами мы знакомы уже давно и близко. Поэтому ничего удивительного, что наконец-то мы собрались на их крыше, чтобы пожарить шашлыков и потравить байки.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/441/c97/682/441c97682fad6cc247ce7ac5cd4e8dff.jpg)
У них мы тоже уже бывали, хотя, кажется, не рассказывали. В прошлом году планы по захвату Питерских крыш провалились из-за Фифы.
RETN- вообще-то крупнейший магистральный оператор с волокном по всей планете. Их паутине позавидует любой паук.
А ДЦ на обводном — это такой домашний проект для души, который нашёл свою нишу на растущем рынке. Сюда встают те, кому нужна толстая связность с миром и выход на других местных операторов.
Так, например, в RETNе стоит CDN Netflix'а.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/249/045/feb/249045feb24527b410bf6777d0271f81.jpg)
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/1ab/550/332/1ab550332b84aec7a04bb4482b6853df.jpg)
Я с удивлением узнал, что каждая их нода индивидуально от руки подписана какой-то фразой.
И вот такие праздничные коробочки молотят в разных городах на POPах RETNа (и, очевидно, не только его), доставляя до вас как можно быстрее «Чёрное зеркало» и «Острые козырьки».
Тут же есть и CDN гугла и куча операторов, как местного уровня, так и федерального.
У RETNа рядом со зданием стоят два крохотных (по сравнению с мирановским) дизель-генератора и машина с канистрами, чтобы съездить на заправку. Звучит почти как семейный бизнес.
Ну а вечерние переговоры на крыше довели нас до того, что RETN выдаст нам виртуалочку для резервной площадки под хостинг подкастов и картинок.
Мировые парни, суперламповый ЦОД, поражающая своими масштабами сеть.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/7a5/841/fcf/7a5841fcffef35edf9e25bbcd41c51a0.jpg)
Для кого-то этот день закончился турниром по duke nukem, для кого-то долгожданным сном в гостинице.
На следующий день у нас было не так много планов: Метротек и подкаст живьём — linkmeup IRL.
Буквально месяц назад в гости телеком-подкаста приходили Миша Соколов и Денис Габидуллин из НТЦ Метротек слэш Plumspace, и мы разбирали, что такое Smart SFP. А теперь мы смогли их потрогать живьём.
Денис, проводивший экскурсию по Питерскому офису Метротек (который к слову не изменился с последнего нашего похода к ним), собственно с порога дал в руки один из образцов.
Я было сначала удивился, насколько он топорно сделан — словно лобзиком и напильником выточен из ключа на 32.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/50b/d4f/f2c/50bd4ff2ca008f8718fcd2784873a402.jpg)
Оказалось, что корпус опытного экземпляра был напечатан на 3д-принтере из металлического порошка, что и видно по шероховатой поверхности. Другие — те, что готовы к серии — в полном порядке.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/8d0/449/525/8d04495253ad632a132594196d307723.jpg)
Но вообще, глядя на них, поражаешься, как же они всё-таки умудрились в почти стандартный корпус спрятать такой количество мозгов.
![](https://habrastorage.org/r/w1560/getpro/habr/post_images/248/ce6/40c/248ce640cee2bff62403210905428e1c.png)
Советую послушать подкаст про Розу, Тозу и сестру их Бозу. Получилось на мой вкус интересно.
Дизайн офиса максимально обычный. Сравнительно небольшие прямоугольные кабинеты, вытянутые к окну, достаточно тёмные, что немного давило. Но атмосфера, несмотря на выходной, царила рабочая.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/699/5c2/725/6995c27250354d3940a75d2d30acdbcc.jpg)
Оформление за два года не поменялось. Порадовали некоторые плакаты и доски.
Мы прошлись по нескольким комнатам: R&D, системщиков, FPGAшников, подержали в руках разные виды SFP, программаторы, увидели первую модель, в которой Smart было вынесено из SFP на проводочке — один из первых экспериментов — скорее, Proof of Concept, что оно вообще работает.
Говорят, некоторым клиентам даже удобно, чтобы у них из железа торчал такой хвост.
Самой первой целью два года назад было собрать обычную оптическую SFP, которая будет хотя бы передавать сигнал.
Потом отдельно собирали Smart часть с чужой SFP (как раз на шнурке), чтобы убедиться, что они в силах скомпоновать чипы.
Метротеком провёрнута огромная работа. Подумать только, что за 2 года собрали полностью рабочий оптический модуль, который умеет в инкапсуляции, телеметрию, сервер точного времени, конвертер интерфейсов.
И при этом отладить до идеала (хотя это ещё предстоит проверить временем) базовую функциональность по передаче сигнала. Не должно быть затуханий, не должно быть даже редких дропов по вине SFP. А ещё оно не должно греться, несмотря на пачку ASICов, FPGA и CPU внутри.
Браво!
И тут я вспомнил, что, в общем-то не далее чем два года назад я работал в одной международной широкозабаненной компании, где конференции были под запретом, а knowledge exchange отсутствовал как класс. И именно я был одним из евангелистов еженедельных встреч для обмена опытом, которые, кажется, спасали одиноких инженеров в удалённых регионах.
В общем в Метротеке на регулярной основе проводятся внутренние тренинги и лекции, почему они и молодцы.
А дальше нас завели в удивительный цех монтажа. Сколько раз бы я ни бывал в них, кажется, мой детский восторг не угасает.
У Метротек прямо в офисе стоит оборудование для печати на платах.
Трафарет для нанесения катышков припоя, принтер SMD-компонентов (иначе я его назвать просто не могу), маленькая печурка для запекания плат и рядом рабочие места для ручного монтажа.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/ef0/c85/149/ef0c85149e08aa90a1baba6728b657d7.jpg)
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/772/7ef/99f/7727ef99f6f198f4627b176c056484ea.jpg)
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/23c/8f5/b85/23c8f5b85d4934f5eaecf3dc56489bad.jpg)
К своему удивлению узнал, что микрочипы с сотнями ног тоже припаиваются вручную. Денис говорит, что их ребята прям-таки с удивительной точностью и скоростью напаивают мельчайшие детали и порой нет смысла запускать шайтан-машину — человек сделает быстрее.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/fb2/c0e/dcf/fb2c0edcfcfd388c1637d583a313358e.jpg)
Мы между собой нарекли производственную линию Метротек Элтекс-верилайт, на волне сравнительно недавней экскурсии к ним.
Кроме того в офисе есть 3d-принтер и фрезеровочный станок для внутренних нужд, на котором однако уже гравировали медальки для прошлогоднего Chaos Construction.
![](https://habrastorage.org/r/w780q1/getpro/habr/post_images/15e/7ca/bc4/15e7cabc47de2f2582e2cf1db2028aec.jpg)
Оттуда мы отправились в потрясающий по своей идейности Krang Pizza, где уже полным составом linkmeup проглотили мутантскую и по размерам и по смыслу пиццу-бургер и двинули в офис IQ option, где и записали первый выпуск linkmeup IRL.
На следующий день мы ещё заглянули в Лазерный центр по наводке Мамонта, где с нами случился технократический экстаз и немного воспаление жадности, но об этом будет отдельная история.
В заключение хочется сказать, что все экскурсии и встречи получились весьма разными, как по масштабу действия, так и по направленности.
Миран который гостеприимно приютил у себя наш хостинг, быстро растущий, но всё ещё по-дружески простой.
Линкс — поистине крутой ЦОД, с безопасностью во главе угла и опытными маркетологами.
RETN- молодые весёлые ребята «из гаражей», которые делают гигантскую сеть и пока ещё маленький ЦОДик и не прочь развести костёрчик на крыше.
Метротек — сравнительно небольшая команда российских разработчиков железа и ПО, которая делает почти «вот этими вот руками» ворох измерительного более чем конкурентоспособного оборудования, а теперь выходит на новый для себя рынок с амбициозной задачей.
И Лазерный Центр, который выходит за рамки интересов linkmeup, но является объектом наших личных интересов. Оставил очень приятное впечатление и гравировку микрофончика на диктофоне.
Мы посетим Миран, linxdatacenter, RETN и Метротек.
5 утра, Московский вокзал, KFC, набережная Мойки, Тарелка, голуби с крыш, Исакий, Марсово поле, Каптюр яндексодрайвовый, и вот он — Миран.
Миран
В Миране уже несколько лет проживает наша лаба с Евой, сервер трансляции, виртуальный микротиковский Роутэрос, хостинг linkmeup с IPv6-доступностью и теперь хостинг подкастов.
![](https://habrastorage.org/getpro/habr/post_images/4a8/92b/87b/4a892b87b87a80105e23c00758d7e3c1.jpg)
У входа в Миран нас встретил сначала внушительных размеров ДГУ.
![](https://habrastorage.org/getpro/habr/post_images/f78/299/e82/f78299e82ac70502740ed0464907f380.jpg)
Большинство Дизель-Генераторных Установок стоят на колёсах по двум причинам:
- Мобильность — в паре сотен метров есть ещё несколько модулей Мирана. У них свои генераторы — но мало ли — придётся катать.
- Мобильность — их не надо регистрировать, как стационарные электростанции и соответственно, не нужна проектная документация.
ДГУ Мирана зимой и летом стартует за нескольких секунд. В течение этого времени весь ЦОД питают аккумуляторные батареи.
И железный HP в стойке Мирана и экскурсия стали возможны благодаря Фёдору Русакову.
![](https://habrastorage.org/getpro/habr/post_images/662/132/606/6621326067f14e1e19fb96a469959921.jpg)
Вся экскурсия прошла в уютной домашней атмосфере. Кофе с печеньками, разговор за телекомы, за истоки компании, про перевоз двухсот серверов вкшечки из Москвы в Питер под покровом ночи. Без спешки мы прогулялись по двум зданиям ЦОДа. Оба — BrownField — переделанные из заводских помещений. В первом, принадлежащем Мирану, с которого мы начали и где на втором этаже заряжались после четырёхчасовой прогулки по Питеру, в своё время располагался завод дизельных установок, поистине гигантских дизельных установок. Собственно второго этажа не было — были огромные ворота, чтобы туда-обратно. Всё разобрали, второй этаж сделали, активное охлаждение, резервированное электропитание, газовая система пожаротушения.
Классический горячий коридор, откуда воздух подаётся в кондиционеры и под фальшполом в закрытый холодный коридор.
Так же под фальшполом спрятаны кабели питания.
Миран не родился как площадка для одного якорного клиента, а скорее планомерно развивал предложение на рынке, где есть спрос.
В своё время тут располагался крупный банк со всеми полагающимися решётками и СКУДами, но он уже съехал.
![](https://habrastorage.org/getpro/habr/post_images/92b/8aa/2d9/92b8aa2d9c7abe644796e1cabf222a21.jpg)
Спрос продолжал расти, Миран тоже, появилось второе здание — уже в аренду — тоже BrownField — в двухстах метрах от первого. Дорога лежит вдоль набережной Большой Невки мимо дома Нобеля.
![](https://habrastorage.org/getpro/habr/post_images/eb1/d2d/32f/eb1d2d32fd412b4272532cefba2283b2.jpg)
Новое здание построено по модульному принципу с возможностью перевезти целиком модуль в случае проблем с арендодателем. Первые две коробочки купили у производителя, третью — уже собрали с учётом старых ошибок.
У модульной архитектуры оказались минусы — они сравнительно узкие — горячий коридор — 60 см — двум человекам не разойтись. А самое главное — стоимость переезда, как оказалось при первом же расчёте, сравнима со строительством нового.
Но выглядят они как снаружи, так и внутри свеженько и модно.
NOC у ребят на православном Linux, стабильном дебиане.
![](https://habrastorage.org/getpro/habr/post_images/808/093/0bf/8080930bf5dce86bf77eb47f7347ee61.jpg)
Своё название компания, кстати, получила от платы Система Meridian Integrated Recorded Announcement (MIRAN) в телефонном коммутаторе Меридиан. А вслед за тем и ЦОД так назвали.
![](https://habrastorage.org/getpro/habr/post_images/29a/f89/cbb/29af89cbb69ea9f57a2d15b72caea810.jpg)
ЦОД решили строить в сложный 2008-й год.
С тех пор ребята предоставляют дедик и колокол. В специальных помещениях установлено оборудование операторов.
И это накладывает определённые ограничения и особенности на работу. Например, в стойках стоит максимально разношёрстно оборудование, как в плане машин, так и в плане сетёвки. В Миране я разве что Аристу и Мелланокс не увидел. Всё оборудование предъявляет разное требование к температуре в холодном коридоре, поэтому приходится поддерживать на очень низком уровне — порядка 20°С, то есть о низких PUE говорить не приходится — у Мирана он 1,5.
Ещё один нюанс — со змеиными свадьбами в стойках. Как только вы пускаете в помещение внешних товарищей с их коммутациями, пиши «пропала красота». Ни у кого нет исключений.
![](https://habrastorage.org/getpro/habr/post_images/cc6/03a/d87/cc603ad87aedb71597921b731e4229f3.jpg)
Увы, вводить драконовские меры тут может оказаться себе во вред.
![](https://habrastorage.org/getpro/habr/post_images/f3c/424/7a3/f3c4247a383d5bcdac7b5a43425b121f.jpg)
![](https://habrastorage.org/getpro/habr/post_images/12e/a71/535/12ea7153572c5ec5a3de1fb5d62c9381.jpg)
![](https://habrastorage.org/getpro/habr/post_images/a76/da9/69c/a76da969c0841b8279e8f1fc8cd983d0.jpg)
Последние фото.
А потом мерч от нашего стола вашему и от вашего нашему. Загрузились всей толпой в таксо — и в линкс.
linxdatacenter
Это серьёзные ребята, на временном пропуске которых даже написано «Security Matters». Это пройдёт лейтмотивом всей экскурсии.
После пряничного Мирана в linxdatacenter ты понимаешь, что пришёл лакшери ДЦ. В свой выходной 4 человека съехались прямо скажем не в центр города, чтобы рассказать о себе другим пяти человекам, которые едва ли станут их клиентами :)
Нас встретила Мария Свистунова, проводила за большой стол переговоров. Немного праздных разговоров за гватемальским кофе и вперёд.
![](https://habrastorage.org/getpro/habr/post_images/130/83d/40c/13083d40c9d3ebdd3e07d4d652b34f36.jpg)
Экскурсии здесь поставлены на поток. Максим и Олег знают своё дело: рассказывают по накатанной: чётко и с увлечением. Где надо, делают акцент, а где нет — обходят стороной. С чувством юмора тоже полный порядок, поэтому два с лишним часа пролетели незаметно.
Гордостью ЦОДа является аптайм в 100% начиная с запуска в 2011-м году.
Уверенность настолько высокая, что для десятых долей даже не предусмотрено место на табло.
![](https://habrastorage.org/getpro/habr/post_images/335/9f6/2d9/3359f62d9763eed5722b473b2a4033fb.jpg)
Linx — пример ДЦ в формате GreenField. Здание специально строилось под размещение в нём ДЦ. Поэтому высота потолков, прочность перекрытий вводы электропитания, его резервирование, СКС — было заложено в проект и учтено ещё на этапе строительства.
![](https://habrastorage.org/getpro/habr/post_images/6de/ac2/4c3/6deac24c38252cd120dbb9e76a20514b.jpg)
Так, по дефолту пол выдерживает стойку в 800 кг, но массу можно ещё увеличить после дополнительного укрепления. Говорят оракловые стойки стоимостью в Falcon9 требуют к себе особого отношения.
Сам ДЦ запитан от газо-поршневой установки, а городское электричество является только резервом. По словам Максима — это было очень правильным решением, потому что во время известного Питерского блэкаута офис и рядом стоящий БЦ пострадали, а ЦОД продолжилработу.
Дизель-генератор здесь уже не прицеп на колёсах, а вполне стационарное помещение с дымовыми трубами, вздымающимися высоко над пейзажем.
Время запуска — не более двух минут, а на батареях весь ЦОД может проработать около часа. Проработать дизеля могут 3 дня без доазправки.
Здесь во всём царит порядок и продуманность.
Вот это, например, ключинца, где клиенты ЦОДа могут сами по отпечатку пальца взять ключи от своих стоек.
![](https://habrastorage.org/getpro/habr/post_images/a37/a59/a0c/a37a59a0c6a3d1ea31776a5fd682cbaa.jpg)
А это помещение, где клиенты могут проводить любые нужные им инженерные работы, для чего на стене висит шанцевый инструмент.
![](https://habrastorage.org/getpro/habr/post_images/8ce/df3/c42/8cedf3c42835652cd1f94c81c4d88454.jpg)
![](https://habrastorage.org/getpro/habr/post_images/d3a/ee2/4e6/d3aee24e6f792f677c2fad983079ce43.jpg)
Это уже полочки для местной эксплуатации со всем жизненно необходимым в повседневной работе:
![](https://habrastorage.org/getpro/habr/post_images/384/f46/2d2/384f462d28cdb0f57d8583a14a094752.jpg)
![](https://habrastorage.org/getpro/habr/post_images/46b/6fa/eda/46b6faedae05df44259bdbc66b4b9f6f.jpg)
Оно всегда заряжено и готово к работе.
Бейсболка начинающего хипхопера на фото выше спасла голову не одного человека. Она твёрдая аки натуральная каска — самое то лазить под полутораметровым фальшполом, где нет-нет — да торчит какая-нибудь острая железяка.
Собственно сотрудники из эксплуатации:
![](https://habrastorage.org/getpro/habr/post_images/41f/45c/219/41f45c219d266361dd3e2fa27cad6bf1.jpg)
Вот этот ничем не примечательный прибор — дифманометр.
![](https://habrastorage.org/getpro/habr/post_images/c70/c69/57e/c70c6957e190593c894054d7c0847d74.jpg)
Он призван решить простую задачу — поддерживать разницу давлений между коридором и машинным помещением. Например для того, чтобы оно было внутри чуть выше и при открытии двери пыль не залетала внутрь, а наоборот отлетала от двери.
Система пожаротушения тоже газовая — в случае беды газ вытесняет кислород и купирует горение.
![](https://habrastorage.org/getpro/habr/post_images/4cb/8ee/362/4cb8ee362e53ae3f23839052b1721d56.jpg)
В линксе встают только серьёзные и очень серьёзные ребята, у которых есть причины для паранойи величиной в Арарат.
Решётки и отдельный от датацентрового СКУД — это только начало.
Вот когда на решение проблемы или на новые коммутации приезжают два человека — один с материальным ключом, другой с электронным — это уже интереснее. А когда от клиента приезжает аудитор в очках, спускается под фальшпол, раздвигает два листа решёток и говорит, что тут пролезет голова ребёнка, понимаешь, что человек видел некоторые интересные вещи в своей жизни.
Были забавные ситуации, когда при проектировании клетки учли всё, что только можно, все системы безопасности, все размеры, которые позволяют завозить стойку и ставить в неё оборудование, но как-то не подумали о габаритах инженеров которые будут с ним работать. А они ни в фас ни в профиль не помещаются между клеткой и стойкой.
Если бы я был ФСБ, я бы поставил своё железо в linx :)
После экскурсии мы ещё довольно долго сидели, душевно болтая под пиццу.
Из этого царства безопасности и порядка мы двинулись в RETN.
RETN
С этими ребятами мы знакомы уже давно и близко. Поэтому ничего удивительного, что наконец-то мы собрались на их крыше, чтобы пожарить шашлыков и потравить байки.
![](https://habrastorage.org/getpro/habr/post_images/441/c97/682/441c97682fad6cc247ce7ac5cd4e8dff.jpg)
У них мы тоже уже бывали, хотя, кажется, не рассказывали. В прошлом году планы по захвату Питерских крыш провалились из-за Фифы.
RETN- вообще-то крупнейший магистральный оператор с волокном по всей планете. Их паутине позавидует любой паук.
А ДЦ на обводном — это такой домашний проект для души, который нашёл свою нишу на растущем рынке. Сюда встают те, кому нужна толстая связность с миром и выход на других местных операторов.
Так, например, в RETNе стоит CDN Netflix'а.
![](https://habrastorage.org/getpro/habr/post_images/249/045/feb/249045feb24527b410bf6777d0271f81.jpg)
![](https://habrastorage.org/getpro/habr/post_images/1ab/550/332/1ab550332b84aec7a04bb4482b6853df.jpg)
Я с удивлением узнал, что каждая их нода индивидуально от руки подписана какой-то фразой.
И вот такие праздничные коробочки молотят в разных городах на POPах RETNа (и, очевидно, не только его), доставляя до вас как можно быстрее «Чёрное зеркало» и «Острые козырьки».
Тут же есть и CDN гугла и куча операторов, как местного уровня, так и федерального.
У RETNа рядом со зданием стоят два крохотных (по сравнению с мирановским) дизель-генератора и машина с канистрами, чтобы съездить на заправку. Звучит почти как семейный бизнес.
Ну а вечерние переговоры на крыше довели нас до того, что RETN выдаст нам виртуалочку для резервной площадки под хостинг подкастов и картинок.
Мировые парни, суперламповый ЦОД, поражающая своими масштабами сеть.
![](https://habrastorage.org/getpro/habr/post_images/7a5/841/fcf/7a5841fcffef35edf9e25bbcd41c51a0.jpg)
Для кого-то этот день закончился турниром по duke nukem, для кого-то долгожданным сном в гостинице.
На следующий день у нас было не так много планов: Метротек и подкаст живьём — linkmeup IRL.
Метротек
Буквально месяц назад в гости телеком-подкаста приходили Миша Соколов и Денис Габидуллин из НТЦ Метротек слэш Plumspace, и мы разбирали, что такое Smart SFP. А теперь мы смогли их потрогать живьём.
Денис, проводивший экскурсию по Питерскому офису Метротек (который к слову не изменился с последнего нашего похода к ним), собственно с порога дал в руки один из образцов.
Я было сначала удивился, насколько он топорно сделан — словно лобзиком и напильником выточен из ключа на 32.
![](https://habrastorage.org/getpro/habr/post_images/50b/d4f/f2c/50bd4ff2ca008f8718fcd2784873a402.jpg)
Оказалось, что корпус опытного экземпляра был напечатан на 3д-принтере из металлического порошка, что и видно по шероховатой поверхности. Другие — те, что готовы к серии — в полном порядке.
![](https://habrastorage.org/getpro/habr/post_images/8d0/449/525/8d04495253ad632a132594196d307723.jpg)
Но вообще, глядя на них, поражаешься, как же они всё-таки умудрились в почти стандартный корпус спрятать такой количество мозгов.
![](https://habrastorage.org/getpro/habr/post_images/248/ce6/40c/248ce640cee2bff62403210905428e1c.png)
Советую послушать подкаст про Розу, Тозу и сестру их Бозу. Получилось на мой вкус интересно.
Дизайн офиса максимально обычный. Сравнительно небольшие прямоугольные кабинеты, вытянутые к окну, достаточно тёмные, что немного давило. Но атмосфера, несмотря на выходной, царила рабочая.
![](https://habrastorage.org/getpro/habr/post_images/699/5c2/725/6995c27250354d3940a75d2d30acdbcc.jpg)
Оформление за два года не поменялось. Порадовали некоторые плакаты и доски.
Мы прошлись по нескольким комнатам: R&D, системщиков, FPGAшников, подержали в руках разные виды SFP, программаторы, увидели первую модель, в которой Smart было вынесено из SFP на проводочке — один из первых экспериментов — скорее, Proof of Concept, что оно вообще работает.
Говорят, некоторым клиентам даже удобно, чтобы у них из железа торчал такой хвост.
Самой первой целью два года назад было собрать обычную оптическую SFP, которая будет хотя бы передавать сигнал.
Потом отдельно собирали Smart часть с чужой SFP (как раз на шнурке), чтобы убедиться, что они в силах скомпоновать чипы.
Метротеком провёрнута огромная работа. Подумать только, что за 2 года собрали полностью рабочий оптический модуль, который умеет в инкапсуляции, телеметрию, сервер точного времени, конвертер интерфейсов.
И при этом отладить до идеала (хотя это ещё предстоит проверить временем) базовую функциональность по передаче сигнала. Не должно быть затуханий, не должно быть даже редких дропов по вине SFP. А ещё оно не должно греться, несмотря на пачку ASICов, FPGA и CPU внутри.
Браво!
Полноценная вычислительная система:Денис отметил, что в компании практикуется и поощряется обмен знаниями, опытом. И тут я подумал: «А разве бывает иначе? 0_о». — Да, зачастую к ним приходят люди, которые на прежнем месте работы варились в собственном соку, не общались, делали двойную и тройную работу и в целом избегали попыток коммуникации.
- CPU: NXP i.MX6 ARM до 900 МГц
- FPGA: Lattice ECP5 до 85K LUTs
- RAM: DDR3 до 1 ГБ
И тут я вспомнил, что, в общем-то не далее чем два года назад я работал в одной международной широкозабаненной компании, где конференции были под запретом, а knowledge exchange отсутствовал как класс. И именно я был одним из евангелистов еженедельных встреч для обмена опытом, которые, кажется, спасали одиноких инженеров в удалённых регионах.
В общем в Метротеке на регулярной основе проводятся внутренние тренинги и лекции, почему они и молодцы.
А дальше нас завели в удивительный цех монтажа. Сколько раз бы я ни бывал в них, кажется, мой детский восторг не угасает.
У Метротек прямо в офисе стоит оборудование для печати на платах.
Трафарет для нанесения катышков припоя, принтер SMD-компонентов (иначе я его назвать просто не могу), маленькая печурка для запекания плат и рядом рабочие места для ручного монтажа.
![](https://habrastorage.org/getpro/habr/post_images/ef0/c85/149/ef0c85149e08aa90a1baba6728b657d7.jpg)
![](https://habrastorage.org/getpro/habr/post_images/772/7ef/99f/7727ef99f6f198f4627b176c056484ea.jpg)
![](https://habrastorage.org/getpro/habr/post_images/23c/8f5/b85/23c8f5b85d4934f5eaecf3dc56489bad.jpg)
К своему удивлению узнал, что микрочипы с сотнями ног тоже припаиваются вручную. Денис говорит, что их ребята прям-таки с удивительной точностью и скоростью напаивают мельчайшие детали и порой нет смысла запускать шайтан-машину — человек сделает быстрее.
![](https://habrastorage.org/getpro/habr/post_images/fb2/c0e/dcf/fb2c0edcfcfd388c1637d583a313358e.jpg)
Мы между собой нарекли производственную линию Метротек Элтекс-верилайт, на волне сравнительно недавней экскурсии к ним.
Кроме того в офисе есть 3d-принтер и фрезеровочный станок для внутренних нужд, на котором однако уже гравировали медальки для прошлогоднего Chaos Construction.
![](https://habrastorage.org/getpro/habr/post_images/15e/7ca/bc4/15e7cabc47de2f2582e2cf1db2028aec.jpg)
Оттуда мы отправились в потрясающий по своей идейности Krang Pizza, где уже полным составом linkmeup проглотили мутантскую и по размерам и по смыслу пиццу-бургер и двинули в офис IQ option, где и записали первый выпуск linkmeup IRL.
На следующий день мы ещё заглянули в Лазерный центр по наводке Мамонта, где с нами случился технократический экстаз и немного воспаление жадности, но об этом будет отдельная история.
В заключение хочется сказать, что все экскурсии и встречи получились весьма разными, как по масштабу действия, так и по направленности.
Миран который гостеприимно приютил у себя наш хостинг, быстро растущий, но всё ещё по-дружески простой.
Линкс — поистине крутой ЦОД, с безопасностью во главе угла и опытными маркетологами.
RETN- молодые весёлые ребята «из гаражей», которые делают гигантскую сеть и пока ещё маленький ЦОДик и не прочь развести костёрчик на крыше.
Метротек — сравнительно небольшая команда российских разработчиков железа и ПО, которая делает почти «вот этими вот руками» ворох измерительного более чем конкурентоспособного оборудования, а теперь выходит на новый для себя рынок с амбициозной задачей.
И Лазерный Центр, который выходит за рамки интересов linkmeup, но является объектом наших личных интересов. Оставил очень приятное впечатление и гравировку микрофончика на диктофоне.