company_banner

Экскурсия по Селектелу: ДЦ «Технодом»

    «Идея запостить фотографии из наших ДЦ родилась давно. Но то времени нет, то у фотографов-любителей, вроде меня, руки не из того места растут, то ещё что-то. Наконец, собрались вместе свободное время и прямые руки.

    В этом цикле статей мы покажем как выглядят наши ДЦ.

    Итак, старейший дата-центр Селектела (с которого компания, собственно, и началась), под кодовым названием »Технодом".

    Видео


    Небольшая видео-экскурсия:


    Серверная


    Она же — машинный зал, payload (в буквальном смысле) для любого дата-центра. Именно тут находятся маленькие кусочки плавленного кремния, ради которых работает всё остальное оборудование и люди.

    (картинки кликабельны)


    Традиционно, основным форматом, использующимся для размещения серверов, являются 19" (19 дюймов), их высота измеряется в юнитах (вершках, хе-хе). Сервера плотно монтируются один над другим в специальные шкафы с вертикальными направляющими. Шкафы иногда ещё называют «стойкой». В «Технодоме» используются шкафы 42 U размером (внутренние направляющие имеют высоту 42 юнита, плюс чуть-чуть снизу, плюс чуть-чуть сверху, плюс чуть-чуть с боков на стенки и место для кабелей — то есть фактический размер шкафа больше, чем 1.8 метра в высоту и 48 сантиметров в длину). Реальная полезная нагрузка шкафа несколько меньше, так как туда ещё монтируются розетки (тоже 19"). Размеры самого шкафа: высота 2030, ширина 600 мм. Глубина шкафов разная — на выбор 620, 820 и 1020мм.

    (под катом — ещё фотографии серверной, оборудования и людей)

    <habracut/>


    Селектел традиционно использует модель холодного коридора: Холодный воздух под давлением нагнетается в коридор, откуда его забирают вентиляторы серверов и выкидывают в «горячий коридор», который на самом деле во-первых не горячий, а во-вторых не коридор — это всё свободное место серверной, кроме «холодных коридоров». Холодные коридоры действительно холодные, долго там находиться неуютно. В SLA записано обещание держать там температуру +20±2°С, градуса, в реальности там обычно эти самые +20-2. А с учётом постоянного холодного сквозняка из вентиляции (в этом месте и все 15 градусов может быть), это место точно не для человеков.

    Холодный коридор образуется двумя рядами шкафов (они делают боковые стенки коридора), крышей сверху и лёгкими дверьми с обеих сторон коридора.

    Все сервера монтируются так, чтобы щели воздухозаборников смотрели в сторону холодного коридора (обычно это «морды» серверов), а горячий воздух выдувался «наружу» (его забирает система кондиционирования, прогоняет через фильтры, осушку/увлажнение, охлаждение и пускает обратно в холодный коридор).

    На фотографиях серверной вид в холодный коридор. Общая площадь ДЦ — три с половиной тысячи квадратных метров. Полезная ёмкость — 320 шкафов (13440 юнитов), размещённых на 1400 квадратных метрах серверных площадей.



    Унификация делает своё (чёрное?) дело — не смотря на то, что это фотографии трёх разных холодных коридоров, понять, что они разные можно только по этому предложению (считайте это игрой на внимательность — найдите 16 различий между коридорами).

    Большинство серверов имеет разъёмы питания, подключения сети и т.д. с «горячей» стороны, так что все работы по коммутации, подключению/отключению и т.д. прохоят именно оттуда.



    На этой фотографии хорошо виден горизонтальный кабель-канал — именно он используется для подключения серверов к сети (ну и между собой).



    Мрачные застенки охлаждения


    Чтобы в холодных коридорах было тепло и уютно холодно и сухо нужна могучая система охлаждения. В отличие от нежных кремниевых кусочков, кулеры от кондиционеров предназначены для размещения на улице.

    Мы сделали чуть-чуть иначе — кулеры размещены в сквозном коридоре, что их защищает от дождя и птичьих бомбардировок.



    С обоих сторонах вентиляторы для выдувания горячего воздуха из кондиционера. Используется стандартная схема N+1 (то есть стоит простаивающая хотспара). Кондиционеры Lessar.

    Оно же, крупным планом:


    Электричеcтво


    Что важнее для дата-центра — электричество или интернет?

    3 мегаватта мощности. Разумеется, бесперебойники и дизель-генераторы. Наверное, тут следовало бы рассказать много интересного про электричество, но это не моя стихия. Скажу только, что в помещения электрического хозяйства меня, например, не пускают (нет нужного доступа — там шесть киловольт). Два ввода обслуживаются 4мя трансформаторами, к щитам идёт 380 вольт, ко всей технике уже идёт обычные 220.





    Обратите внимание на батарею — в то время, когда вся цивилизованная серверная охлаждается, контейнер с генератором отапливается. Шторки (горизонтальные металлические планки) автоматические, открываются одновременно с включением генератора.

    Генераторов — 4 шт. Три размещены на улице, один, на всякий самый крайний случай, в здании (в отдельном помещении с отдельной вентиляцией, разумеется). Пуск автоматический.

    Периодически (примерно раз в месяц) их включают для проверки, по своим впечатлениям могу сказать, что сожжённая солярка на несколько мегаватт пахнет не сильно хорошо.

    Немного о дизель-генераторах (я подошёл к техническому директору за подробностями) — у каждого дизель-генератора два стартера, собственные бесперебойники для запуска (аж две штуки).

    Снизу можно как раз одну из этих батарей увидеть:


    На время, пока генераторы включаются, разумеется, есть источники бесперебойного питания. Находятся они в отдельном помещении. Это промышленные упсы General Electric, собранные в 4 кластера (плюс традиционная хотспара).



    Связь


    Что важнее для дата-центра — электричество или интернет? На самом деле, «интернет» это слишком узкое понятие для ДЦ, для него важна связность. Далеко не все линки, выходящие из дата-центра являются интернетом, многие из них — приватные сети, серые волокна, объединяющие отдельные сервера в единую конструкцию и т.д.

    Все ДЦ Селектела имеют линки друг с другом через нашу оптику. (Карта прохождения линков: selectel.ru/services/rentvols)

    Святая святых, узел связи:


    Разумеется, есть прямые линки до мест максимальной концентрации интернета в городе — Боровая, 57 и Большая Морская, 18. Кроме того, в ДЦ присутствует несколько операторов — RunNet, Retn.Net, Мегафон, ОБИТ, Раском, МТС, Комстар-ОТС. Входов оптики в здание два — через колодец и по воздуху (резервная линия).

    Пожары и их тушение


    Основным средством тушения пожаров, как бы ни было странно, являются огнетушители и видео-наблюдение. Если же это не поможет, то есть тяжёлая артиллерия — газовая система пожаротушения.



    Охрана


    Разумеется, есть. Около 100 камер видео-наблюдения, табельное оружие. Проход по RFID-меткам (карточки).

    Часть камер используется для наблюдения не за безопасностью, а для наблюдения за оборудованием. Разумеется, всё пишется в архив.

    Selectel
    152,06
    ИТ-инфраструктура для бизнеса
    Поделиться публикацией

    Комментарии 84

      0
      Очень надеюсь, что кондиционеры будут справляться. Ибо не видно второй стороны комнаты и не понятно как циркулирует воздух. Молодцы, красивенько :)
        +1
        Там то же самое, но на выдув.
        +3
        Хорошо выглядят коридоры, особенно вмонтированные воздуховоды!
          0
          Это бывшая площадка Инфобокса на Васильевском?
            +2
            Это площадка технодома, участником данного проекта когда то был и Инфобокс, но позднее мы вышли из проекта.
              0
              Вот как! Спасибо за информацию, а то дежавю замучило =)
            0
            У топлива ограничен срок хранения (ГОСТ на дизельное устанавливает гарантийный срок 5 лет). У многих пользователей генератор не запускается в нужный момент, потому что редко используется и топливо в запасе застарело. Как вы организуете отслеживание и обновление топлива?
              0
              Тестовый запуск делают обычно раз в пол года. Обычная процедура.
                –1
                Хорошо, провели тестовый запуск, работает, следующий будет через полгода. Через 4 месяца сбой питающей сети, нужно запускать генератор, а за эти 4 месяца топливо застарело и двигатель на нем уже не работает.
                  +5
                  Я думаю в таком случае у всех снимают по зарплате, пяток неудачников увольняют и начинают работать дальше с менее огромными сроками проверок.
                    0
                    Как-то несерьезно. Гораздо логичнее было бы делать так: через год все топливо менять на новое, а старое продавать на автобазу или использовать в своем транспорте.
                      0
                      А клиенты сваливают?
                      +2
                      Полагаю, топливо не переходит мгновенно из состояния «годно» в состояние «негодно», следовательно можно выявить хреновость топлива по плохой работе двигателя при одном из запусков.
                        0
                        Мгновенно — нет, а как конкретно двигатель отреагирует на конкретный уровень застарелости топлива, я бы предсказывать не брался. Ну запустили, ну сегодня работает. При боевом запуске в генераторной банально может быть другая температура воздуха (генератор же рассчитан на работу и при +10, и при +25, так что там вряд ли выдерживают температуру точно), при другой температуре застарелое топливо может начать вести себя немного иначе, и запуск не состоится.
                          0
                          В тех дизель-генераторах, с которыми мне приходилось иметь дело есть специальная система подогрева охлаждающей жидкости двигателя. Она постоянно поддерживает температуру +42. Если вдруг будет меньше +28-ми, то у дежурного сработает сигнализация и он пойдет разбираться в чем дело.

                          Ну и пробные запуски проводят не реже раза в месяц, это если все по науке делать.
                        0
                        Если топливо нормальное, то застареть оно не может.
                          –1
                          Тогда зачем в ГОСТ указан гарантийный срок?

                          Топливо получается проведением химических реакций, в которых используются катализаторы, часть катализатора может попадать в продукты реакции и приводить к тому, что реакция будет медленно идти дальше. Именно это происходит с нестабилизированным полиэтиленом — на солнце он продолжает полимеризацию и становится хрупким, в результате рвется как бумага.
                            0
                            Прошу прощения, имел ввиду быстро застареть!
                        0
                        Я же в статье написал — раз в месяц (в реальности раз в две недели, но не точно, так что «раз в месяц» это верхняя пессимистичная оценка).
                        +5
                        Тестовые запуски ДГУ мы делаем раз в две недели, тестовое переключение нагрузки на ДГУ раз в 1-2 месяца, в зависимости от конкретного дата-центра и того какое оборудование там используется.

                        Проблема с застаревшим топливом для нас достаточно абстрактна, так как хранящееся в баках топливо не доживает до 5 лет и сгорает гораздо раньше, все-таки отключения центральной сети происходят часто, а расход у таких ДГУ высокий (100-400 литров в час, в зависимости от мощности).
                          –1
                          Понятно. Если выжигаете раньше — то проблема уменьшается, но не исчезает. Когда вы сжигаете небольшую часть старого топлива и доливаете до верху новое, они смешиваются, так что в результате получается не совсем новое топливо.

                          Возможно, в вашем случае это не приводит ни к каким отрицательным последствиям, но важно помнить, что такая проблема есть.
                            +1
                            Не «небольшую». Я ща поговорил с людьми, топливо полностью сгорает за квартал. Так что даже с «подливами» оно полностью сменяется задолго до приближения дедлайнов.
                              –1
                              Да, вроде выглядит, что сменяется достаточно быстро.

                              Вы не могли бы назвать примерно, как часто бывают отключения и как долго они длятся? Это интересно, потому что все привыкли оценивать по отключениям в жилом фонде, а есть подозрение, что к электроснабжению населения энергетики подходят более трепетно.
                                +1
                                Ну, там не знаю, а вообще, два ввода — повышенный класс обслуживания, не должно быть совсем часто.

                                Про Технодом не скажу, на цветочной свет мигает (всё, кроме аварийного освещения в офисных зданиях мимо упсов/дизелей работает) примерно раз в месяц. Крупные аварии редко. Помню, мы с интересом читали про аварию, когда весь Московский р-н отключали (нас тоже). За вычетом неработающей кофе-машины никто не пострадал.
                        +3
                        Ровные ряды супермикровских серверов на racks*.jpg намекают, что они задействованы под свой проект, или под одного клиента. Когда клиентов в стойке несколько, такой ровной красоты не получается.
                        У Яндекс так же в их ДЦ:
                        image
                        А еще клиенты-то есть?

                        Стойки операторов вообще в другом помещении, другие стены, другое СКС и, судя по кондиционеру сверху, другое охлаждение. За что так нас ненавидите?
                          0
                          Дата-центр Технодом в основном используется для услуги «выделенное серверное помещение». Внутри дата-центра 10 средних по размеру серверных (по 20-60 стоек), и обычно каждая из этих серверных арендуется каким-то одним клиентом целиком.

                          По поводу «За что так нас ненавидите?» — вопрос непонятен.
                            +1
                            Являюсь сотрудником оператора. Взял на себя смелость и обобщил всех операторов под «нас». Судя по фото, у вас разные условия для клиентов с серверами и клиентов/партнеров-операторов.
                              0
                              Операторские стойки отличаются от серверных по энергопотреблению и, соответственно, тепловыделению. Отсюда другая организация серверной и охлаждения, но не беспокойтесь, тепловой режим соблюдается на тех же условиях.
                          +2
                          А про тест на внимательность — на фотках как минимум разные цифры на вытяжках в потолке коридора.
                            +1
                            Ок, первое отличие нашли. Ещё 15 осталось.
                              +1
                              Хе, становится интереснее.

                              На первой фотграфии — есть свич или циска или что-то подобное.
                              На второй фотографии — цифры на двух стойках, на первой нет
                              На третьей фотографии — у вытяжки немного неровно прикреплено потолочное покрытие.

                              Кстати, вторая и третья фотка — это один и тот же коридор.
                                0
                                Отличная внимательность!
                            0
                            Под 6.5К вижу нечто, очень похожее на ИБП. В стоках Обит и Селектел тоже очень похожее на ИБП. Я ошибаюсь? Если нет, то зачем ИБП в ДЦ с бесперебойниками?
                              0
                              Если упс в стойке, то это сам оператор его поставил, не?
                                –1
                                Если в ДЦ есть «бесперебойники и дизель-генераторы», то свой ИБП не ставят. Лишние расходы, лишняя забота, а смысла никакого.
                                  +1
                                  У нас есть клиенты, которые ставят себе своё оборудование. Например, веб-камеру для наблюдения за стойкой.

                                  Означает ли это, что у нас нет камер видео-наблюдения?
                                    0
                                    Конечно же не означает. Вы же не продаете часть здания, вы сдаете в аренду инфраструктуру. Своё видеонаблюдие вам просто жизненно необходимо: следить, чтобы клиенты ничего не поломали и не повлияли на других клиентов.
                                      +1
                                      Ну вот с электричеством так же. Ну хотят люди себе полной автономности — пусть делают.

                                      За их деньги, хоть IBM'овские табуляторы.
                                        –1
                                        Лишний ИБП — лишняя точка отказа => меньше надежность.
                                        Ваш ответ я понял, спасибо! Не спросил бы я, спросил бы кто-нибудь еще.
                                    0
                                    От ошибок никто не застрахован. Теоретически, вполне возможна ситуация, при которой внезапно случится отказ УПСа, питающего определенную часть стоек. И тогда не спасет ни дизель, ни резервная линия, ведь по сути отсечется уже «чистое» питание.
                                  +1
                                  В стойках селектела нет упсов. А в свои стойки клиент может ставить любое разумное оборудование.
                                    –3
                                    Зачем в ДЦ с «бесперебойниками» ставить еще свой ИБП?
                                    Я не вижу ИБП под серверами. Т.е., при пропадании городского ввода, все сервера перезагружаются или выключаются до времени завода ДГУ?
                                      +2
                                      Ну что за глупости вы говорите? Если бы у нас при пропадании городских вводов сервера перезагружались, у нас бы пустые стойки были.

                                      Фотография упсов же приложена.

                                      А логику с «своими упсами» я не знаю. Возможно, кому-то проще по стандартному регламену поставить свой и не думать.
                                        –3
                                        Конечно глупости :) В Москве ММТС-9 забита серверами, а ИБП только свои. Много этажей глупостей :)
                                        Спасибо, а то уж испугался, что все перезагружается.
                                        • НЛО прилетело и опубликовало эту надпись здесь
                                            0
                                            Обычно к одному UPS один сервер не подключают, а ребутать пару-тройку-десяток из-за одного, когда проще попросить дежурного, как-то не очень, по-моему.

                                            К серверам на фото в данном случае как раз ИБП не видать. Два ИБП поддерживают циско-свитч (у него 2 блока питания).
                                              0
                                              Существуют управляему розетки PDU, например.
                                              Хотя если в стойке стоит обычный PDU, то вариант с ИБП имеет место быть.
                                      +1
                                      Ух… люблю «такие места».
                                        0
                                        На hot.jpg видно сквозную дыру между горячим и холодным коридорами под каталистом. Еще дальше по ряду видно место без стойки, шторок не видно. Давно таких ДЦ не встречал.
                                        Не планируете повесить? Будет КПД больше, меньше питания, лучше охлаждение.
                                          +1
                                          Мы сдаём серверные. Содержимое стоек — проблемы клиентов. Охлаждение, моща и т.д. так же предоставляется на серверную.
                                            0
                                            Интересная позиция. Очень похожа на Почту России: мы доставим, а за содержимое ответственности не несем :)
                                            Большие клиенты, как ваши, любят заботу и советы, рекомендую попробовать предложить шторки.
                                              +2
                                              Ну, э… спасибо большое, конечно, за совет, но я не уверен, что им понравится.

                                              Для обычных клиентов (когда рядами и стойками большей частью заняты мы), разумеется, регуляция потоков осуществлятся. Но об этом в следующих постах про следующие ДЦ.
                                                +1
                                                А вы попробуйте комплексно подойти :)
                                                1. Расскажите, что у вас есть отличные, надежные, промышленные ИБП и что клиенские два только увеличивают вероятность отказа, усложняют администрирование и увеличивают стоимость.
                                                2. Дайте доступ к своим видеокамерам, датчикам температур, влажности и т.д., чтобы они не вешали свои. Вам же не сложно, а клиенту будет удобно.
                                                3. Расскажите о трендах и снижении затрат на питание, продление срока службы охладительного оборудования, уменьшение PUE, да и просто об экологии планеты Земля и разделении горячего и холодного коридора без дыр.
                                                ???
                                                Клиент увидит в вас профессионалов.

                                                Я на фото, в посте и комментариях увидел какой-то каменный век по сервису и отношению. В посте Билайн про свой ЦОД для себя в Ярославле они толкуют и про динамические ИБП, и про независимость каждой изолированной части ЦОД, и обещают PEU 1,3. При этом все технологии уже на рынке не первый год.
                                                Моё личное мнение. Никого не хотел обидеть. Уважаю вас и ваших клиентов. Желаю успехов и развития Интернету на пользу.
                                                  +2
                                                  1) В Технодоме крупные клиенты, с которыми общение идёт на самом высоком уровне. Условно говоря, «без нас разберутся».

                                                  2) Это первый ДЦ Селектел. В следующих оно куда более красивое. Постить решили в хронологическом порядке.
                                                0
                                                В данном случае такая «дырка» не имеет большого значения, хотя, пожалуй, установим туда фальшпанели (если они не были демонтированы при проведении других работ).
                                            0
                                            Красиво)
                                            Вопрос, почти не по теме — когда можно ожидать возможности создавать новые виртуальные сервера?
                                              +4
                                              Отстаём на неделю от roadmap'а, пока что планируем-таки в январе, дальше — зависит от того, как успешно будут закрыты все issue для запуска (у нас модель, как у Debian, пока все мешающие issue не закрыты, запуска не будет).
                                              0
                                              На фото в горячем коридоре раскрытый монитор с закрытой клавиатурой, видимо, нужен для лучшего кондиционирования стойки? :)
                                                0
                                                Это не наше оборудование, стойки целиком сняты одной компанией, так что если им так удобно, то, видимо, так и есть (я точно не знаю, есть вероятность, что при приходе фотографа постарались распушить эквипмент позабористее).
                                                  +1
                                                  Нет, это вот такой девайс. Во время фото-сессии проводились работы и не было смысла его полностью закрывать.
                                                  0
                                                  что эти экскурсии да новые интерфейсы. желаем приватные сети и несколько ip на интерфейс!
                                                    0
                                                    ошибся, несколько ip на виртуальную машину, конечно же.
                                                      +1
                                                      Несколько IPv4 на машину не будет, 100%. Приватные сети — будут, но не в январе.
                                                    0
                                                    Где находится сервер на который пишется архив видеонаблюдения? Надеюсь не под столом у охранника?

                                                    Почему о местонахождении данного сервера знает кто-то кроме начальника СБ?!
                                                      0
                                                      Их уберут позднее. Только Тсс!
                                                        0
                                                        а) не под столом.
                                                        б) я, например, не знаю.
                                                        –2
                                                        У вас в Питерском ДЦ На Московской все печально с охраной. Чего стоят хотя-бы развернутые к посетителю мониторы, где легко определить слепые зоны. Когда я приходил на собеседование — охрана пропустила без «лишних» проверок документов, плюс меня завели в какой-то кабинет без камер, и ушли, оставив на полчаса. Делай что хочешь…
                                                          –2
                                                          Ну выдернете вы один кабель… Ну через минуту скрутит Вас охрана, побьет, чего добьетесь то? :)
                                                            +4
                                                            Уважаемый, вас куда провели? В переговорку, так? То есть через первый пост охраны.

                                                            Внезапно, сюрприз, на Цветочной больше одного поста охраны — вы видели пост только на входе. За эти пол-часа вы могли поцарапать нам стол, сломать проектор (тогда он ещё на столе был, сейчас под потолок повесили), выковырять батарейку из мышки, сломать ethernet-розетки в guest vlan. Ну, что там ещё можно сломать?

                                                            Вы к серверам близко не были. А насчёт того, что пустили в переговорку на собеседование без сурового досмотра — см. байку про солонки.
                                                              –1
                                                              Можно установить закладное устройство, к примеру :) Переговорная же. Ну и лично мне у вас понравилось, и я хороший и дружелюбный, просто мало ли кто зайдет.
                                                                +2
                                                                Если вы думаете, что переговорная используется для переговоров, ошибаетесь. Всё самое интересное — на 3-4ом этажах.
                                                                  –1
                                                                  Хорошо :) Хорошо, если все продумано. В России такое — редкость :(
                                                                  p.s.: При мне там какие-то закупки обсуждали. Особо не слушал — не до этого было. Правда, думаю, особо серьезное все равно там бы не обсуждали
                                                                    +1
                                                                    ишь, ты шпион какой, посмотрите на него.
                                                                    Ты не тестером случайно шел? =)
                                                                      0
                                                                      Судя по минусам, задело хорошенько :) Правда непонятно, откуда зла столько.
                                                                      Не, не тестером.
                                                                      Учусь на ИБ, поэтому обратил на это внимание.
                                                                        0
                                                                        про последнюю, цитату которую я откомментил там понятно за, что минус. Сперва сказал, что обсуждали закупки, потом сказал, что скорее всего ничего важного.
                                                                        По моему опыту хабр не любит разговоров не по делу.
                                                                          0
                                                                          По моему опыту, Хабр не любит людей, печатающих с ошибками, и резко переходящих на «ты». Извините.
                                                                          А закупки — пример обсуждений, которые было бы неплохо защитить от посторонних.
                                                                            0
                                                                            Ненавижу, эту ЖЖистскую привычку говорить, на Вы, но раз Вы настаиваете…
                                                                            Согласен, лучшая защита это нападение. Но если Вы обратите внимание, то я и в первом ироничном комментарии говорил «Ты» и даже повторил два раза.
                                                                            А еще в Вашем ответе, я почувствовал обиду, и теперь считаю, что Ваши минусы заслужены.
                                                                            Не просите объяснить почему, называйте это интуицией. Спасибо.
                                                                            И извините, за откровенность.
                                                            0
                                                            Добавьте в панель управления возможность увидеть фото «того самого» сервера. ;)
                                                              –2
                                                              Ваши админы не могут мне сервер второй день поднять, т.к. по выходным не работают, а вы писульки разводите на хабре.
                                                                +2
                                                                Вообще, я в Селектеле занят облачными вычислениями, так что претензия по поводу сервера в мой адрес — несколько не в тему. Фотограф, как вы можете догадаться, тоже, к серверам склонности не питает.

                                                                К сожалению, продолжить обсуждение возникшей у вас проблемы я не могу, т.к. мы не можем раскрывать данные клиента без его согласия.
                                                                0
                                                                На таких генераторах не предусмотрен пневомопускач в разерв к электростартеру?
                                                                  0
                                                                  Насколько я знаю, нет. Там два электрических стартёра, плюс свои батареи. В принципе, с учётом, что дизелей несколько, вполне достаточный резерв.
                                                                  +1
                                                                  Операторские стойки, такие операторские. Десктопы, бухта кабеля/гофры, вместо кабельных органайзеров рулончики оптических патчкордов.

                                                                  Бывал в нескольких датацентрах, картина везде такая :)
                                                                    0
                                                                    Может, операторы везде одинаковые?

                                                                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                  Самое читаемое