company_banner

Наш первый ЦОД в советском бомбоубежище: особенности вычислений в бункере


    В 2009 году мы заехали в гражданское бомбоубежище при заводе, которое давным-давно сняли с боевого дежурства. Внутри было сухо, почти чисто, стояли окрашенные бронедвери, и терпеливо ждал своего часа мирный советский дизель.

    Тогда нам казалось, что место выбрано идеально. Мы знали, что Uptime Institute не даёт свои Tier-уровни подземным сооружениям, но это нас не останавливало. Угроза там в том, что бункер создаёт единую нерезервируемую точку отказа: всё может затопить разом. Поэтому мы начали с того, что сделали дополнительную гидроизоляцию по метро-технологиям, пробуривая отверстия в бетоне и заливая туда специальный состав, проникающий в бетон и заполняющий его поры.

    Разумеется, у такого особенного места есть ряд особенных нюансов в эксплуатации. Но лучше я начну рассказ в том же порядке, как мы открывали для себя детали этого размещения.

    Почему именно бомбоубежище? Ответ прост: это было идеальное место с доступом к электрическим мощностям завода, близко к оптоволоконным магистралям на MSK-IX и MSK-X. А ещё не было конкуренции за место, потому что вряд ли кто-то захотел бы для себя такой офис или склад. Ну и три контура охраны, поскольку завод всё ещё непростой, что в перспективе позволяло очень легко хранить персональные данные.

    Что это за бомбоубежище?


    Когда-то это было гражданское убежище для сотрудников завода, которые должны были пережить первые поражающие факторы бомбардировки. Похоже, оно проектировалось и строилось до появления точных представлений о ядерном оружии, кластерных боеприпасах и так далее, поэтому по современным меркам защищает разве что от катапульты. До огромных металлических помещений, висящих глубоко под землёй на цепях на случай вибраций, ему было очень далеко. Естественно, что его списали (это называется «снятие с боевого дежурства»), и оно стало просто неиспользуемой частью производственного комплекса.

    Бомбоубежище представляет собой несколько небольших комнат, разделённых металлическими дверями. На входе — шлюз с двумя гермодверями (его мы сохранили), и такие же двери отделяли части модуля друг от друга.


    На фото — наш первый модуль, где сейчас сконцентрированы серверы для предоставления VDS-услуг. Ещё есть выделенные серверы с аттестацией ФСТЭК и немного другого оборудования в других модулях убежища, но в целом они отличаются разве что размером.

    Что нужно было сделать


    В 2009 году мы получили помещение в долговременную аренду (это тоже очень важно для ЦОДа!). Все помещения были сухими: если была бы хоть капля влаги, то брать это место мы категорически не стали бы. Закачали раствор в стены, сделали дополнительную гидроизоляцию сверху — в общем, довольно сильно провозились, но получили базовые гарантии, что стены герметичны. Сейчас мы поддерживаем стабильную влажность на уровне от 40 до 50 %, и скачков почти нет.


    Вот так выглядит современный вход для людей и серверов:


    После поворота — спуск к комнате для сборки оборудования к рабочему месту дежурного и админов заказчика:


    Сама комната выглядит так:


    Сделали замкнутую систему вентиляции: в машзале — избыточное давление, и воздух ходит по кругу, не возобновляясь. Тёплый коридор ведёт к теплообменнику, там воздух охлаждается и возвращается через холодный коридор к оборудованию. Первая трасса была фреоновая прямо до кондиционеров, дальше машзалы потребовали большей длины трассы (около 50 метров), и мы перешли на систему чиллер-фанкойл с гликолевым теплоносителем. Гликоль доставляет холод до теплообменника, теплообменник охлаждает рециркулируемый воздух, и всё повторяется.



    В машзалах поддерживается избыточное давление, чтобы не было проблем с пылью. Несмотря на то, что соседние технические помещения могут быть пыльными, внутри машзала очень чисто. Вентиляция-охлаждение полностью дублирована.


    Для входа внешних трасс очень подходила старая шахта лифта (лифт не ходил ещё со времён СССР). Когда-то он использовался для загрузки оборудования, но с первого взгляда стало понятно, что это будет шахта для коммуникаций, а не что-то для заноса серверов внутрь.


    Электричество было от двух подстанций сразу, но нужно было построить щитовую внутри убежища и проложить трассы.


    Пришлось сделать дополнительные отверстия в стенах и продолжить использовать шахту лифта.


    Каждый ввод дублируется двумя дизелями. В общей сложности у нас нагрузка в пики потребляет 1 МВт, но дизелей больше нужного: один дополнительный купили от жадности, увидев слишком сладкую цену.

    Первый дизель — прямо на входе:


    Ещё два дизеля — в контейнерах снаружи:



    Есть топливо (часто ЦОДы нашего размера не хранят собственное, а надеются на подвоз):


    Ещё один дизель стоит в комнате для дизеля. Рядом стоит его советский коллега. Он, кстати, оказался вполне себе на ходу, то есть сделанным на совесть:




    Пожаротушение газом на базе хладона, сигнализация типовая, не Vesda, конечно:



    Под фальшполом — тоже:


    Стойки завезли через полгода после того, как нога человека вновь ступила в это помещение.

    Оптика


    Поначалу были две оптические линии, сейчас — три независимые, проходящие тремя разными маршрутами в трёх разных канализациях. Общих участков нет, сходятся они уже в кроссовой. Вот тут виден один из входов линии:


    Разумеется, имеющиеся коммуникации мы никак не использовали. А они были, конечно.


    Был один яркий фейл. Один из админов настраивал свитч на MSK-IX и не сохранил конфиг по незнанию. Точнее, перезагрузил устройство, думая, что это не сбросит его состояние. На деле свитч выждал два часа, чтобы усыпить бдительность предполагаемого противника, а потом откатил конфиг до старого. Пришлось ехать в пять утра на такси, чтобы разбирать кольца.

    Серверы



    Оборудование — моно-Хуавей, я уже писал, почему так.


    Большинство дисков — флешовые. Кое-где есть ещё HDD, но они очень редки. Из-за особенностей монолитного бетона и постоянно работающей вентиляции монотонные вибрации легко передаются по помещению в стойки, но мы гасим их через фальшпол.



    На практике это означает, что нужно не только очень ответственно крепить HDD, не допуская люфта или перезатягивания креплений, но и соблюдать особые требования к вентиляторам и качеству их крепления внутри сервера. После давней проблемы с новым сервером, где плохо закреплённый вентилятор разболтал несколько дисков и привёл к разрушению RAID-массива, мы тщательно расследовали случай. Там посыпался сам диск, что в совокупности с вибрацией вентилятора вызвало повреждения соседних устройств. Заодно нашли ещё один риск — пластик на турбинах вентиляторов. Он пересыхает, лопается, турбина разваливается на две части. Все кулеры на всём оборудовании были заменены на не подверженные этой проблеме на всякий случай.


    Серверы Хуавея очень удобны для администрирования на месте: они показывают коды ошибок прямо на панелях. Вот этот работает хорошо:


    Если что-то случится, то он покажет конкретную проблему и её место, например, слот со сбойной плашкой памяти. Вот здесь на момент съёмки наблюдается глитч с шестым диском, но, по данным мониторинга, с ним всё в порядке, индикация только на панели. Админ как раз обсуждает с инженерами Хуавея, в чём дело.


    Питание в каждую стойку приходит независимо с двух векторов.


    Админская — в шаге от машзала, можно сразу же попасть к стойкам. На фото — дежурный админ Костя, про него есть вот здесь:


    В админской комнате у нас ремкомплекты. Вообще-то у нас гарантия от вендора next business day, но мы закупили свой набор комплектующих, чтобы поддерживать работу серверов здесь и сейчас, а не на следующий день.



    Ещё у нас там остатки фермы из одного из подземных модулей:



    Куча кабелей:


    Продолжение трасс:


    И нечто особенное. Вот оно:


    Это устройство поставили при получении лицензии ФСТЭК. Оно создаёт помеху для прослушивания. Вообще-то оно нужно для того, чтобы с оконного стекла нельзя было считать звук голоса с помощью лазера, но у нас нет окон. Но, тем не менее, во всех прилегающих к ЦОДу помещениях можно проводить важные переговоры: оборудование для электромагнитных и звуковых помех есть. При его включении работа связи и серверов не нарушается.

    Лицензию мы получали целый год. У нас техзащита (то есть инфраструктура, а не разработка). Специальная компания проверяла помещения на предмет защиты с точки зрения проникновения чужих лиц. Их интересовали физическая охрана, контроль доступа. На производственном комплексе с этим очень гладко: три периметра, и даже своё оборудование завозить и вывозить достаточно сложно. Дальше интересовало, где стоит оборудование: исключена ли прослушка. Ещё аттестат подразумевает наличие аттестованных маршрутизаторов-файрволлов, которые исключают перехват информации с сервера, который этот маршрутизатор обслуживает. Эти специальные устройства не обслуживают всех клиентов, у них узкая пропускная способность. Ну и мало кому понравится, что он без спроса защищён таким образом. За этой услугой обращаются госкомпании, окологосударственные компании либо крупные компании с хорошим классом персданных. Для них это важно.

    Поскольку само помещение аттестовано, мы имеем право закупить под их нужды сертифицированное оборудование (просто так защищённый коммутатор не купишь: он должен быть произведён специально). Без подобной лицензии такие работы не провести. Мы при этом исходим из того, что услуга аттестованного облака нужна большим заказчикам под узкие нужды. Есть несколько клиентов, для которых мы разработали стек от начала и до конца. И помогли с аттестацией уже готовой инсталляции, и они получили аттестат на свои облака под нормативы ФСТЭК.


    Администрирование серверов при пропадании доступа можно делать вот с такой консоли:


    Но у Хуавея есть удобный VLAN с сервисными портами, который можно развернуть и получать доступ сразу ко всему, поэтому тележку мы катаем относительно редко.

    Итого


    Мы продолжаем работы по улучшению живучести ЦОДа. Сейчас два луча питания, каждый задублирован дизелями с избытком, есть своё топливо. Две пожарные сигнализации, два набора датчиков. Вентиляция дублированная, используется воздух без обмена с внешней средой, давление избыточное. Машзалы надёжно спрятаны под землю и бетон, всё это гидроизолировано, а крыша двойная со стоками, внутри понатыканы датчики протечек. Внутри — круглосуточная смена. Снаружи — три кольца физической охраны. Две линии питания и два упса до каждого сервера. По сетевухам есть резервирование в соседние свитчи в соседних стойках. Набор для смены диска в RAID-массиве есть на месте, весь «горячий» ЗИП — тоже. Гарантия вендора.

    Относительно работы внутри: благодаря тому, что мы оставили несколько гермодверей, жуткий шум вентиляции почти не передаётся в админскую. Первые пять визитов в ЦОД, конечно, имеют привкус ада из-за пугающей мрачной обстановки, но потом легко привыкнуть.


    В общем, из имеющихся ресурсов выжали максимум. Можно и больше, но это увеличит цену VDS-хостинга, поэтому это разумный компромисс между зашкаливающей паранойей и экономикой. У нас есть похожие по уровню защиты ЦОДы в других странах, например, инсталляция в Швейцарии в бункере тоже с тремя кольцами охраны, но именно этот ЦОД наш, и мы его очень любим.


    Ближайшие работы — перебрать питание, разложить всё аккуратнее, потому что накопился кавардак. Нужны ещё упсы для гермозоны.

    Теперь вы увидели то, что скрывается под одной из десятка кнопок выбора ЦОДа для вашего виртуального сервера.



    RUVDS.com
    VDS/VPS-хостинг. Скидка 10% по коду HABR

    Comments 55

      0
      И как долго вы могли бы держать оборону в случае гипотетического размещения чрезвычайно неприемлемой для спецслужб информации? :) Ведь именно для этого на самом деле всё это затеяли? :)
        +20
        Мы это всё затеяли, чтобы заработать денег. Было бы сложно потратить эти деньги, сидя за решёткой, поэтому мы соблюдаем законы юрисдикций, где находятся ЦОДы. Было бы глупо так не делать.
          +8
          Какой скучный корпоративный ответ на очевидно шуточный вопрос. Вас там PR отдел и юристы держат в заложниках? Подмигните, если да
            +3
            Сейчас бы на такие вопросы шутить в стране, где сажают за шуточные картинки с религиозными мотивами.
              +2
              Какой скучный корпоративный ответ на очевидно шуточный вопрос

              Ну как по мне, то ответ даже смешнее вопроса

            –2
            Минут 5, это время нужно для звонка «Васе-админу», чтобы поручить тому передачу дядям в сером всех запрашиваемых ими данных. Точно так же парни сдуются и при атаке рейдеров.

            Карго-культ дата-центров в бомбоубежищах, одним словом.
              0
              Перерубят коммуникации, и всё.
                0
                Полчаса-час после попадания лома в наружную систему кондиционирования.
                0
                >У нас есть похожие по уровню защиты ЦОДы в других странах, например, инсталляция в Швейцарии в бункере тоже с тремя кольцами охраны

                Но в нём на сайте почему-то нельзя заказать сервера.
                  +1
                  Разобрали всё, ждём поставки оборудования. Если говорить про Швейцарию, то ориентир — первый квартал 2021.
                  +1

                  Злободневно. Нужно продавать как ЦОД с защитой от рейдерства.

                    +2
                    От рейдерства бетон и гермодвери ничем не помогут.

                    А ядерный взрыв… не знаю, сохранятся ли данные в бомбоубежище города Королёв при ядерном ударе по Москве.
                      +6
                      Скорее, вопрос надо поставить так: успеем ли мы получить алерт о перегреве процессоров.
                        0
                        кстати, по поводу ЦОД в бункере Швейцарии у Вас в статье от 2017 года было сказано:
                        RUVDS также предлагает своим клиентам сертифицированную электромагнитную и сейсмозащиту.

                        вот любопытно, а как с этим обстоят дела в сабжевом ЦОДе? Ну хотя бы по части защиты от ЭМИ
                          +1
                          не… там от ЭМИ скоррее всего много чего сдохнет
                          +5

                          Для защиты от ядерного взрыва нужны ламповае роутеры и свичи.

                            +2

                            Боги, это прекрасно! Ламповый 10GbE, это стоит запомнить.

                              0
                              вы G и K перепутали
                            0
                            Тут на хабре пару лет назад кидали ссылку на проект по расчету поражения при взрыве атомной бомбы. По-моему даже при самом мощном взрыве выгорает максимум все в пределах трешки. (при ударе по кремлю, хе-хе)
                          +1
                          Физический сетевой экран, осложнит проникновения незваных гостей.
                            +4
                            Это не бомбоубежище, а убежище гражданской обороны. Оно не спасет от первичных поражающих факторов ядерного взрыва в непосредственной близости к взрыву. Есть разные категории уровня защиты, от них зависит максимальное избыточное давление, от которого может защитить и степень ослабления ионизирующего излучения.
                              0
                              Оно не спасет от первичных поражающих факторов ядерного взрыва в непосредственной близости к взрыву.
                              Ну, это не центр Москвы, а Королёв, 20 км от центра. Если мегатонный ядрён-батон упадёт в 10 км от убежища… может быть, и выдержит, не знаю.
                                +1
                                Поэтому я и говорю, что отлично защищает только разве что от катапульты.
                                  0
                                  В любом случае кейс интересный
                                    0
                                    Во время боев на территории Донбасса, было установлено, что убежища 1 класса неплохо защищает от обстрела артиллерией калибра 152 мм ;)
                                  +3

                                  Ребят, сорян конечно, но у вас на некоторых фотках сервера хм… пыльные (если не сказать больше). Как клиента меня бы это насторожило.

                                    +2
                                    image

                                    У нас довольно резкий боковой свет, неровности фактуры пластика дают микроблики. Вот тут лучше видно, как это выглядит. Пыль может быть только в админской на разобранной ферме, там не гермозона, и это оборудование давно не в бою.
                                      +3
                                      Странно, а я вижу пыль на решетках ;)
                                      Это видимо откуда смотреть, если из числа придворной свиты, то может и отблеск одет король…

                                      ps Особенно конструктивно выглядит ваш комментарий на фоне минусов в карму от тайных доброжелателей… дасс, на Хабр хочется заходить все меньше :(
                                        +1

                                        У вас карма 3 и 5 голосов, это значит что минус в карму всего один. Откуда взялось множественное число?

                                    +1
                                    А в оборудовании от Хуавей нет закладок?
                                      +1
                                      Примерно из-за желания гарантированно отвечать на такие вопросы и производятся отечественные процессоры.
                                        +2

                                        Закладки есть у всех.

                                          0
                                          Свои закладки не считаются )
                                        0

                                        'Пугающе мрачной обстановкой". Откуда взялась эта мода на черный цвет оборудования? Пыль заметнее, индикация выразительнее? Но не наполнить помещение светом никак с такой чернотой. У Хуавея нет серверов с расцветкой повеселее?

                                          +3
                                          Понимаете, розовые корпуса дороже, поскольку они несерийные. Это бы повысило тарифы. Но если бы они были дешевле, мы бы поставили их, ня.
                                            0

                                            Заказать оборудование от Xiaomi с пикачу

                                            +2
                                            Сервера и стойки — ровные, привычные. А вот заваль железок во дворе, свалка дверей в комнате, общее ощущение с советских времен не разгребенного добра — это добавляет как антуража, так и неверия в то, что оно все живое и хорошо сделанное.

                                            Ну правда, неужели нельзя вокруг дизелей во дворе убрать металолом?

                                            Завод-то вас однажды не «попросит», если, скажем, его хозяин поменяется?
                                              +5
                                              неужели нельзя вокруг дизелей во дворе убрать металолом?
                                              Металлолом на улице не наш, а владельцев/арендаторов примыкающего здания. Вообще можно и газон высадить перед дата-центром, и включить его содержание в стоимость услуг. Но насколько это нужно клиентам- вопрос спорный и риторический: «Вам шашечки или ехать»? Мы сейчас вкладываем исключительно в то, что клиенты смогут ощутить при работе с нашими серверами, то есть в надежное оборудование и повышение резервирования. Как я писал выше, если будет продаваться дизель по выгодной цене- возьмём скорее его. Резервирование избыточным не бывает.

                                              Завод-то вас однажды не «попросит», если, скажем, его хозяин поменяется?
                                              Для этого мы заключили договор долгосрочной аренды, который зарегистрировали в Росреестре. Расторгнуть такой договор можно только в судебном порядке. Ну а для всего остального- остальные 9 дата-центров)
                                              0
                                              С точки зрения инженерных систем — монтаж на троечку. Единообразной закупки не было, тут кусок- там кусок.
                                                +4
                                                Промка, как промка, а «привкус ада» остаётся от вашего уровня монтажа. Пластиковые щитки смотрятся на стойках особенно улётно, да ещё они через один для настенного и скрытого монтажа. Вот такого, что, на строй-рынке не было что ли? Обвязка гены мотками провода тоже хороша. Трассы в гофре свисающие к земле. На лотки уже денег не хватило? ФСБшная глушилка на соплях. Короче. Жадность — плохо. Вы бы, вместо «лишнего» гены, заказали бы монтаж людям с руками, что ли…

                                                Ну и это:
                                                Сделали замкнутую систему вентиляции: в машзале — избыточное давление, и воздух ходит по кругу, не возобновляясь.
                                                Так не бывает. Я уже не говорю, что вашим админам чем-то дышать надо. Но, если у вас избыточное давление (кстати, вы его контролируете вообще?), и мы не говорим о герметичной капсуле, то есть и подмес свежего воздуха, и должны быть ФВУ на приточке.
                                                  0
                                                  А про датчики протечки можно подробнее? Что включают в случае сработки? Нам как-то экскаватор одним метким ударом копнул магистральную воду и через приточку налило полметра над фальшполом за 15 минут(. Потом хотели насосы ставить, но решили переместить и больше не делать цоды под землей. И гидроизоляция бетона тут не очень поможет, к сожалению.
                                                    +1
                                                    Помещения оборудованы двойными крышами со специальной системой стоков, что позволяет избежать неконтролируемого распространения воды. Это позволяет использовать:

                                                    1. Насосы со встроенными датчиками уровня воды, расположенные в специальных стоках.

                                                    2. Датчики оповещения, которые в случае протечки позволяют сотрудникам:

                                                    а) включить дополнительные насосы;

                                                    б) найти причину и устранить ее.
                                                    0
                                                    Как с мобильной связью в этом строении?
                                                      0
                                                      В данном конкретном помещении никак. Мобильная связь туда не проникает. Связь начинает работать только на подходах к дверям наверху. Там очень толстые стены, даже с учётом неглубокого залегания.
                                                        0
                                                        То есть админ не получит уведомления по SMS при отсутствии Wi-Fi.
                                                          0

                                                          У нас все уведомления дублируются в Slack. Даже правильнее сказать, что дублируются в смс, потому что слак- основной рабочий канал.

                                                      0
                                                      Я так и не понял, зачем заказчикам нужно именно бункер?
                                                      Любое железо, если к нему имеет физический доступ кто то третий уже не надежно. Не важно, где оно находится физически.

                                                      Почему я могу еще понять, готовое помещение возможно дешевле, хотя затраты на гермитизацию еще посмотреть надо.
                                                        0
                                                        Так получилось, что именно в этом месте было удобно делать ЦОД. Есть особенности подземного бункера. Уверен, большая часть заказчиков даже не знает, что этот ЦОД под землёй, это просто материальная точка с серверами.
                                                        –2

                                                        Отличный пример, как работает общественное мнение.
                                                        Результаты появления расширения для блокировки авторов и его бурного обсуждения налицо. И контент годный пошел, и авторы стали лицо показывать.


                                                        Так держать!

                                                          +1
                                                          О, а уже писали про вас habr.com/ru/company/poiskvps/blog/420045
                                                            +1
                                                            Кстати, прямо над вами несколько лет назад пожар был довольно сильный. Вот тут наверно все преимущества бункера и отбились.
                                                              +1
                                                              image

                                                              К сожалению, такие ситуации в надземных дата-центрах не редкость. Об одной из них писал один из победителей прошлогоднего Технотекста.
                                                              +1
                                                              Думал поиграться, таки соединить квартиры родственников в vpn сеть для удобства управления из за серых IP у всех. Но после базового тыканья в сайт нашел пару приколов.
                                                              1) Если выбираешь доллары то цена получается почти в два раза выше.
                                                              2) Как сменить валюту аккаунта быстро не нашел.
                                                              3) Попыталось списать деньги с пэйпала. Хотя явного апрува вроде не давал. При этом на палке только нотификейшн про транзакцию висел, в списке транзакций пусто. Но деньги на карте заблокаровало. Правда отпустило минут за 20.
                                                              4) После удаления аккаунта пересоздать не получается, все остальное куда лазил говорит что аккаунт не найден. В том числе в восстановлении пароля.

                                                              Ну за 15 минут использования, получить столько приколов как-то чересчур. Возникает вопрос а как остальное у вас работает если сайту базовое тестирование не сделано =)
                                                              Не оно конечно можно писать в сапорт но надо ли.
                                                                +1
                                                                По поводу первого пункта, действительно, в валюте приобретать серверы несколько дороже, это связано с более высокими комиссионными издержками (когда клиенты платят в рублях, комиссию мы берем на себя) и особенностями биллинга. Не спорим, что это недостаток, но при этом сменить валюту ЛК легко — в правом верхнем углу меняется и язык, и валюта.

                                                                Ответ на второй пункт есть в первом.

                                                                По третьему — тут не можем комментировать, нужно обратиться в PayPal. Мы не можем никоим образом списать деньги сами. Технически это невозможно.

                                                                По четвертому — после удаления аккаунта сам логин (почта) помечается использованной и система не дает второй раз создать аккаунт с такой почтой, а восстанавливать доступ к удаленному аккаунту — нелогичное действие.

                                                                Саппорт как раз смог бы проконсультировать и пояснить все эти моменты. Саппорт у нас круглосуточный и толковый.
                                                                  +2
                                                                  >правом верхнем углу меняется и язык, и валюта
                                                                  Не меняется. Точнее меняется ровно до выйти-войти. Но при этом не дает получить кэшбек по привязанной карте. Говорит не подходящая валюта, хотя кнопка по этому поводу появляется.

                                                                  >По четвертому — после удаления аккаунта сам логин (почта) помечается использованной и система не дает второй раз создать аккаунт с такой почтой, а восстанавливать доступ к удаленному аккаунту — нелогичное действие.

                                                                  Логичное. Я мог передумать, по ряду причин. Например решил попробовать услуги другого оператора. И как параноик что бы мои паспортные и данные карты не утекли в случае взлома, удалил аккаунт. Теперь хочу вернуться.
                                                                  Опять же попытка удалить и создать аккаунт заново ответ на проблему с валютой.
                                                                  Кстати с не настоящим удалением аккаунта не такая редкая проблема. Некоторые сайты с похожем поведением в итоге отказались и сделали возможность восстановления удаленного аккаунта.

                                                                  >Саппорт как раз смог бы проконсультировать и пояснить все эти моменты. Саппорт у нас круглосуточный и толковый.
                                                                  Возможно, не спорю. Но обращение в сапорт еще до запуска сервера такое себе.

                                                              Only users with full accounts can post comments. Log in, please.