Личный опыт: как мы переносили инфраструктуру из одного дата-центра в США в другой



    Мы в King Servers столкнулись с необходимостью сменить один из наших зарубежных дата-центров. ЦОД располагался в американском штате Калифорния, и искать новый нужно было в том же регионе. Сегодня мы расскажем о том, как прошел переезд, поделимся впечатлениями от него и дадим пару советов тем, кому еще только предстоит близко столкнуться с инфраструктурными площадками в США.

    Зачем менять дата-центр


    Развитие инфраструктуры компании постепенно привело к тому, что нас перестали устраивать условия нашего текущего дата-центра. Несмотря на то, что ЦОД имел стандарт Tier2, буквально за год мы столкнулись с рядом проблем, таких как пропадание питания в части стоек или полное падение интернет-канала.

    Кроме того, площадка была не Carrier-neutral — на практике это означало, что услуги связи предоставляла лишь одна компания, которая и владела ЦОД. Поэтому в моменты сбоев на ее каналах, связь пропадала полностью, что не могло устроить ни нас, ни наших клиентов.

    Взвесив все за и против, мы решились на миграцию инфраструктуры в новый датацентр, в котором было бы возможно использование двух независимых линий питания одновременно и подключение к нескольким провайдерам.

    Процесс переезда


    Оба дата-центра находились недалеко друг от друга, на расстоянии 20 км. Старый в городе Фримонт, а новый в Санта-Кларе.



    Готовились к переезду основательно — заранее закупили расходные материалы, необходимые для монтажа серверов в стойки, новые кабели питания и патч-корды, чтобы сократить время на демонтаж в старом датацентре.



    Запасы для переезда

    Также установили второй роутер в новом датацентре и организовали одновременную работу наших сетей в обоих дата-центрах.

    В итоге был разработан план, предполагающий поэтапный перевод инфраструктуры на новую локацию — так мы могли бы продолжить работу и не доставлять лишних неудобств пользователям.

    Первоначально мы хотели воспользоваться услугами специализированной компании для перевозки оборудования, но в процессе переговоров с несколькими компаниями выяснили что они смогли бы перевезти наше оборудование либо крупными партиями с большим даунтаймом для клиентов, либо мелкими частями с минимальным даунтаймом, но цена при таких условиях значительно увеличивалась. В итоге было решено командировать нескольких наших инженеров через половину земного шара и выполнить работы своими силами. Даже с учетом перелетов, проживания и аренды транспорта такой шаг выходил в 2 раза дешевле, чем минимальный прайс от калифорнийских мувинговых компаний.

    Первый этап работ включал выезд в старый дата-центр для оценки инфраструктуры — не все инженеры нашей команды бывали там раньше, а некоторые в последний раз приезжали пару лет назад, и за это время было проведено много различных работ сотрудниками дата-центра. Было необходимо проверить и монтаж оборудования — как оказалось с этим не все было так хорошо, как в наш последний приезд.

    В стойках были использованы кабели с избыточной длиной, некоторые серверы смонтированы без использования салазок и намертво прикручены к стойке. Стало понятно, что времени на демонтаж потребуется куда больше, чем мы запланировали. К счастью, запасных материалов было достаточно для того, чтобы обойтись без полного демонтажа всего железа, и мы все еще укладывались в график миграции.



    Нельзя сказать, что мы остались довольны увиденным в старом ДЦ

    Затем последовала разведывательная поездка в новый ЦОД с целью осмотреться и изучить новые стойки.

    Во время первого приезда в новый дата-центр наши инженеры в первую очередь оценили его технологичность. В старом дата-центре все было очень строго — сотрудники ЦОД не только очень дотошно проверяли документы инженеров, но и сопровождали при перемещении к своим стойками и около них. Это влекло за собой временные задержки, так как часто нужно было ждать, пока такой сопровождающий освободится. Новая площадка оказалась куда демократичней в этом плане, что позволило нам работать быстрее.

    По плану команда инженеров должна была приезжать в старый ЦОД, забирать 15-20 серверов, затем устанавливать их в стойки на новом месте, включать их, и после этого все должно было работать не требуя дополнительного вмешательства с нашей стороны.

    Не обошлось без сложностей — например, внезапно выяснилось, что маршрутизатор Cisco, который мы планировали использовать для организации туннеля работал не так, как планировалось и после перевозки тестовой части не используемых клиентами серверов и тестирования стало понятно, что трафик клиентов он не выдержит.

    Пришлось оперативно менять схему сети и использовать дополнительные маршрутизаторы, чтобы разделить нагрузку от клиентов и позволить сети продержаться пару дней в ходе миграции. Время настройки уже не входило ни в один из наших планов, что все-таки вызвало отклонение от графика.

    Также не все серверы после перевозки запустились сразу. Часть наших клиентов администрирует выделенные серверы самостоятельно и закрывает нам все доступы, включая мониторинг. На некоторых серверах диски находились не в лучшем состоянии и даже аккуратное отключение с корректным завершением работы системы не спасло от сбоев загрузки из-за поврежденных файловых систем и распавшихся рейдов.

    В каждой новой партии перевезенных серверов встречалась парочка подобных проблемы, и инженеры службы технической поддержки после миграции каждой партии серверов проводили работы по восстановлению их работоспособности.



    Итого: общие впечатления


    В американских дата-центрах все очень строго, получить даже минимальный доступ к собственному оборудованию непросто — на каждое действие нужно получить одобрение, которое может дать только менеджер, который совсем не обязательно физически находится в ДЦ. Тогда нужно создавать тикет в хелпдеск-системе и ждать его разрешения.

    Также можно встретить довольно жесткие условия, например, по использованию ресурсов дата-центра — так в нашем новом ЦОД есть ограничение, запрещающее надолго (более 1-2 суток) оставлять свое железо на складе. Нам нужно было больше времени, и чтобы получить разрешение на более долгое хранение пришлось по описанной выше схеме получать одобрение менеджера. ID (паспорт или права), как и в принципе в США, в местных дата-центрах спрашивают постоянно, к этому тоже нужно быть готовым.

    С другой стороны, с организационной точки зрения использование ДЦ в Калифорнии оказалось очень приятным. Все оговоренные в контрактах условия всегда выполнялись, чего нам не всегда удавалось добиться в России. К примеру, однажды наш переезд в новый ЦОД сорвался по причине того, что его инженеры не успели подготовить стойки — хотя в договоре сроки подготовки были прописаны четко (мы рассказывали о своих приключениях в этом материале).

    Помимо этого, местные инженеры оказались очень дружелюбными и всегда шли нам навстречу — например, когда у нас обнаружилась нехватка кабелей, чтобы мы не прерывались и не ехали в магазин за новыми, коллеги выделили нам ресурсы из своих запасов.

    Заключение: что нужно знать при работе с американскими дата-центрами


    В завершение еще раз перечислим несколько основно

    • В США далеко не все дата-центры очень технически продвинуты — поэтому не стоит выбирать первый попавшийся вариант, а уделить больше времени поискам. Возможно, стоимость услуг более инновационного ЦОД будет дороже, но при определенных размерах инфраструктуры лучшие условия могут принести экономию на ремонте, обслуживании и замене железа.
    • Нужно жестко следовать правилам — США такая страна, где законы исполняются, даже если это кажется не всегда логичным. Но если в правилах сказано, что клиент не может отойти от своей стойки на два шага, то чтобы это сделать, нужно будет получить разрешение менеджера — и попутно подписать не одну бумагу и несколько раз показать ID.
    • Все очень дружелюбны, но надеяться в любом случае нужно только на себя — знаменитая американская позитивность не миф и распространяется в том числе на инженеров дата-центров, которые всегда не против помочь. Однако это не значит, что нужно расслабляться — например, ошибки при подготовке миграции никто за вас не исправит.

    Больше полезных ссылок и материалов от King Servers:


    King Servers 77,55
    Хостинг-провайдер «King Servers»
    Поделиться публикацией
    Комментарии 19
      +2

      Ребята, а где хоть какие-то технические или не очень подробности? Ну хоть фотки сравнения было/стало монтажа, коммутации?


      Всю статью можно свести к «мы переехали, не без приключений, но мы молодцы. Выводы:...»
      Статья, чтобы всем рассказать что вы переехали?

        +1
        Интересно, а визы приехавших были туристическими?
          0
          а разве в Америке есть туристические визы? Вот не знаю, можно ли бо H1B заниматься мувингом.
            0
            Гостевая виза B-1/B-2 предназначена для краткосрочных деловых (B-1) и развлекательных (B-2) поездок в США, а также для поездок с целью получения медицинской помощи (B-2). Виза B-1 обычно выдается лицам, въезжающим в США, для консультаций с партнерами по бизнесу, посещения научных, образовательных, профессиональных или деловых мероприятий и конференций, решения имущественно-правовых вопросов, участия в деловых переговорах. Виза B-2 выдается для поездок личного характера. Целью такой поездки может быть туризм, посещение друзей или родственников, получение медицинской помощи и участие в различных мероприятиях некоммерческого характера (группы по интересам, социальные, благотворительные и проч.). Часто категории B-1 и B-2 комбинируют, выдавая визу B-1/B-2.
              0
              Все верно, визы были B1/B2. Они подходят как для туристических, так и для бизнес поездок.
            0
            Скорее всего B1/B2 Visa (Visitor for Business or Pleasure).
            У меня была такая.
            0
            Мало фоток и тех. информации.
              0
              Расскажите еще где вы покупали сами сервера (если брали б\у).
              • НЛО прилетело и опубликовало эту надпись здесь
                • НЛО прилетело и опубликовало эту надпись здесь
                  • НЛО прилетело и опубликовало эту надпись здесь
                    0
                    Стоит ли связываться с покупкой бэушного ноута, да еще и с доставкой в через океан (а кстати, как/чем доставляют)? В случае каких-либо траблов ведь придется отправлять обратно (за жизнь покупал около десятка ноутов, для себя и знакомых, в одном случае пришлось прибегать к гарантии через неделю), ведь в российский СЦ не обратиться?
                    • НЛО прилетело и опубликовало эту надпись здесь
                      • НЛО прилетело и опубликовало эту надпись здесь
                          0

                          Это столь удивительный факт — SSD во конце второго десятилетия 21 века?

                          • НЛО прилетело и опубликовало эту надпись здесь
                    0
                    Оборудование мы всегда покупаем у дистрибьюторов Supermicro и Dell
                    0
                    Вы в SV2 переехали? Если нет, почему?
                      0
                      SV2 рассматривали, как и другие площадки, но переехали в итоге vXchnge. Они предложили нам более интересные условия. С провайдерами проблем тоже нет, все основные присутствуют — Cogent, Comcast, Att и т.п.

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое