Совсем недавно мы открыли облако в Санкт-Петербурге. Оборудование для него перевозили из Москвы. Готовя этот переезд, я вспомнил о многих историях и «граблях» из моего опыта и решил подготовить небольшую обзорную статью на эту тему.

В формате чек-листа, сдобренного примерами из жизни, расскажу, какие неожиданности и подводные камни могут подстерегать новичков при переезде и монтаже серверного оборудования на новой территории. Для наглядности использовал фотографии с нашего монтажа в Санкт-Петербурге.

Заходите под кат, поговорим о том, как переехать и не сойти с ума.

Процесс переезда преисполнен рутины и устроен почти одинаково в компаниях нашей отрасли. Не стану зацикливаться на таких вопросах, как выбор подрядчика для перевозки или погрузка-разгрузка (хотя они также важны!).

Большую часть статьи я посвятил всевозможным трудностям, которые ожидают при планировании переезда или установке оборудования.

Подготовка

Важно просчитать все заранее, чтобы избежать глупых ошибок при переезде.

• Репетируйте. Всегда сначала пробуйте собрать оборудование на своей площадке, прежде чем отвезете его на новую. Именно так сделали мы, и это уберегло нас от неожиданностей. Все оборудование было смонтировано в Москве в стойку и промаркировано. Были созданы журналы кроссировок и схема размещения. Зачем – читайте ниже. После чего оборудование было демонтировано и упаковано в специальные транспортировочные ящики по размеру кузова машины перевозчика,, которые гарантируют сохранность оборудования при транспортировке.
  
• Познакомьтесь. Заранее ознакомьтесь с новым местом, лучше всего посетите его лично, осмотритесь и пообщайтесь с персоналом. Получите образцы всех документов, которые вы должны будете предоставить для въезда и открытия заявок в хелпдеске. Узнайте правила разгрузки: где находится пандус, как к нему подъехать, как вызвать инженера для сопровождения, в какое время возможны разрузочные работы. Уточните время работы склада! Мы попадали в ситуацию, когда монтаж в ЦОД возможен 24 часа в сутки, и все оборудование помещено заранее на склад. А вот склад работал с 10 до 18-30 :)
  
• Посчитайте. Перед переездом подготовьте исчерпывающую опись перевозимого оборудования, буквально от стойки до гайки. У вас должны быть переписаны все модели, серийные номера и т.п.
  
• Маркируйте. Сделайте журнал кроссировок, отмаркируйте все оборудование (минимум с двух сторон), чтобы на новом месте не разбираться в панике, что к чему. Измерьте вашу стойку, включая ее полезный размер (глубину, ширину, высоту) – чуть позже поймете, почему это важно. Маркировки выполняйте по единому стандарту. Обязательно промаркируйте все порты на оборудовании перманентным маркером.
  
• Записывайте. Согласуйте все документы и доверенности, которые надо будет взять с собой. Доверенность обязательно должна быть выписана по форме принимающей организации. Не полагайтесь на сотрудников, проверяйте и перепроверяйте их работу. Даже небольшая ошибка может сорвать вам сроки.
  
• Соберитесь. Возьмите с собой тревожный чемоданчик: ноутбук с блоком питания, отвертки (прямая, крестовая, короткая крестовая, мощная), пассатижи, нож канцелярский, ножницы, липучку для фиксации проводов, стяжки (не для проводов!), маркер, переходник питания C14 на евро, проверенный провод USB-COM, флешку, ключ от стойки APC, блокнот, карандаш, маркировочный принтер или этикетки для маркировки, достаточное количество листов для записи. Контакты ваших коллег и подрядчиков на бумаге и возможность позвонить им не по сотовой связи (ее может не быть в ЦОД). Просто поверьте на слово!
  

Семь раз отмерь… И еще раз отмерь!

Несмотря на все принятые меры, казусы при переезде случаются. Расскажу о самых типичных.

• Слишком длинные кабели. В поставке были sas-кабели 10 м, по 4 штуки на стойку. Этой длины нам замечательно хватало в московских ЦОДах, но в Петербурге лоток для проводов оказался ниже, и длина кабелей оказалась избыточной. Проблема небольшая, мы нашли способ аккуратно проложить провода.
  
  
  
• Новая конфигурация. Двухсоткилограммовую верхнюю полку СХД размером 3U, которая отлично располагалась в 20-м юните на схеме оборудования, неожиданно :) понадобилось выдвигать вперед на всю длину, для чего пришлось перемонтировать ее вниз. А значит и контроллер СХД нужно переместить вниз, под полку, чтобы обеспечить возможность наращивания емкости. Это повлекло за собой перепроектирование установки другого оборудования. От таких ситуаций никто не застрахован, важно уметь решать их на лету. Поэтому доверяйте переезд самым опытным инженерам.
  
• Разъемы питания. Вот еще один пример: в числе прочего, мы привезли Power Distributor Unit’ы (ПДУ) – модули питания, к которым подключаются сервера. Эти модули бывают одно- и трехфазные и требуют, соответственно, одно- или трехфазного питания. Есть еще «груши», разъемы подключения ПДУ, они тоже бывают разными: на 16 и 32 ампера. Вы запрашиваете 3-х фазное питание, его организуют согласно заявке. И вот, казалось бы: есть трехфазная вилка, перед вами трехфазная розетка. Но они не соединяются, потому что вилка на 16 ампер, а розетка на 32. Разница между ними буквально в полмиллиметра, на глаз не видна. Еще до переезда мы уточнили этот момент, взяли то, что нужно, но для подстраховки все равно укомплектовались ответными частями разъемов.
  
• И снова отмерь. Некоторые накладки возникают совершенно неожиданно: мы привезли на объект оборудование глубиной 980 мм для стойки на 1000 мм, а ее фактическая монтажная глубина не совпала с номинальной – оказалось, что рабочего пространства в ней 750 мм. А в стойке на 1200 мм после установки оборудования 970 мм осталось 3 свободных сантиметра вместо 23. Повторимся, обязательно измеряйте все, что устанавливаете и перевозите.
  
• Точка крепления. Иногда нашим инженерам приходится креативить на месте. Если раньше вы работали со стандартными APCшными стойками, то наверняка знаете, что для размещения ПДУ в них есть специальные отверстия, куда ПДУшки замечательно защелкиваются. А если стойка произведена другим вендором и никаких отверстий под ПДУ не предусмотрено, можно попасть впросак: не ковырять же ее дрелью, право слово! К счастью, инженеры захватили с собой обыкновенные металлические уголки, из которых получились аккуратные и надежные крепления.
  
  
  
• Внимание, негабарит! Еще одна потенциальная проблема – разъемы питания «груши» могут внезапно оказаться не под фальшполом, а внутри стоек, в «платной» зоне. То есть, занимают места юнитов почем зря. Допустим, планировалось разместить в стойке 42 юнита, а на деле 2 юнита уже заняты «грушами». И приходится внизу размещать минимально габаритное оборудование, у которого сзади нет коммуникаций. Такие ситуации могут сломать всю схему оборудования. В нашем случае проблема решилась размещением внизу стойки ящиков для ЗИПа, у которых в задней части нет ни электрики, ни других проводов.
  
  
  Те самые внезапные «груши». Картинка с монтажа.
  
• Исконно русская сноровка. Стойки – это в принципе проблемная штука. Они бывают двух типов: чуть уже и чуть шире, чем надо. В документации написано: 19 дюймов, а на деле ширина может гулять на ± 5 мм, и с этим приходится мириться, так как регулировочные шайбы изготовителем почему-то могут быть не предусмотрены.

Советы от «Григория Остера»:

• В ситуации, когда стойка на несколько миллиметров уже, понадобятся сильные мужские руки в количестве четырех штук. Например, один инженер и один программист. Более субтильного программиста помещаете внутрь стойки и просите встать враспор. В это время мускулистый инженер устанавливает первый сервер. Как правило, одного повторения достаточно, чтобы стойка приобрела «правильную» ширину, и далее оборудование устанавливается как надо.
  
• Сервер внутри стойки стоит на специальных рельсах. И если стойка чуть шире, чем нужно, не получится зацепить его за обе стороны одновременно. Для решения этой проблемы нам понадобится специализированный инструмент для точных манипуляций, в узких кругах известный как монтировка. Ее можно одолжить у монтажников или предусмотрительно захватить с собой. Один человек с помощью инструмента слегка подтягивает любую сторону стойки к центру, а другой цепляет оборудование.

На всякий случай: ничего сверхъестественного в этом процессе нет, и оборудование не страдает – расхождение в ширине чуть меньше тетрадной клетки.

Делайте запасы

Еще одна вещь, которая кажется очевидной, и поэтому о ней всегда забывают: берите крепежные детали с большим запасом. Даже если кажется, что должно хватить, возьмите еще. Искать или докупать их на месте – себе дороже.

Нам нужно было смонтировать оборудование на объекте в две стойки. Мы взяли с собой три комплекта по 50 болтов-гаек, которых по ощущениям должно было хватить с головой. Но не тут-то было: в данной конфигурации оборудование, заглушки и декоративные панели крепятся с помощью гаек и сухарей, а не на защелки, как привыкли мы. В итоге, чтобы закрепить все прочно, пришлось докупать еще один комплект, которого хватило практически впритык.

Примерно то же самое касается и проводов: чем больше на объекте их выбор, тем лучше, лишние привезете домой Берите по-максимуму: и питание, и сетевые кабели, и Ethernet разной длины. Лоток, через который вы пропускаете провода, может висеть на разной высоте над стойкой, и, если в наличии минимум семиметровые кабели, внутри или на крыше стойки получится клубок проводов, с которым будет невозможно работать. Вам нужна гарантия, что удастся проложить все красиво и аккуратно и серверная не будет напоминать змеиное гнездо в период спаривания.

Лайфхак:
Обязательно берите с собой мастера, который умеет укладывать «красиво». По слухам, это суперспособность, которой в совершенстве владеют лишь единицы.

И снова о маркировке

Монтаж стойки закончен, ни один инженер не пострадал. Но и это еще не все. В идеале, после монтажа нужно начертить подробную схему размещения оборудования. При этом «портреты» делаются и спереди, и сзади. На каждом подписан номер стойки. Это нужно, чтобы не перепутать, что находится слева, а что справа.

Помните про красивые провода? Кроме эстетики они полезны в процессе эксплуатации и снижают риск ошибки. К примеру, нужно переподключить всего один провод, а за  ним из клубка тянутся еще четыре. В результате отключатся важные сервисы.

Поэтому, даже если очень лень и все кажется (вам сейчас) простым и понятным, обязательно промаркируйте все провода и все оборудование. Хотя бы с помощью маркера и бумажного скотча. Инженеры, которые будут заниматься поддержкой после переезда, скажут вам спасибо.

Еще лучше, если в критических узлах провода будут иметь не только подписи, но и разный цвет. Предположим, инженер получает задание отключить конкретный черный провод. При том что все провода черные. Какова вероятность ошибки? … Мы используем зеленые провода для подключения левых блоков питания, а оранжевые – для правых. Блоки питания с разных сторон подключаются к разным лучам питания.


Обозначайте разные лучи питания разными цветами. Длинным черным проводом питания слева временно подключен ноутбук — фотография с монтажа.

Правила поведения

Напоследок напомню: во всех дата-центрах есть свои правила поведения, и ваши сотрудники должны их знать до начала работ.

Не забудьте заранее уточнить у дежурного следующие пункты:

• Куда можно/нельзя ходить, как работает система контроля доступа в целом?
• Как быстро выйти на улицу?
• Куда выкидывать мусор?
• Как вынести назад оставшиеся детали?
• Где уборные?
• Где находится вода и еда (столовая, автоматы и т. п.)?
• Где взять свежие бахилы?
• Как быстро связаться с дежурным?
• Можно ли будет выйти из зала самостоятельно, без дежурного?
• Где находится консоль с монитором?
• Есть ли доступ в интернет через Wi-Fi? Получите логин и пароль.
• Можно ли делать межстоечные кроссировки?

И пара специальных вещей, о которых нужно узнать заранее:

• Обязательно узнайте, до которого часа действуют пропуска. Регулярно инженеры остаются на объекте заполночь. Система безопасности может обнулить пропуска в 00:00, и люди не смогут выйти.
  
• При монтаже оборудования может потребоваться допуск по электробезопасности. Для этой работы необходимо иметь 2-ю группу допуска, и без удостоверения государственного образца вас не пропустят в ЦОД.
  

Если все пункты проверены и проблем не наблюдается, можно приступать к монтажу на объекте.

Вот такой чек-лист получился у меня. Ни один переезд не проходит на 100% гладко, но, следуя этим пунктам, вы сэкономите себе пару нервных клеток.
На этом все, задавайте вопросы и делитесь своим опытом в комментариях.

P.S. Когда я первый раз рассказал эту историю опытному ИТ-директору, он достал из шкафа старенький коммутатор DLINK в стоечном исполнении: «Вот это оборудование первым приезжает от нас в новый ЦОД в 23:45. С помощью него мы проверяем, какие нужны бумаги на внос, готова ли стойка, можно ли в нее смонтировать стандартное оборудование, подведено ли питание, готовы ли внешние сетевые кроссировки, как можно попросить „удаленные руки“ перезагрузить ваше оборудование, что нужно для демонтажа и вывоза оборудования. И только когда DLINK успешно возвращается домой, мы считаем, что готовы к переезду». Хороший способ опробовать новые грабли без потерь.

С Новым годом, и всем добра!