Привет Хабр! В каждом крупном городе у ПАО «Ростелеком» имеется по две главных площадки города, резервирующие друг друга. Такие площадки могут состоят из одного или нескольких Автозалов. В связи с продажей в г. Новокузнецк здания, где располагалась одна из площадок, в РТК-Сервис поступила задача на перенос Автозала.
Меня зовут Андрей Титаренко, я ведущий инженер РТК-Сервис, и я расскажу вам о том, как это было.
*Автозал – спец. помещение с телекоммуникационными шкафами, заполненными оборудованием связи. Для взаимосвязи с внешним миром из него выходят волоконно-оптические кабели, расходящиеся в разные направления города или области.
Для большинства перенос Автозала является задачей, которую выполнить хоть как-то – уже победа, но победа, после которой «бардак» может получиться даже больше, чем был до переноса.
Но это не первый мой опыт работ такого уровня, и потому была поставлена самоцель: выполнить не просто перенос, а добиться порядка сразу в процессе. А еще задать «скелет продуманного монтажа», благодаря которому будет проще выполнять монтаж в дальнейших проектах, и который поможет поддерживать порядок впоследствии без дополнительного вмешательства.
Итак, мне в руки попадает РД (рабочая документация), по которой:
Обследование для РД проводилось пару лет назад, а это означает, что не учтено множество работ и модернизаций, случившихся с того момента (изменились связи, появилось доп. оборудование);
Обследование проводилось поверхностно, нет достоверных данных по кроссам и розеткам для линков;
В РД не учтена многоэтапность работ по переносу, а следовательно, и то, что потребуется множество временных решений и связей, требующих дополнительных работ и материалов (в старом Автозале, в новом Автозале, а также в двух Автозалах главной площадки города);
Присутствуют ошибки касательно связей внутри площадки и схем электропитания;
Проектировщик «срисовал» несовершенство размещения оборудования на старой площадке и скопировал его на новую;
По старому Автозалу отсутствует план размещения, а также схемы расключения электропитания и патч-кордов (данные есть лишь по новой площадке, с минусами, описанными выше).
CХЕМЫ ПЕРЕНОСИМЫХ ТКШ
ФОТОГРАФИИ ПЕРЕНОСИМЫХ ТКШ
В руки попадает заказ, по которому:
1. Объем работ для заказа брался с РД, недостатки которой описаны выше, что в итоге привело к тому, что заказом не учтен крупный дополнительный объем работ;
2. В целях экономии нам не был отдан перенос полностью под ключ, а пункты заказа оформлены общими мазками, из-за которых образовалось множество серых зон, которые непонятно кто будет выполнять;
2.1. Какое оборудование учтено нашим заказом (демонтаж и дальнейший монтаж):
Различные коммутаторы и сервера в количестве ~20шт;
Juniper MX480 (BPE2);
Juniper MX960 (BRAS4);
Juniper MX960 (RGR6);
Juniper EX9214 (DR2);
Мультиплексор SDH XDM500 + Шкаф;
DWDM OSN8800 + Шкаф;
DWDM «Волга» + DWDM «Пуск» №1+ Шкаф в которых они размещены;
DWDM «Пуск» №2 + DWDM «Пуск» №3 + Шкаф в которых они размещены;
*В ходе переговоров оказалось, что демонтаж и монтаж оборудования также включает в себя перенос существующих кабелей электропитания оборудования, дистрибьютеров питания, и автоматических выключателей.
3. Не учтена работа сисадмина, а это значит, что контроль и помощь будет за дежурными сисадминами от тогда ещё МРЦУСС (макрорегиональный центр управления сетями связи «Ростелекома»).
Понимая, что главными ответственными за результат в этой истории в любом случае окажемся мы, принимаем решение действовать на опережение, взять всё в свои руки и под свой контроль.
С точки зрения организации работ и четкости ЗО (зоны ответственности), намного проще было бы взять весь объем на себя. Но наш заказ не включает в себя весь объем, и расширять его не планируется. Также имеется масса неучтенных дополнительных работ. А значит, запускаем бесконечную активную дискуссию о том, как будем переносить Автозал с пониманием, что заказ и проект многое не учитывают (с доказательствами и убеждениям).
В итоге наконец-то есть результат переговоров: делаем всё необходимое для переноса (учтено оно где-то или нет), но «тащим» эти работы вместе с необходимым содействием со стороны ПАО «Ростелеком».
Теперь остается дело ЗА МАЛЫМ: разработать планы работ, схемы и кабельные журналы (всё это со множеством неизвестных), выполнить все необходимые работы по обследованию и подготовке (на старой площадке, на новой площадке, и на двух этажах главной площадки города), а затем реализовать многоэтапный перенос, да так, словно это не были ночные переносы в ограниченное окно времени (т.к. оборудование всё в работе), а спокойный монтаж с нуля.
Шли дни, недели, месяцы… В итоге прошел год ожидания, когда наконец нам объявили – «Пора переносить».
Весь этот год Автозал поддерживался на низком старте (в параллель другим проектам), чтобы в любой момент, при любых обстоятельствах и в любые сроки, как только нажмут кнопку «Начать перенос», можно было оперативно и качественно выполнить эту задачу.
А до тех пор полноценно выполнять подготовительные работы нельзя, т.к. слишком многое зависит от сроков, которые нам озвучат, и многоэтапного плана переноса, о котором окончательно договоримся, только узнав об этих самых сроках.
Можно было лишь разрабатывать концепцию переноса общими мазками. Чтобы не стать героями поговорки «Пока жаренный петух не клюнет».
ЗНАКОМСТВО С НОВЫМ АВТОЗАЛОМ
Примечание:
- Красным выделена наша прямая ЗО (зона ответственности).
- В остальной части Автозала мы взаимодействовали со шкафами, которые связаны с нашей ЗО по электрике и связям.
Кнопка «Начать перенос» нажата. Казалось бы, наконец, вперёд к полноценным подготовительным работам и переносу! Но нет…
За неделю до начала ночных работ по переносу Роскомнадзору в срочном порядке потребовался монтаж и внедрение ТСПУ (технических средств противодействия угрозам), которые по закону устанавливаются у каждого ОС для фильтрации и ограничения запрещенного трафика.
Настолько срочно, что НЕЛЬЗЯ дождаться переноса старого Автозала (чтобы внедрить ТСПУ уже сразу в новом Автозале).
Чтобы не собирать шкаф ТСПУ в старом Автозале и через неделю не разбирать его для переноса, а также чтобы минимизировать усложнение переноса оборудования, согласовываем:
- шкаф ТСПУ сразу в новом Автозале (и всё с ним связанное);
- временные «кроссы перемычки» между старым и новым Автозалами, чтобы врезать ТСПУ в оборудование ОС ещё в старом Автозале.
И вот на новой площадке появляется наш первый шкаф с оборудованием, который не планировался, да ещё и усложняет схему переноса (т.к. шкаф ТСПУ уже «врезан» в оборудование ОС, которое нам предстоит переносить).
И вновь возвращаемся к процессу переноса…
КАК ПЕРЕНОСЯТСЯ АВТОЗАЛЫ
I ВАРИАНТ (применим лишь при ЧП, когда нет иного выхода)
1. Сразу переносится всё, с перерывом связи в условные сутки.
2. После ещё несколько недель «разгребаются» все неустраненные аварии и последствия такого варианта, а некоторые доп. последствия «всплывут» лишь спустя длительное время.
Примечание:
При таком варианте присутствует вероятность увольнения допустивших такой длительный перерыв и последствия.
II ВАРИАНТ (самый безопасный)
1. Во время подготовительных работ готовится точная физическая копия Автозала по оборудованию и расключению (*по возможности, улучшенная копия)
2. Разрабатывается многоэтапный план переноса, который выглядит следующим образом:
- По ночам откусываются существующие оптические кабели и свариваются через муфты с новым оптическим кабелями (а на конце нового кабеля расположен уже разваренный новый кросс, который расключен в точности, как старый кросс);
- Количество таких кабелей за 1 ночь зависит от:
• резервных линков в каждом кабеле;
• количества потенциальных проблем по «перепуткам» и «сигналам», которые безопасно можно успеть решить в рамках заведенного перерыва связи;
• от множества менее значимых нюансов.
3. В зависимости от того, способны ли сисадмины сделать так, чтобы в сети одновременно существовало и старое, и новое оборудование (речь об оборудовании с большим количеством линков), то или/или:
- если удалось реализовать работу старого и нового оборудования в параллель, то «пункт 2» выполняется как описано выше;
- если НЕ удалось реализовать работу старого и нового оборудования в параллель, то в этом случае в «пункте 2» учитывается связка «Оборудование/Кабель» (по принципу у кого с кем больше соединений между собой), старое выбранное оборудование отключается, выбранный волоконно-оптический кабель (ВОК) переваривается на новый Автозал, а связи, не относящиеся к выбранной связке «Оборудование/Кабель», возвращаются обратно в старый Автозал по временному кроссу-перемычке (в ещё не перенесенное оборудование и кроссы).
III ВАРИАНТ (вынужденный Наш, зачастую все переносы происходят по некому своему третьему варианту)
1. Не будет ни одного копируемого оборудования, всё переносится в ночные окна времени заведенных работ, при которых оборудование:
демонтируется вместе с кабелями питания (иногда с автоматами, требующих доп. монтажа перед установкой оборудования);
переносится с 4 этажа старого здания в новое здание;
устанавливается и подключается по электрике;
расключаются все патч-корды в новом Автозале (связанные с переносимым оборудованием);
исходя из наилучшей связки «Оборудование/Кабель», откусывается существующий ВОК и сваривается через муфту с новым ВОК (а на конце нового ВОК расположен уже разваренный новый кросс, но который нужно расключить с переносимым оборудованием);
связи, не относящиеся к этой связке «Оборудование/Кабель», возвращаются через кросс-перемычку обратно в старый Автозал и расключаются с ещё не перенесенным оборудованием и кроссами.
2. Проектом подразумевалось, что дополнительно:
переносится не часть автоматов, а все автоматы (иногда даже с дистрибьютерами питания), соответственно, с расключением вводных эл. кабелей на шкафы и автоматы лишь ночью, на время переноса;
переносятся некоторые шкафы, в которых ещё расположено оборудование, т.е. после демонтажа оборудования из шкафа нужно разобрать или укрепить для переноса сам шкаф (чтобы он не развалился), перенести и смонтировать этот шкаф в новый Автозал, а лишь после полноценно выполнять «1 пункт».
*Но! Удалось убедить заказчика, что всё, что можно подготовить днём, нужно подготавливать днём, т.к. во время переноса не до лишних задач (форс-мажоров и так будет с лихвой), в итоге за счет выделения доп. материалов и подготовительных работ удалось избежать «2 пункт».
3. У нас не будет своего постоянного сисадмина, а будут лишь обычные дежурные сисадмины от Межрегионального Центра управления сетями связи (МРЦУСС) ПАО «Ростелеком», которые могут лишь в конце работ проверить факт отсутствия аварий. Это увеличивает необходимый уровень подготовительных работ и проработанности ночных работ (т.к. сисадмин нам не поможет в случае ошибок н�� линках и проблем расключения).
