Итак, заметки техника о реалиях местечкового «Пионернета» продолжаются.
Первая часть оказалась интересной, хотя и с уклоном в «организаторские проблемы».
Постараюсь восполнить дефицит и вспомнить технические моменты работы. В частности: организацию общей структуры сети, модернизацию сегментов без вывода из эксплуатации, прокладку и оконцовку оптических кабелей.
Добро пожаловать под кат:
Пожалуй, стоит заметить, что город относительно современный, этажность застройки в основном 5-9-16 этажей. Территориально состоит из двух удаленных друг от друга «макрорайонов», разбитых на «микрорайоны» по 20 — 40 домов.
Когда я только начал работать, оптическая опорная сеть была сделана в виде двух колец, охватывающих «макрорайоны», с одной точкой присутствия на «микрорайон», от которой по домам расходились цепочки тупых свитчей на медной витой паре. Связность между «макрорайонами» была организована по арендованному волокну одного из «опсосов».
Если попытаться вспомнить схему, то чем то она напоминала схему московского метро, из которой убрали часть в пределах кольцевой линии, и выглядела примерно так:
На тот момент нам хотелось получить стабильную, магистральную звезду, от которой уже потом организовывать умный уровень доступа.
Сама оптическая сеть была ужасающего вида. Многомодовое волокно местами уже крошившееся от старости, окноцованное сплайс пластинами. Длинные пробросы запросто могли быть сделаны из нескольких кусков кабеля разной волоконности, производителя и даже б/ушности. Муфты в местах сварки были редкостью — в основном соединения были упакованы в кассету и засунуты в «бутылку из под пива», подвешенную вверх дном.
Оконцовка в ящиках тоже обходилась без кроссов. Кабель, волокно, сплайс пластины и хвостики были привязаны кусочками витой пары к фанерке, и уходили в свитч. На точках, считавшихся «образцовыми», вместо фанерки использовалась кассета.
Вполне нормальной была ситуация когда одномодовый восьмиволоконный двухмодульный кабель уходящий с точки, по пути, в бутылке, превращался в одномодульный, дальше, ещё в одной бутылке расходился в два многомодовых 4х волоконных кабеля — один шел дальше в кольцо, а ещё один какой-то организации…
Естественно, качеством и стабильностью работы эта структура не страдала с самого рождения.
Схем оптических соединений и кроссировки в помине не было. Мы собрали отрывочные сведения о кабельной структуре, которые хранились в головах монтажных и инженерных, и стали думать.
Сначала, неделю не вылезая с крыш, на спутниковом снимке города в «SAS планете», маршрутами прикинули примерную схему прохождения кабелей, залезли во все точки и бутылки, как смогли отследили кроссировку. Потом вынудили начальство заказать б/у рефлектометр и сварочный аппарат.
Думы закончились покупкой бухты 8 волоконного одномодового и одномодульного кабеля, муфт, 19 дюймовых ящиков для оборудования, кроссов и кучи оптической пассивки.
Через месяц получили технику: рефлектометр Anritsu и сварочный аппарат Ericsson FSU 905, по сей день служащие нам верой и правдой. Ещё через месяц приехали материалы.
С того дня было озвучено «Решительное нет» бутылкам и сплайс пластинам.
Совместными усилиями, решили, что будем провешивать 8 волоконный кабель отдельными участками по маршруту старых колец, и по мере прокладки разворачивать кольца в звезды, со сбором в точках агрегации. Всего насчитали 15 лучей звезды в одном центре и 11 в другом, кольца размыкали на противоположном диаметре от центра агрегации, и каждую точку включали через WDM-SFP в свое волокно.
Делали следующим образом: В центре было выделено два порта с обычными дуплексными SFP — в них, уже новым волокном, включали уменьшающееся по мере работ старое кольцо, и 16 портов с WDM модулями. Кабель в центре агрегации сварили в кросс, и включили в шесть портов свитча первые волокна, последняя пара была занята на поддержке старой структуры.
Затем, рядом с уже имеющимся на кольцевой точке, монтировали новый ящик и электрику под перенос оборудования, провешивали участок кабеля, обваривали, переносили оборудование, переключали точку на одно волокно в новом кабеле, остальные волокна кроссировали насквозь, кроме последней пары, которая уходила в старый кабель и замыкала все уменьшающееся кольцо.
Обе структуры работали одновременно, только одна росла а вторая ужималась:
Когда в кольце осталось три точки, и с каждой стороны на них были задействованы последние два волокна, то не тревожа их, проложили, оконцевали и скроссировали последние участки нового кабеля, затем инженеры и монтажники вышли в ночную смену, и за 5 часов плотного графика перенесли и переключили все три точки.
Второй «макрорайон» был переделан таким же образом. Там мы обошлись без ночных работ, поскольку у звезды получилось 11 лучей, и 16 волокон хватило чтобы сузить кольцо до двух точек, а затем разомкнуть кольцо и переключить их в 1 волокно. У нас даже остался запас в 4 волокна, ну он карман не тянет. Правда в первом «макрорайоне» запасных волокон у нас не осталось, т.к. 15 из них использованы в звезде, а ещё по одному с каждой стороны мы использовали для соединения между собой центров агрегации, но и эта проблема сейчас решается.
Таким образом мы получили две логические звезды на фактически тех же самых кольцах что были и в начале. Но теперь каждая точка была совершенно независима от работоспособности остальных, оборудована бесперебойным питанием, оптическим кроссом, плюс мы избавились от «джиннов в бутылках». К тому же сделали свой собственный линк между точками агрегации, оставив арендуемое волокно в качестве горячего резерва.
Время простоя точки и зависящего от неё микрорайона в среднем 2-4 часа — вполне приемлемый результат, учитывая объем и сложность работ.
По мере прокладки, старые участки, и ящики где размещалось оборудование — демонтировали. Снятые куски оптики, органолептически и по рефлектограммам проверялись на профпригодность, и отправлялись на склад. Ящики и лучшая часть кабелей в дальнейшем использовалась при замене медных междомовых коммуникаций.
После ввода звезд в эксплуатацию, проблем на магистралях у нас практически не стало. По сей день неудобства доставляют только длительные отключения электропитания, с которыми не справляются бесперебойники, но это, видимо, хроническое.
Зато с ростом сети и количества абонентов начали всплывать другие проблемы — тупые свитчи на витой паре не справлялись с нагрузкой от полутора — двух сотен клиентов в сегменте. Появились клиенты, организовавшие собственные «подъездные» сети, с кольцами и броадкстовыми штормами от всяческих борг и айс чатов.
Назрела необходимость решения проблем доступа клиентов.
Для этого необходимо было «умнифицировать» дома. А заодно уж и делать FTTB. На одно-пяти подъездные дома решили ставить один свитч посередине дома, в чердачном помещении. В многоподъезных домах — один свитч на пять подъездов.
Соединять свитчи было решено в кольца, замыкать которые на лучи магистральной звезды.
Для тестов и отработки технологии, выбрали один из самых густонаселенных, и потому проблемных районов, состоящий из трех огромных круглых домов в 25 — 30 подъездов, и нескольких семейных 3-4 подъездных общежитий. По приблизительным подсчетам получалось 23 точки, по факту получилось 25.
За пару месяцев закупили кабель, такой же как и для магистралей — уж больно понравился, свитчи — по решению начальства — dlink, 3526 модели на дома и 3028G на луч звезды, и приступили к монтажу.
Замкнуть кабель в кольцо физически не получалось никак, поэтому проложили в обе стороны до крайних точек, разварили а вот свитчи включили наперехлест.
Линк, выйдя из корневого свитча в первый рог, падал не на следующий по порядку — а через один от него и так далее до конца «рога». Там разворачивался и шел обратно по пропущенным свитчам первой половины, мимо корневого, до другого конца рога. Там опять разворачивался и по пропускам во втором роге возвращался в корневой.
Получившееся кольцо, по RSTP размыкается одним из свитчей в середине, который в случае пропадания сигнала с одной стороны разворачивается в другую, если же выключается сам, то просто физически разрывает его.
Схема проста и стабильна. При обесточках на одном свитче мы теряем только его. Потерять все кольцо целиком рискуем только при отключении одновременно двух рядом стоящих точек. Но такое на моей памяти было один раз, когда отключилась половина микрорайона.
Перенос клиентов осуществлялся постепенно, после ввода в эксплуатацию всего кольца. По мере переноса, медная структура демонтировалась, все клиенты сводились в умное оборудование. Частично она была задействована, поэтому сразу отключать её мы не могли, поступали так же как и с оптикой в старом кольце. Когда уносили клиентов с предыдущего свитча — следующий включали временным кабелем с ближайшего к нему оптического.
Все работы заняли два месяца, исправление косяков монтажной бригады, допущенных при переносе — ещё примерно месяц. После этого микрорайон из генератора происшествий превратился в одну из самых тихих гаваней сети. Уже второй год оттуда поступает 5-7 экстренных тикетов в месяц, не более.
В итоге, по результатам инсталляции и пары месяцев эксплуатации схема была одобрена к дальнейшему применению.
По такому же пути мы переделали ещё 9 микрорайонов в первом «макрорайоне», и 7 во втором. Средняя длина колец составляет от 12 до 30 свитчей. Учитывая что кольца в основном пассивные, и только пропускают BPDU пакеты — время сходимости получается около 5ти секунд.
В одном микрорайоне схему пришлось несколько изменить. Застройка не позволяла одним кольцом охватить весь микрорайон. Поэтому было сделано маленькое кольцо из 12 свитчей охватывающее половину микрорайона, а к семи удаленным от остальных домам проведен отдельный кабель. Для них приобрели медиаконвертерное шасси, и свитч Dlink 3100-24. Каждый из свитчей на этих домах, включался через связку SFP — конвертер в 3100-24. Получилась своеобразная районная «мини звездочка».
Но особенность на этом участке не в схеме, а в методе разварки кабеля. Поскольку он был проложен одним куском с сквозными заводами в места будущей установки оборудования, то было принято решение не резать его на точках, а доставать по одному волокну. В результате прямо на кабеле на расстоянии в 40-50 см делались два сантиметровых надреза и вскрывался модуль. В одном надрезе искалось и перекусывалось нужное волокно, после этого надрез герметизировался. Отрезанное волокно аккуратно выводилось во второй разрез и оконцовывалось. Место надреза и запас волокна убирались в кассету, а концевик шел в свитч.
Работа сложная и почти ювелирная. На разварку семи точек я потратил полторы недели, но дело того стоило. Когда в дальнейшем, при ремонте крыш, наш кабель перегнули чуть ли не на 180 градусов, и судя по рефлектограмме свободного волокна, в этом месте, даже после разгибания осталось приличное падение сигнала — ни одна из точек не прекратила работать. Если бы на пути было 5-7 разъемов, вряд ли все было бы столь радужно.
Фронтов хватает постоянно, в планах на лето ещё четыре микрорайона перевести на FTTB(Building), начать менять кольцо в одном из «макрорайонов» на 24 волоконный кабель, плюс ко всему начальство планирует подключать к сети пару коттеджных поселков в окрестностях города. К тому же последнее время активизировались граждане предприниматели, которые в своих мечтах видят безлимитный гигабитный интернет прямо в офис, что не убавляет нам хлопот.
По общим результатам, за последний год у нас был один экстренный выезд на ремонт оптики, которую порвало упавшим в грозу деревом, тогда как три года назад мы ездили на экстренные пяток раз в месяц — бутылку затопило после дождя, сигнал пропал, и прочие неприятности приветствовали нас чуть ли не еженедельно.
Среднее количество экстренных тикетов за неделю, в последние два года если не падает то не растет точно, это при троекратном росте абонентской базы. К тому же первоначальная диагностика по тикету теперь зачастую сводится к просмотру лога и состояния порта свитча. Что намного проще и быстрее выезда на место экстренной или монтажной бригады.
Внутрирайонные кольца и магистральные линии, рассчитанные на пропуск 1гбит/с сейчас загружаются в пиковые часы на 30-45%, таким образом, нам есть куда расти, и по транспортной возможности сеть может поработать ещё пару лет, хотя ей уже готовится адекватная смена…
Ещё в планах, заметки по медным домовым коммуникациям, и встреченным интересностям в настройке оборудования.
Первая часть оказалась интересной, хотя и с уклоном в «организаторские проблемы».
Постараюсь восполнить дефицит и вспомнить технические моменты работы. В частности: организацию общей структуры сети, модернизацию сегментов без вывода из эксплуатации, прокладку и оконцовку оптических кабелей.
Добро пожаловать под кат:
Структура сети.
Пожалуй, стоит заметить, что город относительно современный, этажность застройки в основном 5-9-16 этажей. Территориально состоит из двух удаленных друг от друга «макрорайонов», разбитых на «микрорайоны» по 20 — 40 домов.
Когда я только начал работать, оптическая опорная сеть была сделана в виде двух колец, охватывающих «макрорайоны», с одной точкой присутствия на «микрорайон», от которой по домам расходились цепочки тупых свитчей на медной витой паре. Связность между «макрорайонами» была организована по арендованному волокну одного из «опсосов».
Если попытаться вспомнить схему, то чем то она напоминала схему московского метро, из которой убрали часть в пределах кольцевой линии, и выглядела примерно так:
На тот момент нам хотелось получить стабильную, магистральную звезду, от которой уже потом организовывать умный уровень доступа.
Первый этап. Как все было.
Сама оптическая сеть была ужасающего вида. Многомодовое волокно местами уже крошившееся от старости, окноцованное сплайс пластинами. Длинные пробросы запросто могли быть сделаны из нескольких кусков кабеля разной волоконности, производителя и даже б/ушности. Муфты в местах сварки были редкостью — в основном соединения были упакованы в кассету и засунуты в «бутылку из под пива», подвешенную вверх дном.
Оконцовка в ящиках тоже обходилась без кроссов. Кабель, волокно, сплайс пластины и хвостики были привязаны кусочками витой пары к фанерке, и уходили в свитч. На точках, считавшихся «образцовыми», вместо фанерки использовалась кассета.
Вполне нормальной была ситуация когда одномодовый восьмиволоконный двухмодульный кабель уходящий с точки, по пути, в бутылке, превращался в одномодульный, дальше, ещё в одной бутылке расходился в два многомодовых 4х волоконных кабеля — один шел дальше в кольцо, а ещё один какой-то организации…
Естественно, качеством и стабильностью работы эта структура не страдала с самого рождения.
Схем оптических соединений и кроссировки в помине не было. Мы собрали отрывочные сведения о кабельной структуре, которые хранились в головах монтажных и инженерных, и стали думать.
Сначала, неделю не вылезая с крыш, на спутниковом снимке города в «SAS планете», маршрутами прикинули примерную схему прохождения кабелей, залезли во все точки и бутылки, как смогли отследили кроссировку. Потом вынудили начальство заказать б/у рефлектометр и сварочный аппарат.
Думы закончились покупкой бухты 8 волоконного одномодового и одномодульного кабеля, муфт, 19 дюймовых ящиков для оборудования, кроссов и кучи оптической пассивки.
Через месяц получили технику: рефлектометр Anritsu и сварочный аппарат Ericsson FSU 905, по сей день служащие нам верой и правдой. Ещё через месяц приехали материалы.
С того дня было озвучено «Решительное нет» бутылкам и сплайс пластинам.
Прокладка новой структуры.
Совместными усилиями, решили, что будем провешивать 8 волоконный кабель отдельными участками по маршруту старых колец, и по мере прокладки разворачивать кольца в звезды, со сбором в точках агрегации. Всего насчитали 15 лучей звезды в одном центре и 11 в другом, кольца размыкали на противоположном диаметре от центра агрегации, и каждую точку включали через WDM-SFP в свое волокно.
Делали следующим образом: В центре было выделено два порта с обычными дуплексными SFP — в них, уже новым волокном, включали уменьшающееся по мере работ старое кольцо, и 16 портов с WDM модулями. Кабель в центре агрегации сварили в кросс, и включили в шесть портов свитча первые волокна, последняя пара была занята на поддержке старой структуры.
Затем, рядом с уже имеющимся на кольцевой точке, монтировали новый ящик и электрику под перенос оборудования, провешивали участок кабеля, обваривали, переносили оборудование, переключали точку на одно волокно в новом кабеле, остальные волокна кроссировали насквозь, кроме последней пары, которая уходила в старый кабель и замыкала все уменьшающееся кольцо.
Обе структуры работали одновременно, только одна росла а вторая ужималась:
Когда в кольце осталось три точки, и с каждой стороны на них были задействованы последние два волокна, то не тревожа их, проложили, оконцевали и скроссировали последние участки нового кабеля, затем инженеры и монтажники вышли в ночную смену, и за 5 часов плотного графика перенесли и переключили все три точки.
Второй «макрорайон» был переделан таким же образом. Там мы обошлись без ночных работ, поскольку у звезды получилось 11 лучей, и 16 волокон хватило чтобы сузить кольцо до двух точек, а затем разомкнуть кольцо и переключить их в 1 волокно. У нас даже остался запас в 4 волокна, ну он карман не тянет. Правда в первом «макрорайоне» запасных волокон у нас не осталось, т.к. 15 из них использованы в звезде, а ещё по одному с каждой стороны мы использовали для соединения между собой центров агрегации, но и эта проблема сейчас решается.
Что получилось.
Таким образом мы получили две логические звезды на фактически тех же самых кольцах что были и в начале. Но теперь каждая точка была совершенно независима от работоспособности остальных, оборудована бесперебойным питанием, оптическим кроссом, плюс мы избавились от «джиннов в бутылках». К тому же сделали свой собственный линк между точками агрегации, оставив арендуемое волокно в качестве горячего резерва.
Время простоя точки и зависящего от неё микрорайона в среднем 2-4 часа — вполне приемлемый результат, учитывая объем и сложность работ.
По мере прокладки, старые участки, и ящики где размещалось оборудование — демонтировали. Снятые куски оптики, органолептически и по рефлектограммам проверялись на профпригодность, и отправлялись на склад. Ящики и лучшая часть кабелей в дальнейшем использовалась при замене медных междомовых коммуникаций.
Второй этап. Уровень доступа.
После ввода звезд в эксплуатацию, проблем на магистралях у нас практически не стало. По сей день неудобства доставляют только длительные отключения электропитания, с которыми не справляются бесперебойники, но это, видимо, хроническое.
Зато с ростом сети и количества абонентов начали всплывать другие проблемы — тупые свитчи на витой паре не справлялись с нагрузкой от полутора — двух сотен клиентов в сегменте. Появились клиенты, организовавшие собственные «подъездные» сети, с кольцами и броадкстовыми штормами от всяческих борг и айс чатов.
Назрела необходимость решения проблем доступа клиентов.
Для этого необходимо было «умнифицировать» дома. А заодно уж и делать FTTB. На одно-пяти подъездные дома решили ставить один свитч посередине дома, в чердачном помещении. В многоподъезных домах — один свитч на пять подъездов.
Соединять свитчи было решено в кольца, замыкать которые на лучи магистральной звезды.
Для тестов и отработки технологии, выбрали один из самых густонаселенных, и потому проблемных районов, состоящий из трех огромных круглых домов в 25 — 30 подъездов, и нескольких семейных 3-4 подъездных общежитий. По приблизительным подсчетам получалось 23 точки, по факту получилось 25.
За пару месяцев закупили кабель, такой же как и для магистралей — уж больно понравился, свитчи — по решению начальства — dlink, 3526 модели на дома и 3028G на луч звезды, и приступили к монтажу.
Замкнуть кабель в кольцо физически не получалось никак, поэтому проложили в обе стороны до крайних точек, разварили а вот свитчи включили наперехлест.
Линк, выйдя из корневого свитча в первый рог, падал не на следующий по порядку — а через один от него и так далее до конца «рога». Там разворачивался и шел обратно по пропущенным свитчам первой половины, мимо корневого, до другого конца рога. Там опять разворачивался и по пропускам во втором роге возвращался в корневой.
Получившееся кольцо, по RSTP размыкается одним из свитчей в середине, который в случае пропадания сигнала с одной стороны разворачивается в другую, если же выключается сам, то просто физически разрывает его.
Схема проста и стабильна. При обесточках на одном свитче мы теряем только его. Потерять все кольцо целиком рискуем только при отключении одновременно двух рядом стоящих точек. Но такое на моей памяти было один раз, когда отключилась половина микрорайона.
Перенос клиентов осуществлялся постепенно, после ввода в эксплуатацию всего кольца. По мере переноса, медная структура демонтировалась, все клиенты сводились в умное оборудование. Частично она была задействована, поэтому сразу отключать её мы не могли, поступали так же как и с оптикой в старом кольце. Когда уносили клиентов с предыдущего свитча — следующий включали временным кабелем с ближайшего к нему оптического.
Все работы заняли два месяца, исправление косяков монтажной бригады, допущенных при переносе — ещё примерно месяц. После этого микрорайон из генератора происшествий превратился в одну из самых тихих гаваней сети. Уже второй год оттуда поступает 5-7 экстренных тикетов в месяц, не более.
В итоге, по результатам инсталляции и пары месяцев эксплуатации схема была одобрена к дальнейшему применению.
По такому же пути мы переделали ещё 9 микрорайонов в первом «макрорайоне», и 7 во втором. Средняя длина колец составляет от 12 до 30 свитчей. Учитывая что кольца в основном пассивные, и только пропускают BPDU пакеты — время сходимости получается около 5ти секунд.
В одном микрорайоне схему пришлось несколько изменить. Застройка не позволяла одним кольцом охватить весь микрорайон. Поэтому было сделано маленькое кольцо из 12 свитчей охватывающее половину микрорайона, а к семи удаленным от остальных домам проведен отдельный кабель. Для них приобрели медиаконвертерное шасси, и свитч Dlink 3100-24. Каждый из свитчей на этих домах, включался через связку SFP — конвертер в 3100-24. Получилась своеобразная районная «мини звездочка».
Но особенность на этом участке не в схеме, а в методе разварки кабеля. Поскольку он был проложен одним куском с сквозными заводами в места будущей установки оборудования, то было принято решение не резать его на точках, а доставать по одному волокну. В результате прямо на кабеле на расстоянии в 40-50 см делались два сантиметровых надреза и вскрывался модуль. В одном надрезе искалось и перекусывалось нужное волокно, после этого надрез герметизировался. Отрезанное волокно аккуратно выводилось во второй разрез и оконцовывалось. Место надреза и запас волокна убирались в кассету, а концевик шел в свитч.
Работа сложная и почти ювелирная. На разварку семи точек я потратил полторы недели, но дело того стоило. Когда в дальнейшем, при ремонте крыш, наш кабель перегнули чуть ли не на 180 градусов, и судя по рефлектограмме свободного волокна, в этом месте, даже после разгибания осталось приличное падение сигнала — ни одна из точек не прекратила работать. Если бы на пути было 5-7 разъемов, вряд ли все было бы столь радужно.
Планы на будущее.
Фронтов хватает постоянно, в планах на лето ещё четыре микрорайона перевести на FTTB(Building), начать менять кольцо в одном из «макрорайонов» на 24 волоконный кабель, плюс ко всему начальство планирует подключать к сети пару коттеджных поселков в окрестностях города. К тому же последнее время активизировались граждане предприниматели, которые в своих мечтах видят безлимитный гигабитный интернет прямо в офис, что не убавляет нам хлопот.
По общим результатам, за последний год у нас был один экстренный выезд на ремонт оптики, которую порвало упавшим в грозу деревом, тогда как три года назад мы ездили на экстренные пяток раз в месяц — бутылку затопило после дождя, сигнал пропал, и прочие неприятности приветствовали нас чуть ли не еженедельно.
Среднее количество экстренных тикетов за неделю, в последние два года если не падает то не растет точно, это при троекратном росте абонентской базы. К тому же первоначальная диагностика по тикету теперь зачастую сводится к просмотру лога и состояния порта свитча. Что намного проще и быстрее выезда на место экстренной или монтажной бригады.
Внутрирайонные кольца и магистральные линии, рассчитанные на пропуск 1гбит/с сейчас загружаются в пиковые часы на 30-45%, таким образом, нам есть куда расти, и по транспортной возможности сеть может поработать ещё пару лет, хотя ей уже готовится адекватная смена…
Ещё в планах, заметки по медным домовым коммуникациям, и встреченным интересностям в настройке оборудования.