Что общего между Крымским мостом и СКС? Мы случайно выяснили: для железнодорожной части этого моста потребовалось 76 000 шпал (по информации из открытых источников). И примерно столько же оптических волокон в нашей СКС, построенной для банка «Открытие». Под катом рассказываю, как мы ее делали и тестировали (и даже немного о том, зачем на проекте понадобился маляр).
Действующие лица
Банк «Открытие» — он же заказчик, входит в ТОП-10 банков России.
ЦОД «Компрессор» — входит в сеть отказоустойчивых дата-центров ИТ-компании КРОК. Cертифицирован Uptime Institute на уровень Tier III.
СКС — структурированная кабельная система.
Инженеры КРОК.
Пролог
В 2019 году банк «Открытие» решил использовать «Компрессор» в качестве резервной площадки. В ЦОД для банка выделили машинный зал на 200 стойко-мест. Разумеется, сразу встал вопрос об адаптации инженерной инфраструктуры. Чтобы соответствовать техническим требованиям заказчика, нужно было перестроить всю систему кабельных каналов и смонтировать новую высокоплотную СКС.
Предварительные расчеты по проекту мы провели еще в феврале 2019 года. Приблизительно к апрелю стал понятен объем закупок. В течение всего этого времени мы вели переговоры с «Открытием»: согласовывали объемы, спецификацию, утверждали проект.
Действие первое: организация
Надежность — главное требование для банка при построении СКС. Минута простоя ЦОДа приводит к миллионным убыткам. Также требуется максимально возможная скорость в 100 Гбит/с. По сравнению с активным оборудованием кабельные сети стоят существенно дешевле, так что экономить на СКС — дурной тон.
Есть две основные структуры построения СКС: интерконнект и кроссконнект. Заказчик выбрал более дорогой кроссконнект как максимально гибкое решение, с заделом на будущее. Порт на активном оборудовании подключается один раз, так что все переключения происходят в кроссе, а не на оборудовании. Соответственно, риск повредить порт на «активке» практически отсутствует. А в кроссе его всегда можно заменить.
Уже на этапе проектирования мы поняли, что проект простым не будет. Главной сложностью были объемы: центральный кросс — 60+ тысяч волокон — нужно было разместить в шести шкафах. И это далеко не максимальная загрузка, а с возможностью роста.
Структурная схема:
Решения с такой плотностью и такими маленькими размерами кросса есть не у всех вендоров, и, как правило, они дорогие. Выбор пал в сторону американского Corning. Во-первых, это качественный поставщик оптоволокна. Во-вторых, только они смогли гарантировать соблюдение сроков. Обещали поставку за 5 недель — поставили за 5. Для сравнения: все прочие компании говорили о сроке в 8-10 недель.
Действие второе: монтаж
К маю 2019 года в ЦОДе все еще стояло оборудование предыдущего заказчика, которое требовалось демонтировать. Сделали мы это довольно быстро, и уже в начале июня стартовал монтаж. В это же время мы поняли, что не все стандартные практики тут применимы.
Во-первых, кабель оказался необычайно толстым. Поскольку это была одна из первых реализаций высокоплотной СКС, мы слегка не рассчитали, что кабель с большим количеством волокон будет ощутимо толще обычного. Ведь, когда говорим про оптику, то сразу думаем — она же тонкая, около 6 мм в диаметре! А тут мы столкнулись с диаметром около 12 мм. Если раньше такого не встречал, то и представить такой вариант сложно. Так что дорабатывать лоточную систему пришлось буквально на ходу. Кроме того, кабель оказался еще и довольно тяжелым. Пришлось пересчитывать подвесы — опорные крепления самого лотка.
Во-вторых, у нас оптика претерминированная, то есть предоконцованная с двух сторон. Проектировщики в таком случае всегда боятся ошибиться с длиной, закладывают запас. Потому что столкнуться с нехваткой — куда большая проблема, чем перезаложить. Плюс при заказе претерминированной оптики производители рекомендуют соблюдать условную номенклатуру — 3-5 метров. Нормальная практика — предусматривать «бублики» в лотках, куда этот запас можно уложить. В этот раз пришлось искать нестандартный вариант: из-за толщины кабеля не смогли его нужным радиусом разложить в лотке, поэтому аккуратно скрутили его над шкафом.
В-третьих, частично сказались и некоторые ограничения самого ЦОДа. Во время его строительства использовались несколько иные нормы, в том числе, для СКС. Заказчик же выбрал очень высокие шкафы — 48U — чтобы держать в одной стойке больше железа. Поэтому лотки под оптику, электричество, сами панели было достаточно трудно разместить в просвете над шкафами. Пространства для маневра у нас практически не оставалось — рукой подать до фальшпотолка, поэтому сделали так компактно, насколько возможно. Чтобы оптический кросс не занимал половину зала, мы реализовали гибридную систему: с одной стороны разъем на два волокна, с другой — на восемь.
Действие третье: тестирование
Без тестирования ни один производитель не поставит свою СКС на гарантию. Есть много вариантов тестирования: с одной перемычкой, с двумя, с тремя, и у многих производителей в дополнение к основным стандартам идут еще и свои собственные требования. Это иногда приводит к недопониманию. На одном из объектов, например, мы тестировали по стандартам, а они со стандартами вендора в некритичных моментах расходились. В итоге пришлось по просьбе заказчика провести повторное тестирование.
Смысл тестирования заключается в том, чтобы проверить, укладываемся ли мы в определенные показатели затухания. Заклятый враг всех оптических систем при тестировании — стройка. Пыль оседает на волокно, и протестировать в нужное затухание сложно. При слишком большом затухании некоторые протоколы просто не заработают, а систему необходимо ставить на гарантию. Поэтому приходится чистить от пыли. И тут нам, кстати, помогли ребята из Corning. Приехал их специалист и объяснил: если по результатам теста затухание больше 6 децибел, то чистка не поможет — проблема точно в волокне. Кроме того, при подключении тоже рекомендуется продуть сжатым воздухом разъемы на панели.
Для очистки можно использовать любое оборудование, но ведущие производители рекомендуют эталонные патч-корды Fluke, а они сами по себе достаточно дорогие. Обычная штука, которая нужна для прочистки LC разъема, стоит не меньше 5000 рублей (есть и дешевле, но они, как правило, очень быстро выходят из строя). По заявлениям производителей, хватает ее на 500-600 разъемов. Еще дороже эталонные шнуры — около 30 тысяч рублей. При этом одного комплекта может хватить и на 100 разъемов, и на 1500.
Тестирование шло около месяца, в ежедневном режиме. И тут надо сказать, что проблем с кабелем практически не было, а единичные случаи Corning оперативно заменил.
В итоге заказчик «заехал» в ЦОД в июле. Привезли и ввели в эксплуатацию оборудование. В первую очередь — телеком, затем — серверное железо.
Так выглядит центральный кросс:
Эпилог
Итого — в кратчайшие сроки развернули действительно огромную СКС. Получилось 52 юнита рабочего пространства. Да еще и в цветах «Открытия». Для этого на несколько дней по просьбе банка останавливали монтаж. Все, что можно было, замотали пленкой и пустили маляров сделать их работу. Но это, как говорится, совсем другая история.
