Инфраструктура узла связи от чайника, или очередное строительство серверных — часть 2

Здравствуйте!
Спасибо тем, кто дочитал до конца первую часть и смог меня понять. В данной части я попробую изложить принципы выбора и размещения оборудования, чтобы вы могли меньше тратить время на поиски вариантов, по моему мнение правильных. А я пишу на эту тему для того, что бы прочитать альтернативное мнение в комментариях.
Напомню, что статьи для тех, кому приходится по работе сталкиваться с необходимость решить совершенно различные задачи в строительстве и обслуживание небольших серверных/автозалов. Так же будет полезно почитать блоги компаний КРОК и Даталайн по теме инфраструктуры ЦОДов.
(может ещё кто тут есть, не увидел, извините).


Итак, необходимо подвести итоги первой части. У вас есть помещение, которое удовлетворит следующим пунктам:

• выдержит точечные нагрузки на пол и перекрытия, а так же построено из огнестойких строительных материалов (это к проекту здания).
• организованы пути подвода кабеля (различного) к стойкам. (это к ПУЭ, ВСН 116-93)
• уровень пола поднят над уровнем полов смежных помещений и подняты стойки над полом на рамах или с использованием общей системы фальшпола.
• есть система энергоснабжения с таким типом резерва, который вас устроит или вам предписан нормативной документацией минкомсвязи. (это к пачке цитат из прошлой статьи)
• кондиционирование с резервом.
• отсутствие сантехнических коммуникаций в опасной близости.

Это минимальный набор для старта. Если у вас узел связи – вам необходимо довольно чётко следовать нормативной документации. Пусть сейчас небольшие операторы связи могут сдать свой узел по упрощенной системе, без проектов на всё и вся (за исключением проекта на нужный тип узла связи, в котором всё равно упоминает электропитание, пожаротушение, освещение и другая инфраструктура автозала, но проекты по многим отдельным инженерным системам уже не нужны).

Немного про шкафы.

В прошлой статье, я упоминал, зачем нужны именно шкафы, т.е. стойки с внешними стенками и дверями, которые закрываются.
Я сам не имею большого опыта с разными брендами. На выставке связьэкспо раньше было представлено много брендов и у всех всё красивое и набор аксессуаров обычно удовлетворяет любые потребности… Но всё это стоит очень дорого! Когда мы искали для себя подходящие шкафы – всё было против нас: начиная от курса валюты, заканчивая тем, что все магазины продающие Hyperline (которые просто по цене были дешевле остальных и есть ощущение, что эти китайцы хотят поддерживать свой бренд на нужном уровне) похоже закупаются на одном и том же складе, где, как нам говорили, было 10 стоек на тот момент и все они зарезервированы каким-то из магазинов под проект. В итоге мы купили нечто «по лицензии компании из США сделанное в Китае». Немного допилив (а именно сварив цоколь взамен согнувшихся ножек и жёстко сцепив шкафы друг с другом за крыши металлической пластиной), мы получили шкафы, которые нас устраивают по физическим параметрам.
По параметрам я предлагал в прошлой части рассматривать минимальные размеры 42U, 800x1000. Это поможет удовлетворить типичные потребности:

• Разместить вертикальная органайзеры, или просто иметь место для отвода не только одиночных кабелей, но и целого пучка от оборудования. Ведь если у вас ширина 800, то с левого и правого бока останется примерно по 10см пространства, которое обычно и закрывают вертикальные органайзеры.
• Углубить монтажные профили на 10см, для того, что бы не воздействовать на патч-корды и прочие кабели, включаемые в оборудование как спереди, так и сзади. При этом должны помещаться длинные серверы (до 800мм).
• Такие шкафы должны выдерживать большой вес.
• В них есть место установит шину заземления.
• Обязательная нумерация юнитов на монтажных панелях, как спереди, так и сзади. Это существенно облегчит жизнь и процесс монтажа и эксплуатации.
• Съёмные боковые панели. Да, я говорил, что они всегда должны быть закрыты и ни в коем случае через них не протягивать что-либо. Но на крайних стойках в ряду это может быть полезно и даже разок мне помогло создать многоуровневую конструкцию из сетчатых лотков внутри шкафа, что бы красиво и аккуратно разместить «колбасы» от телефонной станции и транспорта, с выводом на кроссовые рамы 19"
• Обычно производители выпускаются вместе со шкафами и минимальный набор аксессуаров к ним. Скорее всего вам понадобятся только вертикальные органайзеры и вентиляционные модули, если холодный воздух подводится снизу стойки. Всё остальное можно сделать с помощью сетчатых лотков и стандартного крепежа.

Я бы всем рекомендовал высоту брать максимальную, так как юниты — это драгоценный ресурс, который не нарастить. Но необходимо учесть и расстояние до сетчатых лотков, что бы они не стали препятствием встать шкафам «в полный рост».
Естественно есть потребности, для которых можно применить стойки, как однорамные, так и двухрамные. Если вам хочется вынести перекидные кроссы, разместить стенд оборудования, сделать стойку электропитания (если у вас несколько, относительно маленьких, элементов его обеспечения, но уже больших, что бы тратить место в шкафу с оборудованием).

Немного про оборудование электропитания.

В прошлый раз я упоминал, что ввод необходимо делать с возможностью аварийного ввода резерва — ДГУ необходимого вам мощности/размера. Если вы не хотите платить за готовое электротехническое изделие с паспортом, то можете собрать его самостоятельно, на ваш страх и риск. В Сети полно инструкций со схемами и правилами сборки. Но нужно помнить один важный момент — если вы реализовываете механическую и электрическую блокировки — время переключения будет заметно для оборудования. То есть надо помнить об оперативном резерве – ИБП и инверторы с АКБ.
Телекоммуникационное оборудование очень чувствительно к качеству подаваемого электропитания, поэтому выбирать ИБП необходимо не ниже online варианта их реализации. Такие ИБП работаю в два этапа преобразования типа тока — сначала в постоянный, на этом этапе подключается цепь с внутренними и внешними (через специальный разъём) АКБ, затем внутренний инвертор преобразует обратно в переменный. Такой ИБП даёт ряд плюшек:

• правильная синусоида (в прочем её правильность всё равно на совести производителя)
• бесшовное переключение на резерв
• возможность настроить частоту и вольтаж выходного сигнала

Такие ИБП дорого стоят. Но ввиду своего уровня, они обычно позволяют многое:

• мониторить состояние электропитания
• подключать внешние сборки АКБ, как хэнд мейд, так и варианты аксессуаров от производителя
• защищать линии на распределение электропитания (порой даже отключать и включать удалённо)

Достоинств может показаться мало, но что вам ещё нужно от системы резервирования питания? Для меня самого большая загадка, почему, например APC серии Symmetra, стоит так дорого, по сравнению с APC smart-ups (сейчас бы я выбирал другую марку ИБП, но если сравнивать, то две линейки продукции одного производителя). Если вдруг кто-то понимает, почему за ИБП надо заплатить несколько сотен тысяч рублей, что бы прокормить 1-2кВт потребителей в течение всего 15 минут, расскажите, пожалуйста.

Принцип выбора любых участков кабеля и распределительных устройств. Силовые.

1. На силовой кабель должен быть сертификат ГОСТ. Как я уже упоминал в прошлой части, никакие ТУ брать нельзя — вы попадает на заниженные эксплуатационные показатели.
2. На стационарные объекты укладывается моножильный кабель необходимый для обеспечения передачи всех фаз (1 или 3), N и PE проводников в отдельности, подходящий по сечению на максимальной нагрузки, которую необходимо обеспечить на этой линии. Конечно, при необходимости маневрировать в местах, где тяжело уложить жёсткий кабель, можно использовать кабель с многожильными проводниками. Но учтите, что жилы такого кабеля, прежде чем зажать в клемму, необходимо обжать наконечником (НШВИ, ТМЛ и пр.) специальными (подходящими для наконечника) клещами. Я видел, как НШВИ наконечник просто одевали и зажимали винтом в шине или АВ (автоматическом выключателе) — это бесовщина полнейшая и является не разборным соединением, которого и требуется достичь согласно требованиям ПУЭ.
3. Я бы рекомендовал выбирать максимально пожаробезопасный кабель — ВВГнг-RFLS (с моножильными проводниками) и ПВС LS (с многожильными)
4. Линии замурованные в стену или находящие в лёгкой доступности в проходимом месте (где их могут поверить тележками, другим оборудованием по неосторожности или просто воздействуя на них случайно) прокладывать в гофре (ПУЭ-7-Электропроводки и кабельные линии — 7.1.37). Гофра бывает разная — выбирайте под свои потребности. Я всегда беру либо с защитой от ультрафиолета (не разрушается от него, как обычная серая гофра) или оранжевую, которая обычно является очень прочной (100кг веса человека в кроссовке выдерживает, если не прыгать, но это само собой от диаметра зависит).
5. Блоки розеток, как правило, все покупают китайские, с вариациями «вшитого» кабеля или с разъёмом С13, с выключателем и без. Во-первых, выключатель никому никогда не понадобится на потребителях, которые никогда не должны выключаться. А ведь их чаще всего (из моей практики) просто задевают и гасят пол стойки (да, бывают крышечки на них, но тогда уж сразу заклейте их поксиполом и не создавайте вероятности нештатных ситуаций на этой почве. Во-вторых, вряд ли вы купите такие блоки и специальные кабели нужной длины (а какая она, если вы заранее не знаете?), где будет специальная рамка на розетке, которая будет держать кабель. Соответственно берите розетки с клеммной колодкой, что бы туда можно было подключить ваш кабель, который вы проложите от вашего источника питания, расположенного в любом удобно месте вашего автозала. Я такие искал очень долго и напокупал всякой ерунды, которую сейчас просто складирую, потому как не хочу её использовать у себя на узлах. В-третьих, есть проблема с большинством блоков розеток, в которые кабель заделан. Как правило, эти блоки на 10А, чего в принципе маловато (2.2кВт). И даже если вы найдёте розетки, на которых написано 16А — где документ подтверждающий это (касается как самого блока, так и кабеля, который его питает)?
6. Старайтесь покупать силовое оборудование с широким диапазоном значений вольтажа на входе. Дело в том, что стандарт на качество электропитания в Европе гораздо жёстче и допускается работу устройство при напряжении от 190-200 до 240-250В. В то же время для рынка в США некоторые модели той же APC выпускаются с входными диапазонами от 140 до 260В. Такие широкие диапазоны делают штатными ситуации, когда для более «нежных» устройств под европейский рынок они вызовут срабатывание защитных механизмов.
7. Выбивая кабель и АВ для подключения ИБП или инвертора к электросети — ознакомьтесь с рекомендациями в инструкции. Дело в том, что кабель надо выбирать не по току, который будут брать трансформаторы (силовые модули) в штатном режиме. Допустим вы подключили ИБП на 5,5кВт кабелем 4мм², через 25А АВ, а напряжение упадёт до 140? Вы получите 40А по току. АВ сработает, хоть и не сразу (у расцепителя есть временной лаг, зависящий от категории АВ), линия обесточится. На долго хватит аккумуляторов? А если ночью и нет у вас дежурной смены на узле? А что дежурная смена сделает? Подозреваю, что ничего, кроме как обратно включить АВ. Вообще по части выбора сечения надо опираться на ПУЭ-7 п.1.3.10-1.3.11, но надо так же учесть ряд других причин и условий, как мне кажется вполне доходчиво были объяснены на одном форме электриков/энергетиков, где я сам начинал въезжать в тему из-за желания/необходимости сделать правильно и самостоятельно.

Принцип выбора любых участков кабеля и распределительных устройств. Слаботочные.

1. На слаботочный кабель (UTP/FTP и т.д.) обязательно декларацию соответствия в области связи.
2. Патч-панели лучше всего выбирать с рамкой поддержки отходящих кабелей для индивидуальной фиксации, что повысит качество и надёжность монтажа. Это особенно заметно, когда панель на 24 или 48 портов — жгут получается довольно массивный и может ослабить контакты некоторых жил с зажимом в разъёме.
3. Для транспорта большого количества потоков Е1 (PRI) не следует использовать 4-х парный UTP, если этого не позволяет разъём в оборудование. Например, у меня есть оборудование, где в одном разъёме RJ-48 (45, 8p8c, и иже с ними) совмещено два потока PRI. Там очень удобно задействовать красную и синюю пары для одного, зелёную и коричневую — для другого. Но если у вас в одном разъёме один PRI, то используйте 2-х парный UTP. Это существенно снизит объём жгута и позволит красиво расшивать потоки на плинты.
4. Плинты, разумеется, использовать как можно более качественные, от проверенных производителей. Я стараюсь использовать плинты типа LSA Plus от krone. В прошлой части я писал, что плохой сплав металлов и пластиков со временем даст о себе знать в виде оксидной плёнки (с последствиями в ухудшение качества соединения) и высыхание пластика (будут плохо держаться на монтажном профиле и ломаться мелкие элементы, особенно если находятся в активной эксплуатации). Хотя у меня есть несколько демонтированных со старого кросса плинтов фирмы rexant, у которые хорошо отработали порядка 6-7 лет (конечно сами клеммы я никак проверить не могу, тем более при свежем монтаже).
5. И пункт по аналогии с гофрой для силовых линий — нейлоновые стяжки. Они тоже бывают разного качества. Проявляется это как в изначальной прочности застёжки (проверить можно стянув что-нибудь и попытаться разорвать), так и со временем от высыхания пластика. Само собой жгуты слаботочки должны жить без нагрузок собственного веса и прокладывать по специальным трассам, что бы на них ничего не влияло. Другими словами их нужно всегда притягивать к лоткам как на горизонтальной трассе, так и при спуске на стойки и кроссы. Как альтернативу могу посоветовать стяжки-липучки. Первыми они кажется появились у Hyperline, а сейчас вроде бы полно всяких разных по цене и цвету — очень удобно компоновать пучок отходящий от фронтальных портов многопортового оборудования, когда периодически вкл/выкл патч-корды.

Инструмент.

Для того, что бы ваш монтаж был выполнен качественно, не достаточно только лишь хороших материалов, знания кейсов по организации и укладки кабельной системы. Необходимо иметь подходящие и не подводящие вас инструменты.
Не буду утверждать, что я привёл ниже весь необходимый набор инструментов, так как сам пользуюсь довольно ограниченным набором в повседневной жизни. Пожалуй я просто перечислю его и объясню в чём нюансы выбора.

• Кримпер для обжима «RJ-45». Помимо того, что он должен быть лёгкий, необходимо учесть его механизм. Я использую НТ-L2182R, потому что «голова» у него выполнена с минимальным необходимым объёмом лёгкого металла, а пластина с прорезями для вжатия клемм в жилы связана с двумя ручками, что обеспечивает безотказно строго вертикальный подъём этой пластины, что в свою очередь обеспечивает равномерное вжатие со всех сторон коннектора. При этом вам не нужно два, или даже три отверстия под разный тип коннекторов, так как все типы джеков нормально вставляются и обжимаются в отверстии под 8-ми пиновый коннектор. А в идеале вам вообще не понадобится использовать конвекторы типа RJ-12 (или как там они правильно называются), потому как дешевле и проще использовать везде 8p8c (RJ-45 в народе). В хороших клещах так же качественные ножи, хорошо подогнанные под параллельное сведение при сжатии, как для отрезки кабеля, так и для снятия внешней изоляции.
• Прищепка для снятия изоляции. Я пользуюсь самой простой, так что ничего тут посоветовать не могу. Возможно мне просто попался хороший экземпляр и он отлично справляется со своей работой. Периодически при монтаже проверяю целостность изоляции жил на линии среза внешней изоляции. В принципе у меня всегда получается так, что прищепка только царапает изоляцию, а снимаю я её уже изломом в месте «надреза», что 100% уберегает от повреждения изоляции жил.
• Бокорезы. Откусывать периодически всё равно что-то надо. Самое частое, что мне приходится делать — снимать стяжки или обрезать им хвостики после затяжки. Суть выбора бокорезов для таких целей — они должны быть маленькие, с острыми концами и самое важное — плоская площадка при смыкание губок. Это нужно для того, что бы срезать хвостик стяжки и не оставить от него «пенёк», о который потом все будут царапать руки. Когда вижу в своём хозяйстве стяжку с обрубком после замка, меня прям немного корёжит :)
• Кроссировочный нож. Здесь я могу сказать, что покупать надо только оригинальный krone, что бы получать стабильно качественный результат забивки кроссировки в плинт и они не развалились бы со временем. Мне за последние 3 месяца пришлось пробить порядка 5000 жил в плинты или патч-панели и ни разу они меня не подвели (1 порт на патч-панели по каким то причинам не работает, но пока руки до него не дошли по причине пролюбленного Lan тестера). За всю мою практику мне попадались дешёвые реплики кроновского ножа и каждый раз я их просто выбрасывал после работы с ними, что бы они мне больше не попадались на глаза.

По всему остальному, что может пригождаться инженеру в области связи ничего важного сказать не могу, да и не надо — всё таки тут не обзор инструментов.

Оборудование.

Конечно я не собираюсь советовать то или иное оборудование для организации связи — это дело каждого, да и кто я такой, что бы создавать эти холивары. Конечно выбирать вы в первую очередь будете по их ТХ, ради которых и осуществляется покупка. Но всё же кое-каких принципов можно придерживаться при любом нормальном оборудовании, просто заплатив побольше денег.

1. Самый важный момент, на мой взгляд — наличие возможность подключить 2 источника питания. Это может быть как два блока питания, так и выход на цепь АКБ. Что касательно первого — все, наверняка, знают, что в оборудование бывает два блока питания. Зачастую можно даже вставить блоки разного типа — AC или DC. Я использую везде, где только можно, два разных типа БП. И на оба блока подаётся питание. Не понимаю, почему коллеги с Украины, которые ЦОД для нужд хостинг-провадера строили и переносили, использовали только один блок питания. Ведь второй находится в ждущем режиме и не потребляет электроэнергию, зато работает в горячем подхвате и без перебоев включается в работу, если обесточить первый БП. Профит от этого довольно ощутимый:

• спасение от не аккуратного инженера или некачественного присоединение к электросети и прочие локальные катаклизмы.
• всегда возникает необходимость в кабельном менеджменте, а при подключении к двум линиям питания переорганизовать шнуры питания никогда не будет проблемой. Это даже поможет переставить железку в другую стойку каким нибудь поздним вечером хоть в другую стойку (если это сервер, например), если очень надо и не желательно его выключить. В этом случае, для сохранения аптайма и полного переноса (вместе с патч-кордами передачи данных), вам потребуется иметь бондинг.
• используя разный тип сети питания вы резервируетесь не только по отказу БП, но и всей электросети того или иного типа питания (например ИБП загнутся, или его надо обслужишь, или наоборот всё то же самое с инвертором сети постоянного тока).

У меня на узлах связи практически нет устройств с одним блоком питания. Только один TDM коммутатор, в котором нечему ломаться, так как работает он от постоянного тока и его шасси является просто шиной для питания независимых процессоров обработки сигнализации. А так же пара коммутаторов от cisco и juniper, которые в свою очередь используются только для нужд офиса или они резервируются за счёт бондинга на серверах или медиа шлюзах другим коммутатором. Кроме того, могу даже привести пример, когда ряд продукции вендора (российского между прочим) работает на одних и тех же блоках питания — и транковые шлюзы (sip-to-PRI) и коммутаторы различных уровней. Благодаря этого не нужно держать ЗИП БП на каждый тип оборудования в отдельности, а можно взять некий процент от общей массы (у меня например это 10% запас того, что может вылететь).
Но если приходиться смириться с необходимостью использования оборудования с одним БП — установите для него небольшой АВР прям внутри стойки. Эту мысль я почерпнул из этой статьи. Вообще если бы я её увидел раньше, я бы ничего не писал про электропитание вообще, а посоветовал прочитать тот труд. В прочем я всё это пишу с позиции инженера малого бизнеса, где многое приходится делать не по своей специализации. Может кому-то захочется немного глубже в нюансы вникнуть.

2. Понимаю, что инженеров, занимающихся TDM или классической телефонией тут может быть не очень много (или они пока не получили возможность оставлять комментарии), но я считаю нужным оставить своё мнение на эту тему: если у вы планируете покупать оборудование, где есть выбор PRI/BRI или аналоговых интерфейсов в физическом исполнении амфемольным разъёмом или RJ-* — выбирайте амфемол) Кто то скажет, что я старпёр, но даже если вам не нужно периодически перекидывать абонентскую/станционную линию с одного порта на другой — амфемол расшитый на кросс, будет куда надёжнее по качеству соединения и непревзойдён по плотности портов на кроссе. А перекидывать линейный тракт от абонентского кросса на станционный или транспортный гораздо правильнее кроссировкой, которая ни на что, кроме обслуживаемого ей порта, не влияет.
Правда с такой возможностью я столкнулся лишь однажды — это была станция LG-Ericsson IPECs… тогда по настоянию инженера заказчика мы заказали платы с 8p8c разъёмами — сам он с ней и мучился (а потом и другие после них мучаются).

извините, что картинка такая получилось, но пришлось много пометок инженеров этого объекта заблюрить

3. Абсолютно всё оборудование должно позволять смонтировать его в стойку на 19" (или тот размер, который используете вы) монтажный профиль. На крайний случай под это оборудование необходимо выделить консольную полку, на которой его и разместить, с фиксацией (стяжками например). Из этой же серии — нужно избегать оборудование с внешними блоками питания. Помимо того, что это головная боль для организации включения в блоки розеток (редкий блок питания может похвастаться скромными габаритами и не мешать соседям), так они ещё и выпадают без проблем. Я их приматываю стяжкой к блоку розеток.
В моей практике я встречал запрет на размещение оборудования в арендуемых стойках, если оно не может быть смонтировано на профиль. Что-то в этом есть.

4. Серверы. Перечислю, на мой взгляд, самые важные моменты:

• должен управлять удалённо в выключенном состояние — IPMI, iKVM, IDRAC, ...
• само собой два блока питания
• должен быть аппаратный рейд (все ведь понимают разницу между рейдом в матплате и отдельным контроллером?)
• неплохо было бы иметь возможность вставлять полноразмерные карты расширения (но тут думайте уже о задачах сервера)
• так же от задач сервера зависит и количество eth портов — для отказоустойчивости вам может понадобится бондинг, что займёт 2 порта. А ещё может потребоваться подключить сервер к другим сетям, сделать LAG, vrrp с другими серверами… в общем 2 порта хорошо, а 4 скорее всего покроет все ваши задачи. Так зачем себя ограничивать?
• мы у себя используем серверы с деклараций соответствия в области связи, что в общем то далеко не всем нужно. Но серверы, где происходит работа АСР (автоматизированная система расчётов, в простонародье — биллинг), должны иметь такую декларацию для приложения в пакет документов на регистрация узла связи.

Диски, уровень рейдов, объёмы памяти и тп — здесь я бы сам с кем нибудь при случае пообщался. В какой-то из тем про ЦОД и серверные были комментарии на тему Tower или Rack исполнение. Оба варианта справедливы в тех или иных случаях. Посмотрел цены на шкафы — почему-то даже отечественного производства стали стоить в два раза дороже (35к в среднем за 24U шкафчик). Эти деньги лучше вложить в ТХ сервера.

Немного размышлений по кабельному менеджменту внутри шкафов.

Наверное мы все любим смотреть на картинки красивого отвода проводов от серверов и патч-панелей. Но если с патч-панелями всё понятно – вы сразу делаете стационарное размещение кабельного жгута и портов, когда можно уж заморочиться, придумать как у вам будут отводиться витые пары в жгут и уже сам жгут как пойдёт по стойке. А что делать, если у вас не сферические сервера в вакууме, где в них нужно воткнуть только шнур питания и ethernet сеть? И допустим у вас нет KVM в стойке, т.е. вы по мере необходимости подключаете монитор и клавиатуру то туда, то сюда. А ещё они могут быть от разного производителя и те или иные порты окажутся с разных сторон. А в какие-то серверы вы захотите воткнуть USB-to-COM адаптеры для аварийного управления консолями оборудования через сервера. Как итог — на тыльной стороне у вас переплетение кабелей, как силовых, так и для передачи данных, в том или ином виде. Т.е. по факту у вас пропадает единообразие, подобное этому:

По моему мнение, совершенно не зачем стремиться к единообразной красоте. Для вас самое важно — надёжность соединения и практичность эксплуатации. Отводя кабели с данными на одну сторону, а силовые шнуры от блоков питания на другу, в вертикальный органайзер, вы вполне себе обеспечите аккуратность укладки. А если получится обвязать группы шнуров стяжкой-липучкой, то будет совсем хорошо.

Заключение.

Уверен, что по некоторым пунктам со мной многие не согласятся. Так же уверен, что у многих будут вопросы экономического характера — ведь я предлагаю потратить довольно много денег на то, что можно было бы сделать гораздо проще и забыть до первого падения сервисов. А один раз в год для кого-то не страшно (уверен, что для кого то и больше не страшно), а значит и нет смысла тратиться на:

• качественные кабели, ведь на чердаках годами лежит дешёвая «витуха», а алюминий в советских стенах замурованный десятилетиями не разлагается
• дорогой, крепкий и точный инструмент, ведь профессионал отличается способностью разделать любой кабель зубами
• кроссы, на которые потратится кабель и довольно много часов на расшивку/разварку
• шкафы, которые можно заменить более дешёвыми стойками
• все эти заморочки с электропитание и его монтажом — на ваш век в этой компании может хватить монтажа с нарушениями… (а может и не хватить)

Конечно каждый должен учитывать возможности своего бюджета. Но иногда надо себя спрашивать, стоит ли 10-15к рублей то, ради чего вы будете ночью или рано утром бежать на работу, что бы побыстрее понять, что случалось, если на одном из БП пропадёт питание или он умрёт по какой-либо причине? А если из-за плохих материалов вы получите плохою линию связи и потратите много времени на поиски (например битовые ошибки в PRI потоке приведут к убийству сервиса факсов и диалап у ваших заказчиков). Качественный кабель, плинты, инструмент не так дорого стоят, что бы экономить на них 10-15к рублей на весь объём потребностей у вас в аппаратной. А возможности нормально устанавливать и подключать оборудование? На одном из объектов Россвязи видел стойки какого то оператора (арендовали место, наверное), где на дверце шкафа было написано «Дверь не закрывать — падает PON». Фотографии к сожалению не осталось, но дверь была примотана на жилу из витой пары, что бы не прижимать ворох спагетти, свисающий с ВРМ оптических кроссов. А ведь шкаф на 800 ширину стоит дороже обычно на 5-10% от стоимости (монтажные профили близко к двери — это уже косяк монтажников). Это всё траты времени инженера, которому и без этого есть чем заняться по ночам и в рабочее время. А убытки от потери сервиса для заказчика каждый сам для себя может прикинуть. В наших договорах на предоставление услуг связи чётко регламентированы таймеры по перерывам связи и их объём в течение месяца. За превышение допустимого простоя (не фиксируемого в журналах заказчика — 10 секунд обычно) взимаются штрафы и происходят всякие разговоры с заказчиками, которые быстро прилетает к инженерам. И получается, что нам не нужно (не хочется) строить костыли и сопли, которые и без нашей помощи могут отказать. А в реальности надо ещё и от человеческого фактора защититься.


Кроме того, остались не раскрыты ещё некоторые и очень важные темы:

1. Система и способ маркировки. Хоть об этом не раз писали на хабре, но большинство грамотных предложений были в комментариях. Поэтому просто советую поискать на эту тему статьи и уделить внимание и комментаторам тоже.
2. Документация. Здесь анархия. Тема требуется отдельного труда и философии подхода. Кто-то рисует всё подряд на схемах, включая фасад стойки, схему разварки оптики и других типов кроссов. Кто-то только то, что нужно для описания конкретной услуги (соответственно как только заводится какая то услуга — на неё рисуется отдельная схема или набор схем). Кто-то разделяет физику и логику, что не всегда возможно, а порой и бессмысленно.
3. Составление графиков регламентов по периодическому обслуживанию как инженерных, так и бытовых систем, как автозала, так и комнат для персонала. Я для этого использую календарь. Например, включили АКБ в работу — создал периодическое событие на проверку и на срок утилизации. Здесь встаёт проблема с журналами. Но в дальнейшем я планирую календарь перенести в систему внутреннего хелпдеска.

Просто не забудте подумать над этим, так как это предотвратить очень много проблем.

PS: если у вас есть какие-то конкретные вопросы, как именно я сам реализовывал ту, или иную задачу — буду рад ответить на ваши вопросы. Возможно это заставит меня лишний раз посмотреть на решение и оценить его, а может и доработать.