«Тестовая Зона» Билайн: проходите в гермошлюз, одевайтесь теплее в машзале и выключайте телефоны


    Элементы антенной системы: RF кабель, аттенюатор переменный (тестовая нагрузка)

    Объект выглядит как машзал ЦОДа, только оборудование более разношерстное и инженеры, работающие с ним, находятся в зале большее количество времени. С оборудованием работает постоянно от 2 до 6 групп инженеров. Проходя по машзалу, можно застать тепло одетых инженеров компании Хуавей, европейцев в классическом дресс-коде или экспертов компании Билайн, принимающих тесты и контролирующих все происходящее.


    Инженеры развернулись прямо в машзале, но куда чаще работа идёт удалённо.

    Внутри одновременно работает до 15 сотовых сетей разных стандартов и производителей. На площади 250 квадратных метров работает около сотни стоек, в которых реализованы полноценные сегменты магистральной транспортной сети, городской транспортной сети, биллинга, пакетной и голосовой опорной сети, контроллеры и базовые станции мобильных сетей разных стандартов.

    Трафик. Дальше много фото оборудования.

    Когда производители оборудования предлагают нам свои новые решения, прежде чем ставить их в живую сеть, необходимо убедиться, что оборудование работает так как нужно нам, и провести большое количество разнообразных тестов. Как правило, речь идёт о «тяжёлых» решениях уровня Core Network (каждое из которых может состоять из нескольких стоек), новых базовых станциях разных стандартов, оборудовании транспортной сети и так далее. Понятное дело, необходимо место, где всё это можно собрать, включить, настроить и протестировать. В Билайне уже много лет такое место есть — это «Тестовая Зона» ДТР


    Вид с высоты стремянки

    По результатам выполняемых тестов подбирается оптимальная конфигурация железа, необходимые софтовые функции и проводится тонкая настройка всех параметров для идеальной совместной работы всех устройств.

    Несмотря на высокую скорость ротации оборудования (целые стойки могут меняться в течении месяца несколько раз), требования к качеству монтажа остаются такими же, как на коммерческих сайтах. Иначе можно потерять несколько недель на безуспешные тесты продвинутых решений, а проблема окажется в небрежно обжатом кабеле. Да и классическое понимание что «хорошо летают только красивые самолеты» абсолютно справедливо для нашей сферы — хорошо работают только красиво уложенные кабели!


    Грамотный монтаж кабелей подключенных в многопортовый коммутатор

    Количество проложенных кабельных коммуникаций в ТЗ не поддается оценке, одних только силовых кабелей питания лежит под фальшполом около 12 километров.

    Шлюз на входе в инженерное крыло, служит для дополнительной безопасности. Вторая дверь шлюза откроется только когда закроется первая.



    Требования к безопасности предъявляемые инженерам работающим на «Тестовой Зоне» весьма высоки, причем они касаются как собственно безопасности, так и знаний по охране труда и по электробезопасности. Вот, например, группа китайских инженеров, конфигурирующих свое оборудование. Чтобы получить право доступа в помещение ТЗ нужно иметь допуск уровня 3-й группы по электробезопасности (для работы с электроустановками напряжением до 1000В), поскольку получить документы российского образца иностранным гражданам не получится — работают они здесь только в сопровождении наших экспертов, имеющих необходимые допуски.


    Мозговой штурм в исполнении китайских инженеров

    Перед входом лучше выключать мобильные телефоны, поскольку за этой дверью, царит настоящее буйство в радиоэфире.


    Бронированная дверь в помещение ТЗ

    В замкнутом помещении одновременно может работать больше десятка базовых станций разных стандартов (GSM/UMTS/LTE/Wi-Fi) и разных производителей, как поведёт себя ваш телефон в такой сложной радиообстановке — большой вопрос. Часто те, кто не позаботились отключением телефона заранее, будут оставаться в уверенности, что находятся на связи, в то время как телефон, сведенный с ума тестовым радиоэфиром давно уже ожидает перезагрузки для возврата в родную мобильную сеть.

    Чтобы снизить уровень излучения от базовых станций до безопасных — каждая база оснащается аттенюаторами (постоянными или переменными) — устройствами для снижения интенсивности электромагнитного сигнала.


    Элементы антенной системы: RF кабель, аттенюатор постоянный, антенна всенаправленная — OMNI

    При этом для проведения тестов конкретной базовой станции требуется обеспечить полную изоляцию от внешних факторов, приблизив состояние рядом с тестовым телефоном, близкое к «сферическому радиосигналу в вакууме». Для этого используются специальные экранированные шкафы — радиочастотные безэховые камеры, которые не пропускают ЭМ сигналы. Конечно, не пропускают — это сильно сказано, точнее будет — почти не пропускают и чем меньше это «почти», тем дороже безэховая камера. ТЗ Билайн оснащена несколькими безэховыми камерами, экранирующих свойств которых достаточно для наших задач.


    Внутренняя стенка радиочастотной безэховой камеры

    Безэховая камера с панельными антеннами и телефонами внутри для проведения тестов мобильных сетей. Закрывается дверь, подается мощность на приемопередатчик базовой станции, и мы можем начинать тестирование.


    Все готово к началу тестов мобильной сети


    Панельные антенны в безэховой камере и тестовый мобильный телефон


    А вот здесь видно стойку, с которой идут тесты. Мультистандартная базовая станция Ericsson с RF кабелями, постоянными и переменными аттенюаторами и безэховой камерой.

    Как всё это работает



    Для обеспечения бесперебойной работы ТЗ, создаются все условия:
    — Резервированное питание как для коммерческого оборудования, стойка управления питанием:



    Цветовая гамма может быть неожиданной, но, главное, что оборудование функционирует:



    — Автоматическая система пожаротушения:



    — Система видеонаблюдения — камеры контролируют каждый ряд оборудования:





    Оборудование в зал попадает через грузовой лифт, а непосредственно в помещении ТЗ смонтирована платформа для подъёма завозимого оборудования на уровень фальшпола:



    Для помещений с фальшполом, один из главных инструментов — вакуумная присоска, обычно называемая «лягушка»:



    Вот так кабель прокладывается под фальшполом, с использованием специальных кабельных трасс и лотков:



    Для подключения оборудования в «Тестовой Зоне» к сети электропитания, было принято решение, опробовать предложение от компании ABB, «Система разъемного монтажа электрооборудования Smissline».


    Автоматы с установленными датчиками тока, с помощью которых в режиме реального времени можно контролировать нагрузку на каждом автомате


    Реализация решения системы Smissline в распределительном щите (настенный подвесной вариант)


    Шинная система Smissline вблизи, простота монтажа, защита от поражения электрическим током, гибкость и экономия времени при замене автоматов потребителей

    Какое есть железо




    Стойки ровными рядами. Монтажные работы завершены, все стойки закрыты

    В ТЗ функционируют узлы практически всех систем, и вендоров эксплуатирующихся в Билайне: оборудование CS Core — MSC/VLR/MGW/HLR, PS Core — SGSN/GGSN/MME/ePC, радиоподсистемы GSM — BSC/TRC/BTS, UMTS — NodeB/RNC, LTE — eNodeB. Кроме того, эмулируются сегменты транспортных сетей — MEN, IP/MPLS. Настолько полный «набор» оборудования позволяет собирать схемы, максимально приближенные к коммерческой сети, но лишенные влияния на сервисы «живых» абонентов. Если возникнет любой вопрос, связанный с проверкой имеющегося оборудования — прежде чем реализовывать конфигурацию в коммерческих сетях, необходимые настройки применяются на тестовом оборудовании, и мы можем оценить их влияние на все узлы, с которыми оно взаимодействует.

    Далее — небольшой фото-экскурс по некоторому оборудованию, которое работает в нашей ТЗ.


    Мультистандартная базовая станция Huawei для использования в помещениях

    Один из элементов устаревающего наследства — кросс-панель, для кроссировки потоков E1. В новом оборудовании данный тип транспорта практически не применяется, все сети переводятся на оптический транспорт (STM) либо на каналы Ethernet FE/GE/10GE.


    Медный кросс (DDF 120 Om) с плинтами KRONE. В основном используется для обеспечения транспортом базовых станций GSM


    Маршрутизатор, реализующий тестовый сегмент транспортной сети базовых станций. Не подписать кабель здесь фатально


    Контроллер BSC сети GSM производства Ericsson, модель evoBSC8200 (новейшая модель шведского производителя)


    Голосовой коммутатор Huawei MSoftx3000


    Шасси Cisco ASR5000, на котором построена тестовая Packet Core для сегментов сетей стандартов GSM/UMTS/LTE


    Телеком-оборудование внутреннего IP Backbone тестовой Packet Core на базе Cisco




    Платы тестового шасси Huawei OSTA 2.0. Шасси Huawei OSTA 2.0, на котором построена тестовая IMS Core.


    Стойки с оборудованием компании Comverse, на котором реализован тестовый сегмент биллинговой системы




    Внутренние панели (оптическая и Ethernet) в стойке с оборудованием MGW производства Nokia


    Компактная базовая станция стандарта LTE производства компании ZTE


    Радиопередатчики (RRU) различных стандартов (2G/3G/4G) и различных производителей


    Мультистандартная базовая станция Ericsson для использования в помещениях


    Пико-базовая станция GSM производства Ericsson

    Одна из важнейших задач ТЗ — проверка функциональности нового оборудования. К примеру, с появлением коммерческих сетей LTE, в России нашлись увлеченные и знающие люди, которые сумели наладить производство маломощных базовых станций стандарта LTE (http://ranberry.net/ru).

    Билайн совместно с российскими разработчиками проводит полнофункциональное тестирование работы pico eNodeB LTE, проверяя все аспекты — от легкости и надежности интеграции базовой станции в существующую мобильную сеть, до проверки процедур мобильности между новой базой и уже существующими.


    Надпись «Made in Russia» — крайне редкое явление на подобных устройствах


    Совмещённый модуль Wi-Fi + Femto 3G производства Cisco.

    Присмотритесь к нему внимательнее, сейчас в телекоме наметилось развитие направления миниатюрных многостандартных устройств, и возможно очень скоро подобные решения можно будет приобрести в личное пользование в обычном магазине электроники. Сейчас тесты продолжаются и проходят весьма успешно.


    Сегмент тестовой сети MetroEthernet — роутер Alcatel-Lucent 7750 SR-7


    Сегмент транспортной сети, для подключения мультистандартных базовых станций, на оборудовании Alcatel-Lucent и Cisco.


    Модуль KVM расположенный в стойке Huawei

    Подобные модули часто можно увидеть в телекоммуникационных стойках, используются они для организации локального доступа к оборудованию.


    Передатчик стандарта UMTS производства Ericsson


    Балансировщик пакетного трафика

    Ну и напоследок — пара экспонатов, которые вы вряд ли встретите, в обычных ЦОД-ах, или машинных залах телеком-оператора:

    Первый экспонат:



    Кажется, что он похож на старую радиолу, которая стояла когда-то у бабушки, и даже навевает «теплые-ламповые» ассоциации.

    На самом деле это — новейший радио-контроллер сети UMTS — RNC, от компании NSN. В нашей ТЗ был смонтирован, проинтегрирован и успешно прошел тесты, первый образец данного типа оборудования в России.



    Второй экспонат:
    Выглядит как странный многопортовый сервер, к тому-же запертый на кодовый замок.



    Это один из ключевых элементов для выполнения тестов транспортной сети — Spirent Test Centre, который позволяет творить в пакетных сетях практически все, что вы сможете придумать для реализации самых каверзных тестовых сценариев. В текущей конфигурации тестовый центр имеет 8x10GE и 4xGE портов и позволяет генерировать различные виды L2/L3 трафика (как юникастового, так и мультикаст/броадкаст); эмулировать десятки тысяч клиентских устройств и маршрутизаторов с полной поддержкой всех основных сетевых протоколов, таких как протоколы маршрутизации (OSPF, BGP, IS-IS); базовые служебные протоколы (ARP, DHCP); MPLS; синхронизации (PTPv2, SyncE). Этот набор позволяет проводить полный набор функциональных и нагрузочных тестов оборудования транспортной сети.

    По «Тестовой Зоне» нас водили:


    Поляк Евгений Олегович,
    бессменный руководитель «Тестовой Зоны» с момента её основания


    Глебов Виктор Геннадьевич,
    ведущий эксперт службы развития мобильной опорной сети

    Ссылки


    ВымпелКом (Билайн)
    Company

    Comments 28

      +3
      Спасибо за экскурсию! Когда в такую обстановку в первый раз попадаешь, всегда испытываешь особый трепет.
        +2
        Очень занимательная статья)
          +1
          Водим, но редко. Если будет ещё экскурсия, сделаем фотоотчёт на Хабре.
          О нашем самом большом ЦОД-е мы писали:
          Часть 1
          Часть 2
          Часть 3
            –4
            Так вот куда все финансы ушли и, как следствие, радостно и роняя тапки разбежались все клиенты из ДЦ на Полюстровском 59 в Питере (бывший Элтел).
          +1
          Билайн, а вы экскурсии по ЦОДам не водите? Я б сходил :)
            +1
            Промахнулся — ответ на ваш вопрос выше.
            +3
            Восторгаюсь ;)
              0
              На первом фото — криво, не и иначе как плоскогубцами, обжатый N разъем на чем-то а-ля RG58. Интересно было бы посмотреть затухания в таком «RF кабеле» на GSM частотах.
                +2
                На грамотный монтаж кабелей аж смотреть приятно!
                  +4
                  нашлись увлеченные и знающие люди, которые сумели наладить производство маломощных базовых станций стандарта LTE

                  Спасибо на добром слове!
                  +1
                  инженеров со второй фотки реально жалко. Рабочий день в модуле ЦОДа… Шум, перепады температур в коридорах…
                    +2
                    Да там не просто Made in Russia, там Skolkovo! Таки что-то полезное там делают?
                      0
                      Впечатляет конечно. Единственное, не расписана ситуация с организацией охлаждения этого добра, тоже интересно было бы почитать.

                      А почему китайские инженеры не могут получить допуск? Есть какие-то законодательные препятствия, или они просто не знают\не хотят знать русский? Общаетесь в таком случае с ними на английском?

                      Заинтересовала маркировка кабелей. Кто производитель маркировки на фото «Маршрутизатор, реализующий тестовый сегмент транспортной сети базовых станций. Не подписать кабель здесь фатально»? Она может быть напечатана на ручном мобильном принтере или печатается на обычных листах A4?

                      Ну и последнее, что за адаптеры вставлены в «радиолу»? В них еще воткнуты ethernet кабели.
                        0
                        Охлаждение тоже вполне стандартное для коммерческих площадок с IT оборудованием — целый ряд промышленных кондиционеров, которые забирают теплый воздух из верхних слоев, и загоняют холодный под фальшпол. Этим кстати в советские времена часто пользовались знающие люди на работе, когда нужно было сохранить продукты несколько часов. Кондиционеры можно разглядеть на общем плане со стремянки — ряд синих стоек слева вдоль стены
                        Китайские инженеры не могут получить допуск, потому что для этого им надо выучить русский, выучить наши правила по ЭБ и сдать экзамен в соответствующей организации. Если это делать — то инженеров от поставщика на Тестовой зоне мы не дождемся. С инженерами из разных стран общаемся конечно на английском, точнее на «техническом английском» когда много терминов и аббревиатур связываются общеупотребимыми глаголами и существительными.
                        Делать маркировку на стандартном принтере и на листах А4 — бессмысленная потеря времени при наших объемах работ по прокладке и перекладке кабелей. Все делается на специализированных принтерах, на специальные самоклеющиеся бирки.
                        Адаптер в контроллере NSN абсолютно стандартный SFP (Small form-factor pluggable transceiver) электрический. Конкретно у нас стоят GE SFP, но вполне можно использовать 10GE и любой вид оптики на выходе SFP
                        0
                        Подскажите чем и из чего делаете бирки как на beta.hstor.org/getpro/habr/post_images/a25/402/530/a25402530c23515f3270226be52d0555.jpg
                          0
                          Конкретно на этой картинке, кабели и маркировка заводские от поставщика. В таком виде готовый кабель поставляется при покупке.
                          Но индустриальные принтеры вполне могут справится с задачей печатания бирок с бар-кодом вместо текстовой информации. Мы к примеру используем продукции компании Zebra
                            0
                            А модель не подскажете, которая может самоклеющиеся на кабель печатать?
                              0
                              самоклейки — это формат рулона который заряжаете в принтер. У нас Zebra GX430t он поддерживает нужные нам рулончики
                          0
                          RNC, от компании NSN.

                          Скажите пожалуйста, чем RNC именно от NSN лучше чем у других вендоров? Были ли какие-то специфические критерии которые выполнимы только на NSN? Или это просто коммерческое предложение, от которого Вы просто не смогли отказаться?

                          Спрашиваю потому, что вижу тенденцию избавления от оборудования NSN в последние годы.
                            +1
                            Тенденций очень много, очень разных, и часто в противоположных направлениях.
                            Конкретно это решение было принято на основе большого и очень сложного, и для Билайна и для производителей, тендера. По совокупности огромного количества факторов, одним из победителей стала компания NSN (хотя сейчас она уже вновь просто Nokia), со своим мультистандартным решением.
                            От устаревшего оборудования (в том числе и нокийского) мы также избавляемся, но это самая последняя линейка контроллеров, до которой другим поставщикам еще нужно дорасти.
                              0
                              А куда убираете старое оборудование?
                                0
                                Если оно востребовано в нашей сети — то передается для эксплуатации. А если совсем устаревшее — то все списывается по стандартной процедуре утилизации.
                                  0
                                  В итоге, это оборудование выбрасывается на свалку? Или вы можете передавать в университеты?
                                    0
                                    Вопрос неожиданный. Пытаюсь найти информацию внутри компании о возможности и реализуемости такого сценария.
                                    А такие старые железки реально могут быть интересны университетам? Они ведь часто работают напрямую с производителями оборудования.
                                      0
                                      Думаю, что напрямую с производителем работают московские вузы. Насколько я знаю, в вузе, в котором я работаю, нет телекоммуникационных лабораторий. Хотя вуз радиотехнический. Тем более, подобного уровня, что описана здесь. Думаю, было бы полезно сделать в вузе учебную лабу для студентов, чтобы курсы о телекоммуникациях содержали не только лабы на базе простых вещей о Ethernet'е (типа пинга и телнета), но и более сложная работа с оборудованием.
                            0
                            Спасибо!

                            А зачем тестовый девайс закрыт на замок?
                              0
                              Это придумка производителей оборудования. Если замок снять — можно выдернуть платы, которые собственно составляют основную стоимость прибора. Так что это просто механическая защита от несанкционированного изъятия плат.

                            Only users with full accounts can post comments. Log in, please.