Как работает Центр оперативного управления мобильной сетью МТС. Ответы на ваши вопросы

    Уважаемые читатели, спасибо вам за то, что наш первый пост, который подготовил директор Департамента эксплуатации конвергентных сетей и сервисов МТС Андрей Серегин, стал самым читаемым за сутки. Нам очень приятно, что тема оказалась интересной для вас. Спасибо также за множество вопросов. И спасибо за темы будущих постов, которые вы предлагали.

    Когда мы вместе с Андреем Вячеславовичем стали готовить ответы на ваши вопросы, то поняли, что ответы получаются слишком развернутые – хватит на целый новый пост. Именно поэтому мы решили опубликовать ответы в форме нового поста.

    Напомним, что речь в прошлый раз шла о нашем Центре оперативного управления мобильной сетью в Краснодаре, который мы открыли в 2012 году.

    Итак, отвечаем на ваши вопросы:

    Что делает человек, у которого 12 мониторов?

    image

    Человек, который сидит за 12-ю мониторами, конечно же, не занимается он-лайн мониторингом, так как на 12 мониторов смотреть одновременной нельзя. Он занимается экспертными задачами и ищет решение одновременно в нескольких системах. То есть когда есть проблема, она зафиксирована и сдана ему в работу, оператор начинает проверять гипотезы, поочередно заходя в разные системы. Можно, конечно, ему поставить один экран и он будет переключаться между свернутыми окнами, но пока найдешь нужное окно, потеряешь много времени. Гораздо удобнее, когда у тебя 12 экранов.

    Операторы первой линии, которые работают в зонтичной системе мониторинга, также имеют несколько мониторов. На один монитор выводятся аварийные сообщения от основных вендеров радиоподсистем, коммутации, VAS-платформ и т.д. Это монитор зонтичной системы фолт мониторинга. Для работы с инцидентами есть второй экран. На третьем мониторе может быть открыта почта.

    Сколько инженеров у вас в одной смене?

    Сменные инженеры выполняют разные функции. Для примера, на первой линии, которая занимается мониторингом по радиоподсистеме, у нас работают 3 человека в смену. Также у нас есть экспертное звено, которое тоже работает в круглосуточном режиме. Есть смены на коммутационной подсистеме. Несколько смен по типам оборудования на транспортной сети. Есть смены главных оперативных дежурных и так далее. Так что инженеров в каждой смене достаточное количество.

    По каким вопросам к вам обращается Роскомнадзор?

    Роскомнадзор в основном обращается по вопросам работы сети во время различных ЧС, учений, во время подготовки и проведения больших мероприятий государственной важности (форумы, саммиты и т.д.). Еще одна тема обращений – это открытие межсетевого операторского роуминга. Как это работает: когда сеть одного оператора выходит из строя, оператор имеет право обратиться в Роскомнадзор и попросить, чтобы регулирующий орган обратился к другим операторам с просьбой об открытии роуминга. Для этого у нас отработана соответствующая процедура. Раз в квартал проходят учения. Так что в случае падения сети одного из операторов абоненты ничего не заметят. Они продолжат звонить в своей сети, но на самом деле будут пользоваться, например, нашей сетью.

    image

    Вы знаете, как сейчас заливает дождями Дальний Восток. Для того чтобы у жителей пострадавших регионов возникало как можно меньше проблем со связью, по распоряжению Роскомнадзора, открыт роуминг между всеми операторами мобильной связи. С гордостью сообщаю, что на заседаниях штаба по чрезвычайной ситуации отмечают нашу сеть, как наиболее стабильно работающую и принявшую на себя наибольшее количество абонентов других операторов.

    Очень интересно было бы услышать про мониторинг сети на появление фейковых БС и вообще подозрительной активности в сети. Какие есть новые разработки в этой сфере у вас?

    Я не сталкивался в своей практике с «фейковыми» БС. В сети МТС фейковая БС в принципе не может появиться. Практический смысл появления в сети такой БС, с точки зрения оказания слуг связи абонентам, мне не понятен.
    Возможно, потенциальные мошенники могли бы найти применение таким БС, но существуют отдельные подразделения, занимающийся борьбой с фродом.

    Кстати, сейчас есть мини-сотовые сети для ЧС. Там и коммутатор, контроллер, базовая станция, плюс телескопическая мачта с антеннами. Все в трех чемоданах. Ты приехал в зону ЧС, где нет сотовой связи, развернул свою сеть и создал свои сим-карты, зарегистрировал группу абонентов. Эти абоненты смогут друг другу звонить. Если ты немножко потрудишься, то можешь сделать выход и во внутренний мир, кинув линию привязки к сетям общего пользования. Но тут как раз понятен смысл такой сети, и легальность ее развертывания обеспечивает государство.

    Инцидентов регистрируется порядка 800-900 за 12-часовую смену. Скажите, пожалуйста, сколько из них действительно аварийные ситуации или, возможно, часть отпадает как ошибочное сообщение?

    800-900 – это уже реально инциденты. Самая значительная их часть связана с отключением внешнего электропитания на базовой станции. Инциденты первой категории решаются в срок не более 4-х часов. В целом на решение даже самого несущественного инцидента отводится не более 40 рабочих часов.

    Какими средствами ведется мониторинг? Вижу заббикс, но, наверное, он там чутка допилен под свои нужды. Почему был выбран именно он, а не nagios\cacti?

    Мониторинг основного оборудования ведется с помощью зонтичной системы. Хотя у нас есть некоторое оборудование (в основном на транспорте), которое ни с экономической, ни с технической точки зрения нецелесообразно подключать к «зонтику». Если оно выходит из строя, то это звено легко выявить благодаря мониторингу остального оборудования. Тем не менее, альтернативные системы мониторинга используются и приносят пользу.

    Почему выбран именно заббикс? Средства мониторинга, находящиеся в открытом доступе, похожи по функционалу. Кому что нравится. Конкретному инженеру понравился заббикс, он с ним когда-то работал, он его знает. Так что это скорее вопрос вкуса.

    Данные сливаются в один ЦОД или в несколько? Если в один, то не боитесь стать «слепыми», если ЦОД с мониторингом уйдет в оффлайн?

    У нас Центр управления мобильной сетью, как вы знаете, в Краснодаре. Именно там сидят специалисты, занимающиеся мониторингом. Их рабочие места виртуализированы, т.е. физически сервера с программным обеспечением для мониторинга и инцидент-менеджмента находятся не только не в Краснодаре, но и находятся на двух географически разнесенных площадках. Если операторы по какой-то причине не смогут попасть в свой центр в Краснодаре, то они могут сесть в любое другое помещение и работать через интернет.

    У нас на такой случай есть специальная программа DRP (disaster recovery plan). Операторы могут переместиться в любую гостиницу или, в конце концов, остаться дома, загрузить себе виртуальное рабочее место и работать. Мы даже проводили учения: во время ЧС люди едут в соседний регион, садятся в одном из учебных классов нашего филиала и работают — пока не появится возможность вернуться на рабочие места в Краснодаре.

    image

    Также у нас есть центр управления в Нижнем Новгороде. Если приостановится работа центра в Краснодаре, то Нижний Новгород частично возьмет на себя мониторинг. Несмотря на то, что специалисты в Нижнем занимаются «фиксой», мы их обучили так, чтобы они умели мониторить основные элементы и крупные аварии на мобильной сети. Кроме того, за основными элементами сети могут смотреть сами регионы – компетенция им это позволяет. Так что в любом случае коммутатор, контроллер и базовые станции будут под контролем. «Слепыми» мы не будем.
    МТС
    61,00
    Компания
    Поделиться публикацией

    Комментарии 20

      0
      Вопрос с ЦОДами не раскрыт. Поспешил.
        0
        Я не сталкивался в своей практике с «фейковыми» БС. В сети МТС фейковая БС в принципе не может появиться.
        Тут речь не про полноценные БС, а БС-прокси. Поднимается «БС-прокси МТС» рядом с нужным человеком, для настоящих БС-МТС она светит как терминал. Атака MITM. На 2G оборудование такое есть и стоит уже вменяемые деньги.
        На счет бороться — обычно с ними «борятся» те, кого пытаются слушать и методы борьбы такие же «законные», как у подслушивающих.
          0
          А как пройдет регистрация? Допустим вы знаете номера карточки но вам еще надо сгенерировать случайное число и в сеть мтс правильный ответ. Хотя если есть «знакомые»…
            0
            Тут весь механизм расписан, знакомые не нужны
            https://m.habrahabr.ru/company/securitycode/blog/280886/
          +1
          Данную картинку для привлечения внимания — вижу уже 3-ю статью, доколе?
            +1
            А мне больше интересно, как подключили 12 мониторов? Это несколько дешевых видеокарт, или это несколько компьютеров, или одна видеокарта на такое количество мониторов? Так же интересует, там винда или или линукс, и если линукс — то как настраивали иксы?
              +1
              Видны как минимум три клавиатуры на столе.
                +2
                А еще видна небольшая лысина. Не от 12ти мониторов ли ?)

                И кондиционеры обклеены, чтобы дули «правильно». А вообще, обстановка на фотке выглядит какой-то суровой и холодной… ковролин хотя бы постелили бы, или перегородок поставили, чтобы как-то разделить площадь, а не чувствовать себя в «офисной ферме»
                  0
                  Можно заюзать программу Synergy и обойтись одной клавиатурой и мышью. Когда-то так делал, используя три монитора на двух компьютерах. Плюс бонус — можно копировать и вставлять текст между компьютерами. Вот только мышку, возможно, замучаешься тащить от самого правого экрана на самый левый и обратно.
                    0
                    Это не важно. Даже если тут 3 компа, то на заднем плане все равно большая видеостена. Причем, еще большего размера. И видно, что на ней как бы одна картинка на большую часть стены.

                    В голову приходит что-то типа Xvfb с большой областью, плюс несколько компов с vnc-клиентами, которые отображают фрагменты этой области. Но имхо, при такой схеме не будет аппаратного ускорения и все будет довольно сильно тормозить…

                    Таких видеокарт, чтоб тянули сразу такое кол-во мониторов (5х3 или даже больше) — вроде не существует.
                      +2
                      9 мониторов «тянет» один Matrox C900. IMHO никто не мешает поставить две C900.
                        0
                        Или NVS 810 с 8 портами и почти в два раза дешевле.
                        0
                        Можно воткнуть пару Радеонов и подключить мониторы по DisplayPort: http://www.tomshardware.co.uk/forum/357155-33-displays-extended-desktop
                        А теперь вроде как можно обойтись даже одним Радеоном: http://www.tweaktown.com/news/49429/zotac-teases-12-display-system-powered-amd-radeon-r9-m365x/index.html
                      0
                      И все это по VDI, как написано в статье.
                        0
                        По 3-4 тонких клиента на место?
                        0
                        Нижний ряд мониторов. ИМХО
                        Первый слева. Винда, скорее всего что то серверное, так как полоска «Пуска» серая.
                        Трети и пятый то же Винда, но что то из 7-10 судя по цвету «Пуска»
                        0
                        У вас тоже кондиционеры «дуют», судя по фото?
                          +1
                          А теперь ответьте на вопрос — как происходит слив авторизационных смс из телеграма?
                            –1
                            Ребята из позитива здесь уже писали, что все это спокойно проворачивается и без участия самого МТС. Да и почему никто не учитывает СОРМ, который, опять же, без участия МТС передает все СМС по назначению?
                              0
                              Может из-за того что было в распечатке биллинга пострадавших и последующего поведения оператора?

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое