Городской Wi-Fi на примере общежитий ВУЗов Москвы

    Привет, Хабр! Сегодня мы немного отклонимся от привычного курса и расскажем вам не о системе видеонаблюдения, а о том, как в Москве работает Wi-Fi.



    Сразу скажем, что публикация будет без хардкорных технических подробностей, по одной простой причине: интернет предоставляется по «сервисной модели». Говоря проще – заказчик предъявляет требования к необходимым услугам связи, а исполнители на конкурсной основе обеспечивают эти услуги связи. На сегодняшний день обеспечением связи в Москве в рамках проекта «Wi-Fi в общежитиях» занимаются два крупных оператора: Вымпелком и МГТС, выбранных по итогам конкурсных процедур. Именно от работы этих двух операторов зависят качество и работоспособность сети.

    Беспроводной доступ к сети Интернет в общежитиях является частью городского проекта «City Wi-Fi», который включает в себя и другие общественные объекты: городские парки, объекты культуры, пешеходные и велосипедные дорожки. Общежития же ВУЗов являются одной из основных частей проекта, и именно о них мы поговорим в сегодняшней статье.

    На момент написания статьи суммарно двумя операторами установлена 5561 точка радиодоступа, все они расположены в 121 здании общежитий ВУЗов Москвы, в которых проживает порядка 77 тыс. студентов.

    К работе операторов предъявляются много требований, и одно из них – стабильная работа не менее 10-15 абонентов на каждой из точек. При этом 10-15 человек – это не максимальное количество абонентов (верхний порог пока не установлен), а ориентировочное количество человек, которые должны обслуживаться стабильно (есть места, где стабильно обслуживается до 30 абонентов).

    В скором времени будет доступна SMS-авторизация для всех зон городского проекта «City Wi-Fi», которая будет функционировать при помощи Единой мобильной платформы. А пока этого не произошло, авторизация реализована на сетях оператора.

    Как пример, рассмотрим подробнее модель оказания услуг связи для общежитий от оператора МГТС.

    Сеть МГТС развёрнута с использованием решений от компании Hewlett-Packard. Точки доступа Wi-Fi, работающие в диапазонах 2,4 и 5 ГГц, подключены через агрегирующее коммутационное оборудование к магистральному каналу связи на базе технологии GPON. Для обеспечения централизованного управления используются два географически разнесённых кластера, состоящих из аппаратных контроллеров HP 870 Unified Wired-WLAN Appliance и подключённых по схеме N+M в сочетании с системой управления HP iMC Wireless Services Manager.


    Структурная схема уровня клиентского доступа

    В качестве точек доступа выбраны продукты серии HP4xx с двумя радиоинтерфейсами с поддержкой двух диапазонов 2,4 и 5 ГГц. Это позволяет на каждой точке доступа запустить услугу одновременно и в 2,4 ГГц (наиболее популярном, но вместе с тем и самом «зашумленном» диапазоне), и в 5 ГГц. Технология Radio Resource Management (RRM) помогает подключать пользовательские устройства с поддержкой 5 ГГц (или обоих диапазонов) в первую очередь именно в этих частотах, что улучшает качество связи для пользователя. Также RRM постоянно анализирует окружающую среду и автоматически подстраивает мощности излучения всех точек доступа, добиваясь оптимального покрытия. Благодаря бесшовному роумингу пользователь может перемещаться по всему общежитию без обрывов связи. Балансировка клиентов между точками доступа сохраняет качественное соединение для всех подключённых пользователей, не позволяя перегружать отдельные точки доступа при наличии соседних свободных точек.

    При попытке подключения в сеть, пользователь, перенаправляется на web-портал для авторизации по номеру мобильного телефона. После ввода пароля, полученного по смс, пользователю открывается доступ в Интернет. На данный момент система поддерживает до 15000 одновременно работающих пользователей. Портал реализован на базе программного модуля User Access Manager (UAM) системы управления HP iMC, этот же модуль выполняет функцию RADIUS-сервера. Единый интерфейс управления решением предоставляется модулем Wireless Service Manager (WSM) системы HP iMC. Этот модуль позволяет операторам видеть карту беспроводной сети, зоны покрытия и расположение оборудования на плане здания, создавать, запускать или выключать услуги. Вообще, для решения задач управления и авторизации в таком масштабе (более 2300 точек доступа и 15000 одновременных пользователей) используется 10 серверов HP 9-го поколения: по 5 под активной системой и 5 под резервной.

    Более подробное описание решения
    Схема состоит из трёх основных функциональных блоков:

    – Ядро беспроводной сети
    – Транспортная сеть между ядром и объектами
    – ЛВС на объекте

    Ядро беспроводной сети


    Ядро географически распредёленное. Каждый сайт состоит из контроллеров Wi-Fi, сервера управления HP IMC, сервера captive портала с SMS-шлюзом и серверов аутентификации (RADIUS). Контроллеры Wi-Fi обеспечивают централизованное управление точками доступа, радио ресурс менеджментом и управлением пользовательскими сессиями. Трафик неавторизованных пользовательских устройств проходит через контроллер в изолированный VLAN. Трафик авторизованных пользователей коммутируется в локальные VLAN на объектах с доступом в интернет.

    Для обеспечения выхода в сеть Интернет всех пользователей используется операторское решение Cisco Carrier Grade NAT, реализованное на базе высокопроизводительных модулей CGSE+ установленных в ASBR Cisco CRS-3. Заявленная производительность модуля CGSE+ до 80 Гбит/с полу-дуплекс и 80 млн. NAT-трансляций.

    Транспортная сеть


    Последняя миля на объектах – GPON. К каждому объекту подключаются 3 VLAN в тэгированном интерфейсе на ONT.

    • VLAN WIFI-HP-CONTROL подключается в соответствующий VRF и служит для двух целей: управление устройствами (коммутаторами и шлюзами) из ядра беспроводной сети. Установка CAPWAP -туннелей от точек доступа до контроллеров, в которых проходит трафик управления точками и трафик неавторизованных устройств.
    • VLAN WIFI-HP-INET-DPI подключается в соответствующий VRF и служит для пропуска интернет-трафика с соответствующими правилами (QoS и так далее).
    • VLAN MGMT подключается в соответствующий VRF и служит для управления коммутаторами и шлюзами из сети оператора.

    ЛВС на объекте


    Состоит из точек доступа, коммутаторов и многофункционального устройства по имени UTM Fortigate. L2 представляет собой совокупность коммутаторов, связанных между собой в кольцо. Fortigate также является частью кольца.

    Содержит 3 VLAN. VLAN MGMT, VLAN WIFI-HP-CONTROL, VLAN INTERNET, в который подключаются авторизованные устройства.

    UTM Fortigate cодержит в себе dhcp-relay до Wi-Fi-ядра и CG NAT. Потенциально может использоваться как DPI, webfilter, mail inspection, ssl inspection, device recognition и т.д. Одобрен ФСТЭК с лицензией low encryption.

    Для обеспечения наилучшего покрытия специалистами произведено комплексное радиообследование, по результатам которого были подобраны оптимальные точки доступа как со встроенными, так и с выносными антеннами. Все точки доступа подключены с использованием технологии PoE, а энергоснабжение агрегационного и каналообразующего оборудования гарантируют источники бесперебойного питания. Данная схема гарантирует исправную работоспособность сети при кратковременных отключениях или перепадах в сети энергоснабжения.

    В тех учебных заведениях, где уже предоставлен доступ, есть информационные таблички с контактной информацией, поэтому если вы живёте в общежитии при ВУЗе с городским беспроводным доступом, и что-то вдруг не работает – смело звоните по указанным телефонам: оператор примет заявку, обработана она должна быть в течение 4 часов.

    Схема авторизации устройств:



    Если вдруг вы являетесь пользователем Wi-FI в общежитии какого-то московского ВУЗа или у вас просто есть какие-то вопросы (а еще лучше – предложения) по работе данного сервиса, то мы будет рады увидеть их в комментариях.



    И всё же пара слов про видеонаблюдение :) Работа активно продолжается с вашей помощью, мы снова хотим сказать спасибо за тот фидбек, который вы присылаете в рамках тестирования нашей системы на совместном спецпроекте.

    Хотим отметить одно важное изменение. При тестировании у нас было создано ограниченное количество учётных записей, в то время как количество желающих принять участие в тесте превзошло все наши ожидания. Поэтому мы приняли решение поступить следующим образом: если у вас есть учётная запись на Московском портале Госуслуг, вы можете на странице спецпроекта оставить заявку на тестирование, используя логин портала. Мы постараемся максимально оперативно обработать вашу заявку и предоставить доступ для тестов.

    И последнее. Основная цель спецпроекта – не просто дать поиграться с камерами профессиональному сообществу, а чтобы вы помогли сделать наш сервис лучше (чтобы в будущем поиграться с камерами можно было удобней). Поэтому после того, как вы составите своё мнение о сервисе, мы просим вас поделиться с нами впечатлениями и идеями по его улучшению. Нам пригодится любой фидбек касаемо сервиса: начиная от текстов интерфейса и вёрстки, заканчивая багами в работе или даже информацией об уязвимостях. За время спецпроекта было прислано много полезных пожеланий (часть из которых уже учтена), но здесь как в анекдоте – хочется таблеток от жадности, да побольше, побольше!

    Нам действительно важно ваше мнение.
    Спасибо за внимание!

    Читайте также в нашем блоге на Хабре:
    » 130 тысяч камер видеонаблюдения – как заставить их работать?
    » Хабраэффект для 130 000 камер Москвы
    » Информационные технологии кормят более 750 тысяч человек в Москве
    » Блог департамента информационных технологий города Москвы на «Хабрахабре»
    ДИТ Москвы
    Company

    Comments 15

      +1
      Спасибо за подробности!
      Не особо разбираюсь в функционировании беспроводных сетей, но мне кажется, что MAC «украсть» проще всего (естественно без физического доступа к устройству).
      Не получится ли так, что украв каким-либо образом MAC, к тому, кто этот MAC авторизовал, придут представители в погонах?
      Может есть смысл дополнительно проверять, к примеру, HTTP(s)-куку и в любом случае пропускать пользователя через каратнтин?
        0
        Есть возможность проверки не только MAC-адреса, но и других параметров, которые украсть не так просто (данные с DHCP сервера и HTTP user agent …). При возникновении конфликта, пользователь не допускается в сеть.
        +2
        Здравствуйте! Очень интересная статья.
        Хотел бы узнать: вы ли делали тот же wi-fi в общежитиях мвту?
        Если да, то объясните пожалуйста почему он не работает от слова совсем?
        Сеть видна, но адекватно пользоваться ею нельзя.
        Например, подключение дропается с тайм-аутом в две-три минуты, нет подключения с большинства устройств, скорость не очень (когда еле подключаешься), от слова ее нет.
        Резюмирую: с самого запуска этих вай-фай точек ими никто(!!!) не пользуется. Не потому что не хотим, а потому что невозможно.
          +1
          Все вопросы к г-ну Александрову. Это он куда-то закопал 24 млн.
            +4
            Было две модели финансирования WiFi в общежитиях. ВУЗы могли получить субсидию и делать все самостоятельно — так поступили в основном технические подкованные универы, или получать от нас готовый WiFi со стабильной поддержкой как сервис. Бауманка получила субсидию в прошлом году. При такой модели у ДИТ, к сожалению, нет возможности мониторить работоспособность сети онлайн, ВУЗ на ежеквартальной основе предоставляет статистику загрузки сети для подтверждения ее работы. Мы передали информацию о проблеме ответственным от ВУЗ, ждем комментариев с их стороны.
            +1
            Немного огорчает, что планируется аутентификация только с помощью SMS-сообщений. Применение такого способа вне общежитий может огорчить людей с нероссийским номером телефона(и без телефона) и людей со множеством устройств(телефон, планшет, ноутбук) т.к. для каждое устройство нужно регистрировать отдельно.

            Например, в Карлсруэ(Германия) городской wifi организован следующим образом: в каждом месте с бесплатным wifi создаётся несколько беспроводных сетей с различными именами, со своим методом аутентификации в каждой. Например сеть с именем wkit-802.1x позволяет входить в сеть используя аккаунт своего университета(причём в унивеситете сеть называется так же, устройство подключается автоматически). Сеть с именем eduroam позволяет аутентифицироваться под локальным аккаунтом пользователя любого университета, входящего в eduroam(сейчас там университеты из 71 страны). Последние две сети: KA-sWLAN и KA-WLAN для людей не из университета. После регистрации приходит электронное письмо с логином и паролем. Пользователю дается 10 минут интернета чтобы его прочитать. Регистрация с помощью SMS тоже доступна(но только для местных симок).

            Сайт городского wifi: www.ka-wlan.de/info_en.html

            Точно такие же сети ловятся в общежитиях.

            Пара картинок
            image
            image
              0
              Ещё есть очень технический вопрос: как обеспечивается защита данных от прослушивания с использованием аутентификации по mac-адресу?

              А именно: откуда берутся ключи для шифрования(PMK)? Если они pre-shared, то как именно они шарятся между точкой доступа и устройством? Если они получаются с помощью EAP, то какие конкретно методы используются?
                0
                Есть возможность проверки не только MAC-адреса, но и других параметров, которые украсть не так просто (данные с DHCP сервера и HTTP user agent …). При возникновении конфликта, пользователь не допускается в сеть.
                0
                Скажите, а построенные операторами решения позволяют собирать и предоставлять ежемесячную отчетность, как того требует регламент ДИТ для ВУЗов-получателей гранта на бесплатный студенческий интернет в общагах, а именно:
                i. Пропускная способность каждой точки доступа для входящего и исходящего трафика
                ii. Объем переданной информации по каждой точки доступа для входящего и исходящего трафика
                iii. Пропускная способность общего канала связи Интернет для входящего и исходящего трафика
                iv. Объем переданной информации по общему каналу связи Интернет для входящего и исходящего трафика
                v. Количество одновременно подключенных пользователей по каждой точке доступа
                vi. Время неработоспособности сети с детализацией по каждой точке доступа

                Обеспечивается ли также однократное перенаправление сессии на wifi.mos.ru/students?

                И наконец, как обеспечивается соблюдение Федерального закона Российской Федерации от 5 мая 2014 г. N 97-ФЗ, требований Постановлению Правительства № 758 от 31 июля 2014 г. и № 801 от 12 августа 2014 г.?

                Замечу, что «для не очень богатых маленьких общежитий», кто не может позволить себе купить HP 870 Unified Wired-WLAN Appliance и Cisco CRS-3, можно посоветовать дешевую альтернативу контроля WiFi доступа
                  0
                  В рамках сервисной модели требования к отчетности от операторов практически аналогичны требованиям к отчетности от ВУЗов получивших субсидию.
                  Кардинальных различий несколько:
                  1. Операторы предоставляют отчетность ежемесячно, а не ежеквартально как ВУЗы (а при необходимости ДИТ может запросить статистику за день или за неделю);
                  2. Работоспособность сети мониторится непосредственно ДИТ.
                  Перенаправление на стартовую страницу wifi.mos.ru обеспечивается не только в общежитиях, а во всех публичных сетях, организованных ДИТ по госконтрактам.

                  Так как ДИТ не является оператором связи, соблюдение требований Федерального закона Российской Федерации от 5 мая 2014 г. N 97-ФЗ равно как и Федерального закона от 27 июля 2006 года N 149-ФЗ находится в зоне ответственности оператора – исполнителя государственного контракта.

                  Исполнение требований Постановления Правительства № 758 от 31 июля 2014 г. и № 801 от 12 августа 2014 г. обеспечивается SMS-авторизацией, в дальнейшем планируется также внедрить возможность авторизации через связку логин/пароль от электронных сервисов мэрии.
                  0
                  Круто, че… Жаль, что я уже не студент :)))
                    0
                    Проект «золотой» как в плане стоимости железа, так и ПО.
                    Автору наверняка будет интересно ознакомиться с сетью c2free в СЗАО, они бы развернули в разы дешевле сеть с более высокой отказоустойчивостью и бесшовную.
                      0
                      Я так понимаю одно GPON подключение на одно здание? Какая скорость — 1 Гбит/с?
                      Трафик точек доступа из-за большого числа абонентов должен быть достаточно плотным. Коллизий не возникает? Если не ошибаюсь в GPON используется общий для всех абонентов нисходящий поток?
                        +1
                        Подключения проектировались оператором из расчета установки оптической коробки (ОРК) в каждое здание вузов.
                        При этом в случае высокоскоростных каналов ОРК подключалось на отдельное «дерево» GPON (при этом максимальная пропускная способность «дерева» составляет: downstream 2,5 Гб/с и upstream 1,25 Гб/с).
                        Коллизий не возникает ввиду использования синхронизации между всеми передающими устройствами (согласно стандарту ITU G.984.1).
                        На некоторые объекты вузов ввиду высоких требований по пропускной способности канала (> 1,5 Гб/с), оптический кабель строился по технологии FTTB с установкой маршрутизаторов Fortigate.
                          0
                          Я неправильно выразился. Под коллизиями я имел ввиду не само столкновение пакетов, а ситуации, когда нескольким зданиям явно не хватает пропускной способности общего дерева.
                          Собственно вы уже ответили, что в проблемных местах на задние берётся отдельное дерево или другая технология подключения.

                      Only users with full accounts can post comments. Log in, please.