Как мы делали HD Wi-Fi на стадионе в Краснодаре на 34 тысячи человек

    Может показаться, что Wi-Fi на стадионе не нужен вообще. Пришёл болеть – так смотри за игрой, а не пости селфи и читай почту. Но нет, Wi-Fi нужен по двум важным причинам. Во-первых, при таком скоплении людей будут крайне быстро разобраны каналы сотовой сети, и большая часть болельщиков останется на время без телефона. Во-вторых, собственно, владельцам стадиона очень хотелось дать специальное мобильное приложение для всех болельщиков.

    Внутри – схемы расстановки игроков на поле, статистика по матчу и игрокам, плюс стриминговое видео с камер, чтобы можно было видеть крупным планом в лицах на планшете или телефоне, что происходит. Ну и сразу повторы важных моментов с разных ракурсов.


    На радиообследовании


    Результат обследования мембраны

    Для всего этого нужен быстрый Wi-Fi высокой плотности и с минимальными интерференциональными явлениями. Обычных хотспотов тут не натыкать – нужна хорошая экспертиза радиообследования, плюс специальное оборудование. Результат – 150 хитрых точек доступа с beamforming после довольно нетривиальных работ.

    Почему именно HD, и в чём сложности?


    Высокая плотность в отношении Wi-Fi – это довольно размытое и условное понятие. Очень упрощая, это такое состояние сети, где присутствует столько активных пользователей, сколько не в состоянии переварить беспроводная сеть, выполненная по классическому дизайну (точки доступа с всенаправленными антеннами, комфортно работающими максимум с 20-30 клиентами на радиоинтерфейсе и радиусом покрытия в 15 метров в типичном офисе). Соответственно, требуется особенное покрытие (чтобы абоненты и точки не мешали друг другу), и ещё большое количество клиентов накладывает требования к пропускной способности всех элементов сети: контроллера, коммутаторов, маршрутизаторов, межсетевых экранов и, собственно, каналов доступа в Интернет.

    При создании беспроводной сети для объектов с высокой плотностью абонентов, коим является стадион, требуется учитывать следующие факторы:
    • Общее количество абонентов – стадион при полной загрузке вмещает 34 000 потенциальных пользователей. Соответственно, наша сеть в пике может быть нагружена примерно 30 тысячами подключений к потоковому видео.
    • Плотность размещения абонентских устройств – болельщики, сидящие на трибунах, размещены очень плотно, на 10 квадратных метрах в среднем размещается 60 человек. Ключевой показатель, по которому проверяется достаточно подходящая архитектура сети — требуемая пропуская способность на абонента. Каждая точка доступа имеет определенную полосу пропуская в радиоканале, равномерно делящуюся между клиентами, и радиус покрытия. Чем выше плотность клиентов, тем больше клиентов будет подключаться к одной точке доступа, и тем меньше будет пропускной способности на каждого клиента. Логичны выходом является поставить большее количество точек, но мы ограничены в свободных радиоресурсах в диапазоне 2,4 ГГц (существует всего 3 непересекающихся канала – 1, 6 и 11), в диапазоне 5 ГГц попроще – есть 11 каналов, но не все мобильные устройства поддерживают 5 ГГц. Поэтому, соответственно, отказаться от 2,4 мы не можем. Соответственно – нужно уменьшать радиус действия точек или точнее формировать диаграммы направленности, чтобы уменьшать негативное влияние на соседние точки, работающие на тех же частотах и оптимально распределять радиоресурсы.
    • Характеристики объекта внедрения, влияющие на распространение сигнала – чаша стадиона – это большое открытое пространство, в котором неизбежная интерференция между точками доступа;


    Беспроводная сеть, построенная по традиционному дизайну, не справится с поставленными задачами. В результате получились бы большие потери пакетов, большое количество ретрансмитов, и, как следствие — крайне низкая скорость передачи данных, нестабильная работа сервисов.

    Уменьшение зон действия точек доступа достигается за счет:
    • применения специализированных узконаправленных антенн (подробнее об этом ниже);
    • отключения низких канальных скоростей (до 12 Мбит/с);
    • отключения обработки пакетов абонентов с низким уровнем сигнала (RX-SOP);
    • понижения мощности передатчика;




    Это не всё. Ещё требуется:
    1. Защитить зону HD-покрытия от паразитного сигнала Wi-Fi. Негативные явления на покрытие зрительской зоны чаши стадиона могу оказать свои же точки, расположенные в VIP-зонах, вестибюлях вблизи выходов на поле. Рецепт тот же – контроль мощности и радиопокрытия.
    2. Сократить утилизацию радиоканала: не использовать больше четырех SSID (в идеале использовать один) в зрительных зонах, т.к. каждый SSID требует отправки отдельного Beacon пакета и каждый широковещательный SSID отвечает на null probe request; бороться с клиент-спровоцированными помехами, предложив зрителям подключиться к Wi-Fi сети, т.к. подключенное устройство начинает отсылать probe request в разы реже; максимально устранить из зоны действия беспроводной сети посторонние точки доступа и Ad Hoc устройства как источники интерференции и генераторы beacon, probe request, probe response пакетов и отказаться от использования «смежных» Wi-Fi сетей и использовать единую беспроводную сеть.


    Какое использовалось оборудование


    На стадионе ФК «Краснодар» мы использовали решение Cisco Wi-Fi, включающее новые узконаправленные антенны Cisco, высокопроизводительные двухдиапазонные точки доступа Cisco в сочетании с программными алгоритмами для автоматической настройки беспроводной сети в зависимости от постоянно меняющейся радиочастотной обстановки, а также технологию CleanAir, которая включает точки доступа со встроенными интеллектуальными аппаратными функциями, позволяющими выявлять, классифицировать и уменьшать влияние радиочастотных помех. Для обеспечения мониторинга и управления сетью в решение включены многофункциональные контроллеры беспроводных сетей Cisco WLC и ПО управления инфраструктурой Cisco Prime Infrastructure.

    Антенна Cisco:


    Узконаправленная секторная антенна с поддержкой MIMO. Имеет 6 элементов, по 3 для работы в 2.4 и 5 ГГц. Ширина луча ДНА в диапазоне 2.4 ГГц составляет 36° в горизонтальной плоскости и 36° в вертикальной плоскости, в диапазоне 5 ГГц — 55° и 48° соответственно. Корпус антенны обеспечивает защиту от внешнего воздействия пыли и влаги по классу IP65. Разработана специально для работы совместно с точкой доступа Cisco в условиях высокой плотности клиентов. Применяется для покрытия трибун стадиона.

    Антенна Cisco:



    Секторная антенна с поддержкой MIMO. Имеет 4 элемента, одновременно работающих в 2.4 и 5 ГГц. Ширина луча ДНА в диапазоне 2.4 ГГц составляет 65° в горизонтальной плоскости и 105° в вертикальной плоскости, в диапазоне 5 ГГц — 55° и 110° соответственно. Корпус антенны обеспечивает защиту от внешнего воздействия пыли и влаги по классу IP54. Используется совместно с точкой доступа Cisco. Применяется для покрытия трибун стадиона, VIP-лож, пресс зон, зон близких к выходу на поле и помещений с высокой плотностью абонентов.

    Точка доступа Cisco:



    «Стадионная» двухдиапазонная точка доступа, специально разработанная для использования в местах высокой концентрации пользователей. Точка доступа спроектирована и сертифицирована для работы с узконаправленными антеннами, имеющими коэффициент усиления до 13 дБ (2.4 ГГц) и 7 дБ (5 ГГц), например, такими как описанная выше антенна Cisco. Имеет расширенные возможности настроек радиопередатчика, что незаменимо при подобных инсталляциях. Снабжена встроенным анализатором спектра (технология CleanAir), что позволяет обнаруживать и избегать радиочастотные помехи любого происхождения. Поддерживает стандарт IEEE 802.11n и конфигурацию MIMO 2х3 c двумя пространственными потоками.

    Точка доступа Cisco:



    Двухдиапазонная точка доступа с поддержкой стандарта IEEE 802.11ac и конфигурацией MIMO 4х4 c тремя пространственными потоками. Снабжена встроенным анализатором спектра (технология CleanAir), что позволяет обнаруживать и избегать радиочастотные помехи любого происхождения. Применяется совместно с секторной антенной для первых рядов трибун стадиона, VIP-лож, пресс зон, зон близких к выходу на поле и помещений с высокой плотностью абонентов, а также в зонах с невысокой плотностью абонентов совместно с дипольными всенаправленными антеннами.

    Контроллер беспроводной сети Cisco:



    Централизованное управление точками доступа осуществляется высокопроизводительным контроллером Cisco WLC. Данная модель контроллеров поддерживает одновременное управлением до 6000 точек доступа. Обеспечивает пропускную способность 10 Гбит/с и поддерживает одновременную работу до 64000 пользователей, что незаменимо для подобных инсталляций. Отказоустойчивость системы достигается объединением двух контроллеров в кластер. Время переключения с активного контроллера на резервный составляет менее секунды без разрыва сессий клиентов.

    Контроллер беспроводной сети отвечает за такие функции, как обеспечение безопасного бесшовного роуминга, автоматизированное управление радиоэфиром (управление несущей частотой и мощностью радиопередатчиков точек доступа), устранение «дыр» в покрытии при выходе из строя точек доступа, переключение пользователей с загруженных точек на менее загруженные, обнаружение и избегание взаимного влияния беспроводных устройств и помех, обнаружение вторжений в беспроводную сеть, обеспечение политик безопасности и политик QoS.

    Ход работ


    Нам повезло, и заказчик обратился в тот момент, когда бетон ещё не был залит, и стадион только проектировался. Это означало, что мы могли заранее заложить места под оборудование, кабельные трассы и прочую инфраструктуру. Это важно, потому что кроме непосредственно Wi-Fi мы делали ещё IP TV и Digital Signage — проще говоря, огромные экраны с тем, что происходит на поле.

    В общей сложности на стадионе нужно было совместить около 50 подсистем. Для моего отдела всё началось с проектирования именно нашей инфраструктуры. Проблема в том, что точное расположение радиооборудования можно выявить только после понимания, какой вообще формы и из каких материалов будет стадион. Это как звук – нужно померить, чтобы получить точную картину распространения волн. Соответственно, в проекте мы продумали что могли фиксированного (в частности, особенно хорошо, что удалось заложить трассы и вот эти вот специальные слоты для оборудования на фото ниже). На этой стадии нет понимания, например, кто вообще будет делать кровлю, поэтому точных данных мало.



    При проектировании мы долго согласовывали места установки: допустим, в проходах, где ходят люди, нельзя устанавливать оборудование, которое будет выпирать. Это требования пожарных. Мы предложили варианты со штроблением и отверстий в железобетонных конструкциях, но тут эксплуатация решила, что объект начнет рушиться раньше времени от таких дырок. Также по этому узлу у архитектора были эстетические требования — и в проекте заложили больше прочности. Сочетание эстетики и повышения прочности позволили убедить эксплуатацию, и мы запроектировали штробы для скрытой установки антенн и точек доступа в термобоксах.

    Следующий этап — стадия рабочей документации. Когда стало понятно, кто какую систему делает, и приблизительно ясно, какие будут применены решения (сначала прорабатывается бетон и конструкции, после была подготовка рабочей документации по инженерным и автоматизированным системам). Особенность стадии в том, что на стройке случаются изменения и иногда приходится вносить редакции в рабочую документацию. Главная задача — предусмотреть все необходимое. Чтобы не было такого «а вот тут перегородку сносим к чёрту». Важно думать заранее ещё и потому, что проект должен находиться в рамках бюджета. Здесь для нас важнейшая часть – провести радиообследование «на живую», когда бетон только заложен. То есть вот в таком вот состоянии стадиона:


    На радиообследовании

    Следующая стадия СМР – самая веселая часть, на которой приходится много спорить и отстаивать решения с подрядчиками по смежным системам. Также приходится кооперироваться с подрядными, которые, допустим, делают кровлю, на которой необходимо предусмотреть крепеж, который должен позволить легко эксплуатировать систему. Эту стадию мы не раз обкатывали на крупных объектах, особенно много опыта получили именно по стадионам – мы же делали ИТ-инфраструктуру и звук стадионов ЦСКА и Спартак (30 и 44 тысячи мест соответственно).

    Тут как обычно — подрядчиков много, и никто не хочет ждать остальных при работах. Нас это тоже коснулось — один подрядчик уложил плиту без наших термобоксов, и пришлось искать новые термобоксы для установки. Мы добавили новое правило – закупку проводить после создания тестового узла, могут понадобиться дополнительные компоненты. Неважно как хорошо узел был запроектирован всеми организациями.

    В чём сложность задачи?


    Главная задача – это равномерно покрыть чашу, с учетом что пользователи будут сидеть очень плотно. Для увеличения плотности покрытия используются антенны с малой площадью покрытия, за счет этого устанавливается больше точек доступа без негативного взаимовлияния.

    Для этого необходимы:
    • Антенны с высоким коэффициентом усиления на частотах и 2,4 и 5 ГГц.
    • Обязательно – с многоканальным приемом-передачей (MIMO) 4*4 для увеличения пропускной способности в радиоканале (но бывает, что у приемников нет MIMO или 1*1). Скорость передачи данных зависит от типа MIMO на стороне клиента.
    • Далее, мы считаем, что на этом проекте приемник (абонентский терминал, например, телефон) и передатчик (наша антенна) должны находиться на линии прямой видимости. Необходимо создать все условия для этого, чтобы это выполнялось в большей части случаев.
    • В будущем хорошо пользоваться стандартом 802.11ac, но не все устройства пользователей будут его поддерживать. Равно как и не все устройства пользователей работают на 5 ГГц. На будущее это очень хорошее решение – у стандарта 802.11ac будет поддержка MU-MIMO. Multi user MIMO в отличие от обычного Single user MIMO посылает фрейм множеству получателей, а не одному. То есть точка доступа с 4 антеннами может отправить один поток на 3 пользовательских устройства в один момент времени.


    Радиообследование


    Напоминаю, делали мы его, когда была готова только часть конструкций:


    Вот прямо так, на скотче тестируем

    Не было возможности обследовать верхнюю трибуну из-за отсутствия лебедки и крана. Точнее, они были, но подобраться под кровлю не удавалось. Пришлось проводить обследование на нижней трибуне и делать проекцию на верхнюю трибуну.



    Очень сложно было определиться с расстоянием от антенны на кране до трибуны в вертикали. Мы измеряли расстояние лазером. У оператора крана не работала рация, приходилось кричать и использовать жесты. Процесс был долгий. Мы двигали люльку крана в течение дня, чтобы обследовать четверть, после мы проецировали на верхнюю трибуну результаты.



    На люльку крепится измеряющее оборудование, а затем…



    Она поднимается…



    И изображает кусок кровли.

    Когда кровля была частично готова, вызывали высотников для проверки результата. Для них мы проводили инструктаж, давали им рации. В общем, быстро учили их делать процедуру, которую не могли сделать сами без допусков. Таким образом, провели проверку результатов радиообследования и перенесения проекции. Как мы поняли, что если наклон трибуны и верхней, и нижней одинаков, то результаты измерения будут совпадать — и эта теория подтвердилась.

    Получились вот такие схемы:


    Трибуны


    Мембрана


    Вид в разрезе

    Иностранный опыт


    Cisco Wi-Fi используется не только в Краснодаре. Этими системами снабжаются американские стадионы. Конкретно по технической части наработанный опыт есть. Куда интереснее заказчику было посмотреть на финансовые и практические результаты внедрения такой инфраструктуры. Наверное, один из лучших примеров – внедрение системы Connected Stadium на стадионе CONSOL Energy Center (для футбольной команды НХЛ «Питтсбург Пингвинз»). Там также был HD Wi-Fi, множество экранов по типу вот таких:



    И полиэкраны, заметные с трибун. Так вот, количество рекламодателей удвоилось, а спонсорские поступления возросли втрое. Бренд стадиона стал более узнаваем и запоминающимся. 80% зрителей сохранили контент, который они смотрели на стадионе, ретранслировав его в социальные сети.

    Следующие шаги


    Стадион достроен. По нашей подсистеме – сейчас мы реализуем систему вещания видео трафика через Wi-Fi для специального мобильного приложения. Особенность в том, что данные передаются на устройства при помощи multicast. Применение вещания потокового видео через multicast-рассылку значительно снижает нагрузку на каналы связи, ресурсы радиосреды и ресурсы сетевого оборудования. Данный эффект достигается за счет того, что данные от источника передаются не индивидуально каждому получателю (unicast), что плодит копии однообразного трафика, а в том, что источник посылает единственный экземпляр данных по общему маршруту тем получателям, кто подписался на рассылку. Преимущество этого подхода: добавление новых пользователей не влечет за собой необходимость увеличения пропускной способности сети по общему маршруту до потребителей услуги. Соответственно, снижается нагрузка и на промежуточное оборудование.

    Отвечу на вопросы в комментариях или по почте 2710@croc.ru
    КРОК
    152,00
    №1 по ИТ-услугам в России
    Поделиться публикацией

    Комментарии 17

      +2
      на стадионе CONSOL Energy Center (для футбольной команды НХЛ «Питтсбург Пингвинз»)

      НХЛ — это национальная хоккейная лига, не футбольная.
      Футбольная команда называется «Питтсбург Пауэр».
      А на фото у вас, сколько можно понять, Эксел Энерджи-центр — домашняя арена команды Minnesota Wild.
        +4
        Ну в итоге ошибка только в виде спорта? Как-то совсем уж вы критично. Про фото там чётко сказано «по типу вот таких». То есть, автор просто не нашёл фото экранов со стадиона Пингвинов.
        0
        Как я понял, SSID по всему стадиону один?
          0
          Нет, их несколько:
          1) Для всех зрителей
          2) для VIP
          3) для VVIP
          4) система СКУД
          0
          Именно продукты Cisco согласовывал заказчик?
            0
            Если вы про процедуру согласования — то она подразумевает, что все 50 подсистем будут нормально работать вместе, решать задачи и соответствовать нормам и стандартам. В рамках этого согласовывается все, включая места монтажа, тип крепления, радиополосу, мощность и конкретное железо. Если же вы про то, почему выбор пал именно на Cisco — то их система наиболее соответствовала требованиям заказчика.
              0
              Работая в проектной организации, я представляю как работает процесс согласования. Либо заказчик «продавливает» решение определенного производителя, либо проектировщик, либо оборудование подбирается исходя из проекта.
              Как вы понимаете, последнее случается редко, очень редко.
              Рассматривали ли Вы альтернативы от других производителей?
              0
              Заказчику ещё в начале строительства (2 года назад) все мозги проклевали циской. Он ни про что другое и не думал.
                0
                Этот стадион строит г-н Галицкий, у него и в Тандере в се ЦОДы на cisco.
                  0
                  Это наш Краснодарский колизей на Восточнокругликовском?

                    0
                    Ну да, он!
                0
                Будет ли страшен такому решению программный wi-fi jammer? По неподтверждённой информации 802.11 ac научили распознавать левые пакеты, но интересно, как дело обстоит при такой масштабной архитектуре?

                  0
                  Архитектура нашей беспроводной сети достаточно хорошо защищена от подобного вида так. Конечно полностью защититься от применения глушилок, особенно мощных широкополосных генераторов помех, невозможно. Для защиты от подавления беспроводной сети шумовыми помехами призвана помочь технология Cisco CleanAir. В каждую точку доступа интегрирован аппаратный анализатор спектра, что позволяет определить наличие источника помехи, классифицировать его и перестроить точку доступа на работу в другом канале, не подверженном воздействию jammer'a. Для дектирования DoS-атак менеджмент фреймами, например de-authentication или dis-association, применяется система предотвращения вторжений в беспроводную сеть Cisco WIPS на базе системы мобильных сервисов Cisco MSE.
                  0
                  Желаю, чтобы сразу все заработало как и планируется. А то на Открытие Арена в первые месяцы звук был ужасен
                    +1
                    MU MIMO — это не совсем то, о чём в статье. Современные точки поддерживают 2-3 spatial stream, а клиенты — один или два. Сейчас точка общается с одним клиентом в один момент времени. Поэтому, если клиент (смартфон) поддерживает только один поток (имеет радио 1x1:1), а точка — три (3x3:3), то два потока стреляют в никуда. Таким образом Multi User MIMO предполагает возможность посылки нескольких фреймов нескольким клиентам по нескольким потокам одновременно. А не одного фрейма нескольким клиентам, как написано.
                      0
                      1) Скажите, а телефоны не будут садиться от такого зашумленного радио-эфира гораздо быстрее? Точнее, насколько быстрее будут садиться телефоны, когда вокруг него вещают по 1000 других телефонных аппаратов с WiFi во все стороны?
                      Ведь это в любом случае оказывает друг на друга влиятие и устройствам WiFi в телефонах нужно правильно отфильтровывать то, что было отправлено им и не им.

                      2) А предусмотрены ли под стульями — зарядки для телефонов? Ведь если смотреть онлайн-стрим с трибуны, то от онлайн-трансляций батарейка сядет примерно ну часа за 2, и под конец матча у всех аппараты тухнут, все [s]молча[/s] слушают, что происходит на поле…
                        0
                        Эмм, а с multicast через WiFi на андроидах, вроде бы, есть проблемы — его надо (было?) включать явно, на уровне перепрошивки. Или я не прав?

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое