Тест 10-гигабитной подвижной связи V2X на автомобиль в диапазоне 70-80 ГГц — и да, это работает

В 2020 году американский регулятор FCC предложил расширить действие связи 70/80 ГГц на самолеты и суда, признав за этим диапазоном большой потенциал использования в транспортной отрасли. Здесь ремарка про суда и самолеты: выглядит нелогичным, что в числе транспортных средств (ТС) в документе FCC не упомянуты поезда, автобусы и трамваи, в которых тоже передвигается множество пассажиров со смартфонами, планшетами и ноутбуками.

Видимо в FCC вспомнили проект Aquilla (2016) от Facebook, в котором гигантские дроны на солнечных батареях с высоты 18 - 27 км должны были раздавать доступ к Интернету с использованием диапазона 70/80 ГГц для клиентов на земле и в воздухе. Проект Aquilla, как известно, не «взлетел», и Facebook закрыла его в 2018 году. Но идея осталась и идея интересная, здесь новаторства у Facebook не отнять.

Петербургская компания ДОК внимательно следила за достижениями Facebook Connectivity Lab в проекте Aquilla в части радиомостов. Например, за тестированием 20- гигабитного моста 70-80 ГГц на 8 миль (Facebook Connectivity Lab Demonstrates 20 Gbps Wireless Broadband Over An 8 Mile Area), сравнивая с возможностями радиомостов собственной разработки 70-80 ГГц, среди которых есть внедрения у российских заказчиков на 15, 16 и даже 19.5 км, а наиболее высокопроизводительный радиомост показывает пропускную способность 60 Гбит/c на 11 км.

— А давайте сами попробуем, насколько хорошо радиосвязь 70/80 ГГц будет работать на подвижных объектах. Так команда ДОК решила поставить свой эксперимент с подвижной связью на специально доработанной для подвижных объектов системе связи PPC-10G 10 Гбит/с 70-80 ГГц.

Учитывая сложность подготовки и проведения экспериментов с участием кораблей, воздушных судов и высотных дронов, систему связи PPC-10G 10 Гбит/с 70-80 ГГц было решено попробовать на автомобилях. Этот тип связи называется V2X (Vehicle to Everything), «автомобиль ко всему» и позиционируется как особенно перспективный на транспорте, в том числе для беспилотных автомобилей и рельсового транспорта.

По отзывам инженеров, идея подвижной связи 70/80 ГГц (71-76/81-86 ГГц) выглядела сложной ввиду традиционной практики использования антенн, формирующих довольно узкий радиолуч таких РРС — даже при установке на неподвижных опорах (вышках, крышах) антенны надо точно юстировать. Но было решено пробовать, используя антенны рупорного типа на ТС.

В 2021 году насчитывается уже 18 лет с момента, когда FCC в США впервые выделила диапазон частот 71-76/81-86 ГГц (70-80 ГГц) для фиксированной беспроводной связи. Почти сразу этому примеру последовали регуляторы в других странах, включая Россию. Радиомосты (радиорелейные станции, РРС) емкостью 1-10 Гбит/c быстро стали популярным видом фиксированной беспроводной связи.

Проверка работы подвижной связи 70-80 ГГц с помощью автомобиля

Идею использования радиомостов 71-76/81-86 ГГц для 10-гигабитной подвижной связи на транспорте было решено реализовать с помощью антенн с разной диаграммой направленности. Точнее — для неподвижных базовых станций использовать РРС (радиорелейные станции) с узконаправленными параболическими антеннами, а на транспортном средстве установить РРС с миниатюрными рупорными антеннами с более широкой диаграммой направленности.

По типам оборудования — были задействованы система радиорелейной связи РРС-10G, доработанная для подвижной связи V2X, легковой автомобиль и ровный участок дороги. Автомобиль может имитировать пассажирский транспорт (автобус, скоростной трамвай и т.п.), и такой эксперимент позволяет проверить на практике качество связи при выбранном варианте антенн и влияние типа модуляции сигнала на устойчивость связи.

Основной эксперимент по подвижной связи 70-80 ГГц V2X на базе легкового автомобиля проводился на взлетно-посадочной полосе (ВПП) аэродрома «Горелово» на южной окраине Санкт-Петербурга. Для эксперимента с подвижной связью администрацией аэродрома было разрешено использовать половину от общей длины ВПП (1/2 от 2.3 км).

На ВПП на расстоянии 1.14 км друг от друга были размещены две базовые станции BS1 и BS2 модели РРС-10G-E-30 с параболическими антеннами диаметром 30 см. Автомобиль двигался между этими базовыми станциями по центру полосы. На рейлингах крыши автомобиля были установлены приемопередатчики РРС-10G диапазона 71-76/81-86 ГГц с миниатюрными рупорными антеннами, направленными вперед и назад по ходу автомобиля. Таким образом моделировалась ситуация, когда такие приемопередатчики установлены в голове и хвосте условного транспортного средства (ТС) для беспроводной связи с базовыми станциями в прямом и обратном направлении.

К каждой базовой станции были подведены кабели питания от переносного генератора, а также кабели Ethernet и SNMP-мониторинга. Связь между базовыми станциями BS1 и BS2 осуществлялась по дополнительному стационарному радиомосту 10 Гбит/c. Предварительно был проведен расчет всех параметров радио в зависимости от расположения автомобиля между базовыми точками с помощью программы на базе калькулятора энергетического запаса линии компании ДОК. С помощью данного ПО можно просчитать уровень принимаемого сигнала (RSL, Receiver Signal Level) и соответствующую пропускную способность радиоканала.

Ниже короткое видео на 12 сек про рабочий момент с испытаний:

Были выполнены три эксперимента, каждый со своей серией заездов:

В первом эксперименте были задействованы два независимых радиоканала, один с использованием антенны, направленной вперед по ходу движения автомобиля, другой — с антенной в обратном направлении. В этом эксперименте скорость передачи данных, количество потерянных пакетов и ошибок измерялись с помощью анализаторов трафика Bercut-ETX.

Подключение тестеров выполнялось по типовой схеме из руководства по эксплуатации приборов. В этом случае один из тестеров работал в режиме генератора-анализатора. Генератор создал тестовый трафик с MAC и IP-адресом второго тестера.

Тестовый поток отправлялся в тестируемую сеть. Трафик через беспроводной канал и схему маршрутизации получал второй тестер, который работал в режиме шлейфа. Тестовый поток «разворачивался» и тестовый трафик с MAC- и IP-адресами первого тестера снова отправлялся в сеть. Трафик опять передавался через беспроводной канал и схему маршрутизации. Первый тестер получал данные, в которых проверял наличие ошибок и потерянных пакетов. Результаты потерь для разного размера пакетов приведены в таблице по параметрам «Frame-размер пакета Rate-нагрузка канала Loss-потери пакетов».

Результаты по трафику download/upload представлены на графиках ниже. Скорость передачи данных через передний модуль (Dwlnk1/Uplnk1) – голубая линия, через задний (Dwlnk2/Uplnk2) – жёлтая, серый график (Dwlnk/Uplnk Total) — результат математической суммы одного и второго канала. В данном эксперименте трафик от двух радиоканалов не складывался, независимо измерялась скорость передачи трафика в обоих радиоканалах в режиме полного дуплекса.

Результаты по трафику download/upload представлены на графиках. Скорость передачи данных через передний модуль (Dwlnk1/Uplnk1) – голубая линия, через задний (Dwlnk2/Uplnk2) – жёлтая, серый график (Dwlnk/Uplnk Total) — результат математической суммы одного и второго канала. В данном эксперименте трафик от двух радиоканалов не складывался, независимо измерялась скорость передачи трафика в обоих радиоканалах в режиме полного дуплекса.

Во втором эксперименте измерялась пропускная способность при передаче файлов большого объема между серверами по радиоканалу на движущийся автомобиль (концепция V2X). К примеру, такая связь важна для беспилотных автомобилей, позволяя в реальном времени вносить изменения в программу движения из-за изменившейся дорожной обстановки.

В качестве серверов использовались встраиваемые промышленные компьютеры Cincoze DS-1202. Для обеспечения суммарной нагрузки в 20 Гбит/сек "на систему связи" — потребовалось развернуть две пары серверов — одна пара серверов использовалась для радиосвязи вперед по ходу автомобиля и вторая пара серверов для трафика в обратную сторону (назад). Два пары серверов оказались необходимы для полной нагрузки в 10 Гбит/сек каждого из двух маршрутов беспроводной передачи данных.

Сложной задачей оказалось отдавать файлы с сервера в беспроводной канал с такой скоростью, чтобы выбрать всю пропускную способность 10 Гбит/c каждого из радиоканалов. С этой целью циклически выгружали файл большого объема из RAM-диска, чтобы обеспечить нужную скорость передачи.

На стороне BS1 в неподвижном автомобиле разместили два сервера передачи данных, оборудование маршрутизации фирмы Juniper, а также Mikrotik для обеспечения связи с базой BS2. В движущемся автомобиле было установлено также 2 сервера, каждый со скоростью передачи 10 Гбит/сек. Распределение и маршрутизация трафика серверов Cincoze выполнялась роутерами Juniper. Передача трафика происходила по двум физическим маршрутам (подчеркнутым выделен участок беспроводного соединения с автомобилем):

1. Первый маршрут по ходу движения: Server 1&3 -> Juniper1 -> E-band Radio1 ->
   E-band Radio2 ->Mikrotik1 ->Juniper2 -> Server 2&4.

2. Второй маршрут против хода автомобиля: Server 1&3 -> Juniper1 ->
   E-band Radio3 -> E-band Radio4 ->Mikrotik2 ->E-band Radiofix2 ->E-band Radiofix1->Juniper2 -> Server 2&4.

Для второго эксперимента вместо тестер-анализаторов Беркут-ETX использовались серверы Cincoze (серверы 1 и 2). Эти места помечены жёлтым пунктиром на блок-схемах.

При движении автомобиля проводились измерения общей пропускной способности построенной системы с учетом маршрутизации и суммирования траффика между серверами в автомобиле и неподвижными серверами. Использовалось специальное firmware и собственная утилита компании ДОК для записи состояния радиоканала во время движения автомобиля с опросом радиомодулей 10 раз секунду.

На следующем рисунке графики одного из заездов второго эксперимента, полученные с помощью собственной утилиты компании ДОК, уровень сигнала на входе приемника и трафик в направлении движения автомобиля показаны синим цветом, в обратном направлении – красным.

Пояснение к графикам: на верхней части графика (RSL) фиксировался уровень сигнала на входе приемника, что позволяет судить о качестве соединения. Стабильность соединения в обратном направлении (RSL2) была лучше, в прямом направлении (RSL1) —хуже, с провалом (38 секунда) и большей амплитудой изменения сигнала.

Объяснение графика: данный график покрывает первые 100 м пути от одной БС к другой. Автомобиль движется от базовой станции, которая позади ТС на расстоянии менее 100 м, к той, которая впереди на расстоянии около 1 км. Поэтому сигнал в направлении «назад» к ближайшей БС лучше по параметрам.

На нижнем графике (DownStream) показан трафик данных. Ситуация аналогичная, только ступени более крупные, поскольку при недостаточном уровне входного сигнала (RSL) происходит автоматическое переключение профиля модуляции с QAM-128 на более простые типы модуляции (QAM-64, QAM-32 и т.д.) для сохранения соединения.

Дополнительная иллюстрация качества соединения подвижной связи приведена на скриншоте с портов Mikrotik.

Пояснение к скорости передачи на Mikrotik: в левой части Mikrotik1 маршрутизирует физический маршрут вперед, фиксируется мгновенное значение скорости передачи 5,4 Гбит/с. В правой части Mikrotik2 маршрутизирует радиоканал назад, фиксируется мгновенное значение скорости передачи 9,8 Гбит/с.

Также приведен график с диспетчера задач Windows по загрузке канала при передаче файлов. Для наглядности показан график, полученный при циклической передаче файла размером 10 Гбайт, размещенного в оперативной памяти (RAM-disk). Провалы в передаче трафика, возможно, объясняются особенностями работы операционной системы при операциях окончания записи, начала чтения файла.

Ниже, исключительно для цели сравнения — результат аналогичного контрольного эксперимента, когда те же самые серверы были соединены коротким оптическим патч-кордом на столе. При этом ни системы маршрутизации, ни радиоканалы на автомобиле не использовались.

Пояснение к графикам перекачки файлов: во время эксперимента не было возможности обеспечить трафик обоих 10-гигабитных каналов с помощью одной пары серверов для получения суммарного потока в 20 Гбит/с. Поскольку на каждом сервере генерируется поток данных с одним IP адресом и одним номером логического порта, алгоритм балансировки ECMP (Equal cost MultiPath) трафика воспринимает такие данные как один поток и передаёт его только через один маршрут, а значит через один физический канал. Поэтому максимальная скорость передачи данных для одного сервера не превышала 10 Гбит/c.

При передаче данных с двух серверов, с разными IP адресами, трафик распределяется по двум каналам, в данном эксперименте — вперед и назад по ходу автомобиля. При этом обеспечивается максимальная пропускная способность системы связи в 20 Гбит/с. В случае обрыва одного из каналов, весь трафик переключается на другой канал.

В третьем эксперименте, аналогично второму, между серверами измерялся трафик при загрузке канала передачи данных с помощью низкоуровневой утилиты Iperf во время движения.

В зависимости от типа оборудования для формирования трафика, получены следующие результаты:

• При использовании анализаторов Bercut-ETX, (Frame losses, BER-test) независимо от размера пакетов данных скорость передачи 10 Гбит/с, потери пакетов не выше 0,3% для стандартных пакетов и не выше 1,3 % для больших пакетов данных.

• При использовании утилиты IPerf скорость передачи тестового потока данных зафиксирована на уровне 9,35 Гбит/сек.

• При использовании передачи файлов данных с одного RAM-disk на другой RAM-disk сервера (Ethernet statistics) скорость соединения в среднем была у отметки 7 Гбит/с на одной паре серверов и 9,6 Гбит/с на второй паре серверов. Значение трафика 7 Гбит/с объясняется тем, что БС в этом случае была расположена на значительном расстоянии от автомобиля (радиоканал в направлении «вперед»), а БС со скоростью обмена 9,6 Гбит/с — близко к автомобилю (радиоканал в направлении «назад»).

  В эксперименте №3 для перекачки файлов использовался TCP/IP протокол. При этом, в экспериментах №1 и №2 был задействован UDP-протокол, Протокол UDP не снижает скорость даже при единичных потерях пакетов, а протокол TCP/IP чувствителен к неравномерностям пропускной способности канала.

Как работала система V2X 10 Гбит/с на реальной автодороге

Кроме экспериментов на ВВП аэродрома Горелово, заезды проводились и на ровном участке автодороги в пригороде Санкт-Петербурга. Тестировались максимальная дистанция передачи и пропускная способность канала связи при высокой скорости движения автомобиля. Результаты оказались очень оптимистичны, связь 10 Гбит/c была зафиксирована в 500 м от базовой станции, а общая дальность связи при условии прямой видимости — не менее 2 км.

Об этом эксперименте был снят ролик, доступный на YouTube.

Немного о преимуществах диапазона 70-80 ГГц (E-band) для фиксированной и подвижной связи

Есть три причины популярности частот 70-80 ГГц в телекоме — большой участок спектра с разнесением частот (что важно для высокой пропускной способности), локальный минимум по ослаблению радиоволн в атмосфере и так называемое упрощенное лицензирование (в англоязычных странах используется термин light licensing).

• Большая пропускная способность. Для разнесения частот передатчика и приемника в E-band используются разные части выделенного спектра 71-76/81-86 ГГц. К примеру, если один передатчик занимает 2 ГГц в полосе 71-76 ГГц, то приемнику отводят аналогичную полосу 2 ГГц в частотном спектре 81-86 ГГц (у второго приемопередатчика — наоборот). Благодаря такому разнесению частот можно на одних и тех же точках устанавливать параллельно до 4-х 10-гигабитных радиомостов с полосами по 2 ГГц каждый, одновременно применяя вертикальную и горизонтальную поляризацию сигнала. Примером магистрального канала фиксированной связи является радиомост емкостью 4х10 Гбит/с через Енисей (дальность 11 км) для Норильского промышленного района. О нем была подробная публикация на Хабре.

• Локальный минимум ослабления в атмосфере. Благодаря локальному минимуму в ослаблении радиосигнала в частотном спектре миллиметровых волн, радиомосты диапазона 71-76/81-86 ГГц обладают дальностью, значительно превышающей дальность связи на частоте 60 ГГц.
  
  В отличие от диапазона 60 ГГц (V-band) со значительным ослаблением сигнала от молекул атмосферного кислорода, радиосигнал в диапазоне 70-80 ГГц подвержен ослаблению только от дождевых осадков. Поэтому реальная дальность работы радиомоста 70-80 ГГц зависит от климатической зоны, где это оборудование установлено. В пустыне или на Крайнем Севере, где дождей почти не бывает, дальность радиомостов 70-80 ГГц достигает 15-20 км. Дальность в условиях умеренного европейского климата и российской средней полосы — до 4-7 км, в южных странах с сильными ливнями — до 2-4 км. Снег, дым, песчаные бури и туман радиопрозрачны для радиомостов диапазона 70-80 ГГц.

• Уведомительное лицензирование. FCC изначально заложила для диапазона 71-76/81-86 ГГц революционную идею об упрощенном лицензировании (light licensing) по географическому принципу: «кто первый установил РРС на конкретных точках, тому и дадим лицензию». Роскомнадзор в России установил такую же простую процедуру лицензирования радиорелейных линий 71-76/81-86 ГГц. Более того, она проводится в электронном виде и абсолютно бесплатно (см. статью Как зарегистрировать радиомост 70-80 ГГц в Роскомнадзоре).

Выводы

Эксперимент с организацией подвижной связи V2X («автомобиль на все») позволил доказать работоспособность идеи:

• Для частот 71-76/81-86 ГГц показана практическая возможность передачи потока данных на движущееся транспортное средство с пропускной способностью до
  10 Гбит/c.

• Дистанция устойчивой связи в эксперименте на автодороге — до 2.5 км при скорости передачи 2 Гбит/с, причем в тестах на загородной дороге связь 10 Гбит/с была достигнута уже на дистанции около 500 м между ТС и базовой РРС.

Таким образом, идея использования беспроводного оборудования 71-76/81-86 ГГц для подвижной связи признана работоспособной и созданы предпосылки для тестирования на реальных трассах и подвижном составе непосредственно в транспортной отрасли.

На момент написания статьи начато тестирование подвижной связи 10 Гбит/с 70/80 ГГц на линии скоростного трамвая «Чижик» в Санкт-Петербурге. Автор надеется, что с оператором трамвайной линии удастся согласовать публикацию на Хабре и будет отдельная статья по результатам эксперимента.

Спасибо всем, кто дочитал до конца этот сложный материал. Будут вопросы по технике или желание взять радиолинки на тестирование в транспортную организацию — пишите в комментариях.
(English version here, translated from Habr)