Космический ЦОД. Подводим итоги эксперимента

    Друзья, в День космонавтики наш маленький сервер успешно слетал в стратосферу! Во время полёта сервер на борту стратостата раздавал интернет, снимал и передавал видео и данные телеметрии на землю. И нам не терпится рассказать, как всё прошло и какие были неожиданности (ну а как без них?).



    Немного предыстории и полезных ссылок, для тех, кто всё пропустил:

    1. Пост о том, как согласовать полёт зонда в стратосферу (с чем мы столкнулись на практике при запуске).
    2. Как мы делали «железную часть» проекта — для любителей гик-порно, с подробностями и кодом.
    3. Сайт проекта, на котором можно было следить за движением зонда и телеметрией в режиме реального времени.
    4. Сравнение систем космической связи, которые мы использовали в проекте.
    5. Текстовая трансляция запуска сервера в стратосферу.

    Поскольку мы очень хотели запустить в День космонавтики и получили официальное разрешение на использование воздушного пространства именно на этот день, то приходилось подстраиваться под погоду. И чтобы ветер не вынес стратостат за границы разрешённой зоны, нам пришлось ограничить высоту подъёма — вместо 30 км поднялись на 22,7. Но это уже стратосфера, и примерно вдвое выше, чем сегодня летают пассажирские самолёты.

    Интернет-связь со стратостатом была достаточно стабильна на протяжении всего полета. Ваши сообщения принимались и выводились на дисплей, а возникающие паузы мы заполняли цитатами из переговоров Гагарина с Землёй 58 лет назад :)



    Согласно телеметрии, за бортом было -60 0С, а внутри гермобокса доходило до -22 0С, но всё работало стабильно.

    График изменения температуры внутри (здесь и дальше по шкале Х отложены десятки минут):



    На борту был установлен ещё один экспериментальный цифровой высокоскоростной передатчик. Это наша попытка сделать высокоскоростной Wi-Fi, и пока мы не готовы раскрывать подробности его конструкции. С помощью этого передатчика мы хотели транслировать видео в онлайн-режиме. И действительно, несмотря на облачность, видеосигнал с GoPro на борту стратостата принимался нами на дистанции до 30 км. Но приняв в нашем ЦУПе видео, передать его в интернет по земле не удалось… Сейчас расскажем, почему.

    Видеозаписи полёта с бортовых камер мы скоро покажем, а пока можно посмотреть онлайн-запись с борта зонда


    Нас поджидала главная неожиданность: очень плохая работа 4G-модема в нашем ЦУПе, из-за чего передавать видео в онлайне не получилось. Хотя зонд успешно получал и передавал сообщения через интернет, они принимались сервером — мы получали от него служебные подтверждения и видели их отображение на экране через видео-трансляцию. У нас были опасения насчёт связи со спутниками и передачи сигнала на Землю, но никто не ожидал такой засады, что именно мобильный 4G-интернет окажется слабым звеном.



    И не в какой-то глуши, а недалеко от Переславля-Залесского, в местности, которая, по картам МТС и «МегаФона», хорошо покрыта 4G. В нашем мобильном ЦУПе стоял навороченный роутер Kroks ap-205m1-4gx2h, в который вставляются две SIM-карты, и который должен был суммировать по ним трафик, чтобы мы могли полноценно транслировать видео в интернет. Мы даже установили внешние панельные антенны с усилением в 18 дБ. Но работала эта железка отвратительно. Служба поддержки Kroks смогла посоветовать нам только залить свежую прошивку, но это не помогло, и скорость работы двух 4G-симок оказалась гораздо хуже, чем скорость работы одной симки в обычном USB-модеме. Так что, если вы можете подсказать, какой железкой в следующий раз лучше организовать передачу данных с суммированием 4G-каналов, напишите в комментариях.



    Наши расчёты траектории оказались довольно точными, сюрпризов не возникло. Нам повезло, стратостат приземлился на мягкий торфяной грунт в 10 метрах от водоёма и в 70 км от места запуска. График расстояния по GPS:



    А так менялась вертикальная скорость полёта стратостата:



    Правда, один из двух дисплеев посадки не пережил (да, их было два, как и камер GoPro; дублирование — это хороший способ повышения надёжности), на видео заметно, как он пошёл полосами и выключился. Но всё остальное оборудование перенесло посадку без проблем.



    Выводы по проведенному эксперименту и по качеству интернет связи.


    Схема работы сервера выглядела следующим образом: на лендинговой странице вы могли через форму отправлять на сервер текстовые сообщения. Они по HTTP-протоколу через 2 независимые системы спутниковой связи передавались на подвешенный под стратостатом компьютер, а тот передавал эти данные обратно на Землю, но не тем же путём через спутник, а по радиоканалу. Таким образом мы понимали, что сервер вообще получает данные, и что он может раздавать интернет из стратосферы. На том же лендинге отображался график полёта стратостата, и на нём отмечались точки получения каждого вашего сообщения. То есть вы могли в реальном времени отслеживать маршрут и высоту «заоблачного сервера».



    Всего наши участники отправили с лендинговой страницы 166 сообщений, из которых было успешно доставлено на сервер 125 (75 %). Диапазон задержек между отправкой и получением получился очень большой, от 0 до 59 секунд (средняя задержка 32 секунды).

    Какой-то заметной корреляции между высотой и уровнем задержки мы не нашли:



    Из этого графика видно, что уровень задержки никак не зависел и от расстояния от места запуска, то есть ваши сообщения мы честно передавали через спутники, а не с земли:



    Основной вывод из нашего эксперимента, что интернет сигнал со стратостатов мы можем получать и раздавать, и такая схема имеет право на существование.

    Как вы помните, мы обещали сравнить связь Iridium и GlobalStar (модем «Гонца» мы так и не получили вовремя). Стабильность их работы в наших широтах оказалась практически одинаковой. Выше облаков приём довольно стабильный. Очень жаль, что представители отечественной системы «Гонец» что-то там проверяли, готовили, но так и не смогли ничего предоставить на испытания.

    Планы на будущее


    Теперь, мы планируем следующий проект, ещё более сложный. Сейчас прорабатываем разные идеи, например, не организовать ли нам высокоскоростную лазерную связь между двумя стратостатами, чтобы использовать их в качестве ретрансляторов. В дальнейшем хотим увеличить количество точек доступа и обеспечить стабильную скорость интернет-соединения до 1 Мбит/сек в радиусе 100-150 км, чтобы в следующих запусках проблем с передачей онлайн видео в интернет больше не возникало.
    RUVDS.com
    920,00
    RUVDS – хостинг VDS/VPS серверов
    Поделиться публикацией

    Похожие публикации

    Комментарии 30

      –3
      В два раза выше обычного самолёта. Скорость относительно Земли — пренебрежима. А где тут космос-то? От 80 до 120км, плюс первая космическая, не?
        +3
        Если речь идет о названии проекта «Космический ЦОД». Мы назвали так потому, что стратосферу часто называют «предкосмосом» из-за того, что условия в ней довольно близки к космическим. К примеру, в стратосфере испытывают оборудование и снаряжение, которое предназначено для работы в космосе. Да и лететь мы собирались на высоту 30 км, а не 22.
          –1
          Предкосмический предЦОД.
          Крайне сомнительный маркетинг, примерно как сети 5Ge у AT&T.
        +3
        Интересный проект, и пускай это сейчас игрушки больших мальчиков, но кто же не любит игрушки. Надеюсь что вы успешно справитесь с бюрократическими и техническими проектами и мы увидим еще не один интересный эксперимент а может и коммерческие результаты.
          +2
          У ребят готовая платформа для испытания кубосатов (думаю до 6ти U, включительно могут потянуть). 22 км это чуть меньше 5% атмосферного давления ( почти космический вакуум), -50 по цельсию, и приличное космическое и солнечное излучение.
          Как претест для КА вполне сгодится.
            +1
            5% атмосферного давления ( почти космический вакуум), -50 по цельсию
            Всё-таки, как я понимаю, в этой части будет сильное отличие от космоса, параметры теплопереноса совсем другие.
              0
              Длина свободного пробега молекул порядка единиц микрометров — это очень «грубый» вакуум. С точки зрения самого давления сойдёт, но, например, с точки зрения разрядов в высоковольтной электронике при пониженном давлении всё самое интересное начинается не выше единиц паскалей, сколько я помню… и заканчивается ещё на пяток порядков ниже, когда концентрация становится недостаточной для опасных пробоев.
            0
            А что за марка дисплея у вас? Почему он в негативе показывает – что бы лучше или жк экран такой?
              0
              Почему он в негативе показывает – что бы лучше
              Да

              А что за марка дисплея у вас?
              Солнце очень яркое на высоте и обычные дисплеи не видно. Мы использовали мониторы с самой высокой доступной яркостью один на 2200 nit, второй 1000.
                0
                Самое то для e-link дисплеев)
                  0
                  при -50 боюсь обновляться час e-ink будет…
              0
              Так что, если вы можете подсказать, какой железкой в следующий раз лучше организовать передачу данных с суммированием 4G-каналов, напишите в комментариях.


              Никакой. Особенность бондинга 4G в том, что суммирование будет происходить с отрицательным приростом (это большая-пребольшая математическая проблема, над которой работают много фирм) и скорость работы от двух симкарт будет ниже самой низкой скорости одной из симок. Таковы реалии. Так что только от одной сети.

              Объяснение простое, что предсказать получение/отправку пакетов по сети не представляется возможным, от этого идёт падение.
                0
                А если взять 2-3 модема и направить их в разные стороны чтобы с разными вышками работали (понятно, не везде более одной видно будет)
                  0
                  Проблема не в количестве вышек или связи, а в непредсказуемой латентности
                  0
                  А если взять симки от двух разных операторов, и объединить трафик через MPTCP?
                  Apple использует MPTCP для объединения каналов WiFi и 4G, а там латентность точно разная.
                  support.apple.com/ru-ru/HT201373
                    0

                    Попробуйте

                  0
                  Жаль с «Гонцом» не выгорело, но надеюсь к следующим экспериментам вышеназванные представители отечественной системы «допроверяют» и «доготовят» все, что требуется. В их же интересах проверить на такой высоте ( с такой температурой и таким давлением) работоспособность их модема.
                  С Iridium, я думаю «Гонец» тягаться не сможет, а с GlobalStar сравнить интересно, т.к. у «Гонец» и у GlobalStar станция сопряжения в Москве, но у GlobalStar 24 работаюших КА в группировке, а у Гонца осталось только 8.
                    +1
                    Как отработал радиомодем LoRa?
                      +2
                      LoRa отработал отлично. По нему мы получали всю телеметрию на расстоянии 70 км и никаких проблем не было.
                        0
                        Какие антенны использовали на земле и на зонде?
                          0
                          На земле волновой канал, на страстотате диполь
                      +2
                      навороченный роутер Kroks ap-205m1-4gx2h, в который вставляются две SIM-карты, и который должен был суммировать по ним трафик, чтобы мы могли полноценно транслировать видео в интернет

                      Вас обманули. Производитель Kroks называет суммированием просто балансировку на уровне NAT. То есть, если у вас будет 10 TCP подключений, 5 пойдет через один модем, 5 через другой. Это позволит суммировать канал в протоколах вроде BitTorrent но совершенно бесполезно для видеотрансляций, так как видеопоток у вас работает одному TCP подключению. Соответственно он происходит только по одному из каналов.

                      Для полноценного суммирования нужно специальное оборудование и суммирующий сервер, который объединяет несколько физических каналов в один. Например, устройства teradek и подписка на их сервис https://teradek.com/. К сожалению самый дешевый вариант VIDIU GO стоит 3000$.
                        0
                        а если делить картинку на 2-4 части, стримить отдельные потоки и на земле собирать и перекодировать?
                          0
                          В любом случае нужно отдельно мониторить доступность каждого модема и отдельно задержки, чтобы не получалось так, что часть картинки приходит с двойным опозданием по сравнению с другой частью. Это очень сложная задача и нет смысла реализовывать ее только для одного протокола. Намного логичнее сделать IP тоннель, в котором все это будет делаться незаметно а внутри него уже гонять любой протокол: HTTP, RTMP и т.д.
                        0
                        GPS-треком полёта поделитесь (gpx, klm, plt)? Хочу наложить на трек прогноза, сравнить его с реальностью.
                        на расстоянии 70 км

                        На какой высоте аппарата была получена последняя отметка координат и как быстро вы по ним нашли место падения? Это к вопросу управляемой посадки и возможности её осуществления на большом расстоянии от точки приземления.
                          0
                          Последняя координата полученная по радио была на высоте 690 метров, определили точное место приземления по спутниковому каналу с точностью до метра. Нашли быстро.
                          0
                          А вы просто взяли и запустили или как-то выбирали место (согласовывали), чтоб случайно какой-нибудь из самолетов не зацепил?
                          0
                          И чтобы ветер не вынес стратостат за границы разрешённой зоны, нам пришлось ограничить высоту подъёма — вместо 30 км поднялись на 22,7
                          А что было бы, если бы вынес? Неужели стали бы поднимать истребители и сбивать?)
                          • НЛО прилетело и опубликовало эту надпись здесь

                            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                            Самое читаемое