NGINX до Марса доведет


    Сравнительные размеры марсоходов. Curiosity — справа

    Ровер Curiosity стал самым совершенным космическим аппратом из когда либо построенных – в его создании приняли участие и наши специалисты. Например детектор нанотепловых нейтронов для определения плотности водорода в атмосфере Марса был создан и построен в институте космических исследований РАН. А публичные сервера с сайтами программы исследования марса работают на написанном в Москве сервере Nginx.

    Еще в ходе планирования миссии по высадке и эксплуатации Curiosity специалисты NASA позаботились о том, чтобы каждый желающий смог увидеть трансляцию с поверхности Марса. У NASA было две задачи — позволить себе большое количество интернет-посетителей и сделать так, чтобы сайт nasa.gov внезапно не рухнул. После некоторых раздумий для этой цели был выбран NGINX.

    «Преимущество сервера заключается в том, что он используется для сайтов с большим количеством трафика. Nginx — это русский сервер, разработанный программистом Игорем Сысоевым. Видео, которое поступает с марсохода, передается через систему космической связи на Землю, а дальше раздается всем желающим с помощью созданного на Nginx кластера», — рассказал генеральный директор нашей портфельной компании Nginx Максим Коновалов.

    Еще на этап проектирования миссии Curiocity специалисты наса привлеки к задаче известную компанию-тестировщика медиа сервисов SOASTA. Их задачей было проверить систему на прочность при нагрузках до 25 гигабитов в секунду. Для этого SOASTA использует распределенную облачную систему способную имитировать миллионы обращений реальных пользователей – именно такой машиной для dos-атак SOASTA тестировала сайт london2012.com которому придётся обрабатывать больше миллиарда обращений во время олимпиады. 25 гигобайт в секунду это не очень много, но достаточно для тестирования систем – реальная нагрузка должна генерировать в 200-300 раз большую полосу.


    Нью-йоркцы смотрят прямую трансляцию посадки на Марс с задержкой всего в 14 минут — это быстрее чем трансляция олимпийских игр из лондона на NBC.

    А теперь подробное описание тестовых систем SOASTA и NASA для марсианской миссии.

    image

    1. Роль источника сигнала играл сервер NASA (Mac Pro стоящий в офисе лаборатории реактивного движения НАСА в Пасадене, Калифорния) раздающий видео в четырех битрейтах (250, 500, 750 и 1,000) на единственный Флеш Медиа Сервер. Выходящий трафик кешировался одним “tier 1″ сервером работающим на Nginx, окруженный сорока серверами “tier 2″ с балансировщиком нагрузки на Nginx и работающим на виртуальном облаке Amazon EC2.
    2. SOASTA генерировала нагрузку на шести облаков Amazon EC2 по всему миру, заливая более 25 Gbps трафика на тестовый сервер в течении 40 минут.
    3. Через 20 минут они отключили 10 серверов (стрелочка номер 1 на скриншоте) что бы увидеть сможет ли облако амазона справиться с возросшей нагрузкой. Это временно снизило количество трафика, который система могла выдавать, но амазоновский балансировщик восполнил «упавшие» сервера и вернулся к скорости 25 Gbps в течении всего 5 минут.
    4. Когда команда тестировщиков уронила уже 20 северов (стрелочка 3), пропускная способность системы упала до 12 Gbps и сервера начали показывать признаки перегрузки. Но балансировщик Амазона снова восполнил потери и вернул систему на исходные 25 Gbps.
    5. В итоге тестовые сервера SOASTA скачали примерно 68Тб видеотрафика (Стрелочка 2) из кэша Nasa за короткий 40-минутный тест.

    По результатам тестов SOASTA не оставалось ничего иного, как признать устойчивость NGINX:

    Нагрузка на основном сервере Флеш Медиа Сервере 1-го уровня кэша остается очень низким по совокупности тестов, мы не должны испытывать никаких проблем с множеством стеков во время прямой трансляции. Тестовые испытания показали полное отсутствие задержек буферизации или падения битрейта.

    Тесты убедительно показывают несомненную способность совокупности стеков выдержать зрительскую нагрузку для трансляции ровера Curiocity.

    Вчера весь мир без задержек и просадок битрейта наблюдал историческую посадку на Марс, которая транслировалась на различные устройства от айфонов в Москве до экранов на Таймс-сквер, так сервер Nginx, пусть и весьма опосредованно, но внес свой вклад в триумф космонавтики, так что все его пользователи могут почувствовать себя причастными к освоению солнечной системы.


    Первый привет с Марса.
    Runa Capital
    41,00
    Компания
    Поделиться публикацией

    Похожие публикации

    Комментарии 40

      +25
      А картинки гуглтранслейт наверное выкинул.
      В оригинале были.
        0
        Ок, подобрал получше :)
          +2
          Наверное имелось ввиду со стрелочками
          image
      +1
      Мне несколько непонятно как NGINX tier1 кэширует потоковое видео. Насколько я помню в какой-то из технологий стриминга видео делилось на индивидуальные кусочки-файлы и уже склеивалось на клиенте. Кто в курсе?
        +1
        Да-да, очень интересно, каким модулем-то видео кешировалось и раздавалось.
          +2
          И конфиги поглядеть заодно:)
            +1
            Я хоть и не смотрел как сделано в данном конкрентном случае, но рискну предположить (раз уж был упомянут Flash Media Server) что вещание идет через HDS (HTTP Dynamic Straming), более или менее приспособленному к вещанию лайва во флэш плеер. Также через FMS можно организовать вещание в HLS (HTTP Live Streaming), эппловский вариант, чуть менее кривой по части формата контейнера, там mpeg ts против flv в HDS.
          +8
          Viva la Игорь!
            +4
            Viva *el Игорь!
            +2
            А где можно посмотреть на это видео?
            • НЛО прилетело и опубликовало эту надпись здесь
                +2
                Я тоже часто ищу везде, кроме первоисточника :)
                0
                После последнего абзаца как-то стало обидно за Марс и Москву, хотя Таймс-сквер вы не обидели…
                  +6
                  Так 25 гигабит или 25 гигОбайт в секунду? ))
                    0
                    Гигабит
                      0
                      поскольку это видео и в посте Gbps то скорее всего гигабит.
                      +1
                      Все это прекрасно, но я думаю что наши инженеры могли внести намного больший вклад.
                        +4
                        Да уж, чуство сопричаности как-то не возникло. Веб-сервер для видео на земле и тот Игорь Сысоев уже делает США. Но статья все равно технически интересная
                          0
                          Один из восьми приборов марсохода (спектрометр для исследования воды) сделан в Роскосмосе и РАН. Ну и наверняка в самом NASA, Boeing и Lockheed Martin куча «наших инженеров».
                            –25
                            Мне лично было бы куда приятнее если на видео был не центр NASA с людьми ведущими себя как куры, а наш ЦУП.
                              +24
                              Эти люди, на секундочку, посадили 2.5 миллиардный ровер, в который было вложены все силы и возможности этих людей за многие годы, на Марс. За что вы их так оскорбляете сейчас, за то, что они расплакались от счастья?
                                +9
                                У ЦУП-а был шанс с Фобос-грунтом уже…
                                  +2
                                  Вы забыли добавить: «Сталина на них нет»
                              0
                              Игорь безусловно молодец. И его Nginx выше всяких похвал.
                              Но, статья высосана из пальца! При чем тут Runa Capital? Вбухали деньжат в компанию Игоря — молодцы. Но не вы написали сервер =)
                              • НЛО прилетело и опубликовало эту надпись здесь
                                  –4
                                  >Не будьте таким глупцом, подавляйте в себе стереотипное мышление.

                                  FACEPALM.tar.gz.jpeg.bz2 :)

                                  > Автор статьи: gigaom.com/author/dharrisstructure/ — ему можете высказать Ваше гениальное «не вы написали сервер» (интересно, что он ответит).

                                  Автор той статьи никаким образом к этой статье отношения не имеет. Там расписана более понятно для обывателя техническая часть и ни слова про Россию. А про Runa Capital и подавно.

                                  > Хорошо, что у хорошего проекта нашёлся инвестор. Это очень хорошо. Радует и то, что вот такой вот статьей они проявляют любовь к проекту.

                                  И нанимают таких как ты, чтобы писать идиотские комментарии?
                                  +5
                                  Из-за такого вот совкового отношения, когда рассматривают и всесторонне обсасывают соринку в чужом глазу не Российский марсоход сидит на Марсе, а американский. Из-за него Сысоев инвестируется на западе, а не в РФ, из-ха него техника, с которой мы пишем эти смешные комментарии никогда не могла быть произведена у нас.
                                  Эта статья — классический win-win-win.
                                  nginxу — дополнительное упоминание на тематическом ресурсе, читателям — информация, руне — опять же упоминание.
                                  Но нет, как же так, кто-то успешнее меня!
                                  Найдем зацепку и хотя бы поржем.
                                  Каждый сам выбирает.
                                  –4
                                  После успешной посадки конечно Curiosity&Nginx — вах какая дружба и все так было задуманно. А упал бы он вдребезги как один из отечественных аналогов?
                                    +5
                                    Послали бы следующий, и энджиникс тоже туда бы пристроили, т.к. вдребезги или удачно — это от энджиникса не зависит ровно никак.
                                    +2
                                    Ну раз уж вы и про NGINX сказали, то можно было бы упомянуть, то что РН которая вывела в космос «Curiosity» — оснащена российскими РД-180.
                                      0
                                      А что еще кроме этого ракетного двигателя установлено на марсоходе?
                                        0
                                        Тьфу, на РН.
                                          0
                                          Российский нейтронный детектор ДАН — который воду ищет ).
                                      • НЛО прилетело и опубликовало эту надпись здесь
                                          +1
                                          Я-то подумал, поумнели, а они обнищали оказывается. :)
                                          • НЛО прилетело и опубликовало эту надпись здесь
                                              +1
                                              Я просто не очень понимаю, как вы связываете текующую ситуацию с обнищанием.
                                              Такие запуски и должны быть «с миру по нитке», ведь это экономичней, быстрее и, вполне возможно, что такие решения получаются более качественными, чем при собственной разработке полной технической и технологической базы.
                                              Да, гос. обеспечение сейчас в соотношении с ВВП поменьше, чем 20-30 лет назад, но и мотивация совершенно другая. Сейчас решают конкретные задачи, а не меряются длинной на потеху толпе.
                                          +3
                                          Нанотепловые нейтроны — это секретная разработка из Сколково? Может всё-таки надтепловые?
                                            +2
                                            Приставка «над-» нынче не в моде. ;)

                                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                          Самое читаемое