Немного о WebRTC: что где использовать и случай из практики

    WebRTC — это браузерная технология, предназначенная для передачи потоковых данных между браузерами или приложениями с использованием технологии двухточечной передачи (point-to-point transmission).




    Эта технология хороша тем, что позволяет устанавливать связь между пользователями, используя только браузер. Для некоторых разработчиков, когда они узнают о WebRTC, это становится открытием: ведь можно создать видеочат без использования стороннего сервера — нужен только браузер.

    WebRTC не требует установки дополнительных плагинов. Нужно просто написать код на HTML или JavaScript, и видеопотоки в браузере будут работать плавно.


    WebRTC можно использовать не только для видеочатов: технология позволяет передавать файлы любого формата и текстовые сообщения.


    API WebRTC


    WebRTC имеет довольно большой набор функций и инструментов. В этой статье мы разберем три API.


    1. getUserMedia


    API позволяет управлять пользовательскими устройствами из браузера. Здесь можно выбрать:


    • камеру, с которой должно транслироваться видео;
    • микрофон;
    • качество передаваемого изображения.

    Такие настройки помогают оптимизировать проект. Для того, чтобы все работало быстрее, качество можно уменьшить до 360 пикселей.


    Алгоритм управления шумом тоже помогает: он эффективно устраняет шум и фоновые звуки из аудиопотока.


    2. RTCPeerConnection


    Этот API-интерфейс относится к технологии Peer-to-Peer, которая представляет собой прямую комбинацию двух браузеров, которые не используют сервер. Таким образом, происходит прямая передача видеопотоков с одного устройства на другое.


    В RTCPeerConnection есть важная функция — встроенная поддержка серверов Stun/Turn, которые необходимы для обхода провайдера NAT, из-за которого видеопотоки могут не доходить до пользователей.


    Разработчики могут получить доступ к серверам Stun/Turn от одного пользователя и получить чистый адрес для передачи видеопотока. Затем, можно подключиться к серверам Stun/Turn от другого пользователя и подключиться повторно. Таким образом, можно избежать сбоев и проблем с подключением пользователей из-за NAT.


    3. RTCDataChannel


    Используя RTCDataChannel, можно передавать текст и файлы различных форматов параллельно с видеопотоком.


    Благодаря этому API вы можете разработать простой и быстрый чат для пользователей приложения. Он не требует установки на сервер, его можно переписать и передавать файлы любого формата размером до 4 ГБ (и более, если это позволяет браузер).


    Миграция с Flash


    Flash уже почти вышел из пользования. Поэтому важно мигрировать проекты (если по какой-то причине вы еще этого не сделали), разработанные с использованием Flash, на другие технологии, в частности на WebRTC.


    Как уже упоминалось выше, WebRTC позволяет показывать видео с неудобных проигрывателей в форме видеофайлов или прямых трансляций, а также передавать файлы любого формата и текстовые сообщения. Кроме того, это относительно свежая оптимизированная технология, которая имеет множество внутренних настроек и не требует установки дополнительных серверов или плагинов.


    Однако важно понимать, что WebRTC не является заменой Flash. Это инструмент, с помощью которого можно частично реализовать функциональность Flash.


    Технические тонкости


    У WebRTC есть свои тонкости — он использует два сетевых протокола — TCP и UDP.


    Особенность протокола TCP в том, что он передает данные без потерь: пользователь получает стабильное изображение, видео передается без потерь и повреждений. Но этот протокол имеет ограничения по объему передачи данных. Например, нельзя передавать видео Full HD пяти людям одновременно.


    Эта проблема решается с помощью протокола UDP: пользователи могут передавать высококачественные изображения и видео без ограничений. Но у него есть свой недостаток: он допускает потерю пакетов. Из-за этого изображение может дрожать и сильно терять в качестве.


    Это можно исправить подключившись к сторонним серверам. Если на WebRTC разрабатывается крупный проект, в котором будет установлено соединение между сотнями пользователей, то вам все же придется использовать дополнительный сервер, чтобы уменьшить нагрузку на браузер.


    Для каких проектов подходит WebRTC


    Изначально, цель WebRTC — создание видеоконференций с использованием одноранговой технологии без использования какого-либо дополнительного сервера. Технология идеально подходит для разработки приложений для видеоконференций на основе браузера. Можно сказать, что это почти Skype внутри браузера.


    Что по безопасности?


    WebRTC не использует сторонние сервисы, где можно было бы реализовать защиту данных. Однако, технология работает через проверенные сетевые протоколы, которые обеспечивают безопасность передачи данных.


    Аналитика для WebRTC


    В браузере Google Chrome есть отдельная страница, где можно отслеживать передачу данных с помощью WebRTC. Там отображается вся статистика соединения: количество переданных пакетов, качество звука и видео, загрузка браузера, используемая сервером Stun/Turn.


    Пример из практики: онлайн школа танцев


    Пара слов о проекте, в котором мы использовали WebRTC. Нам пришел запрос на разработку приложения для онлайн школы танцев. Стандартная группа для каждого урока — 16 пользователей (один учитель и 15 учеников).


    Одна из сложнейших задач проекта — добиться идеальной синхронизации 15 видеопотоков для студентов.


    Проблема синхронизации возникала из-за того, что у каждого пользователя разная скорость соединения, местоположение и интернет-провайдер. Поэтому мы развернули медиа-сервер Wowza, который собрал все видеопотоки. Затем мы разместили медиа-сервер и веб-сайт приложения на Amazon, что снизило нагрузку на пользовательские устройства. Расчеты, обработка, синхронизация и мультиплексирование видеопотоков выполняются на сервере — учитель и ученики получают материалы, готовые к воспроизведению.


    Синхронизация была достигнута с помощью FFmpeg — инструмента, который позволяет гибко и удобно управлять передачей аудио и видео потоков.


    Нам нужно было найти решение проблемы отображения видеопотоков без использования сторонних систем. Мы решили использовать технологию WebRTC, и это оказалось идеальным решением для потоковой передачи видео через браузер.


    Заключение


    У нас еще не так много опыта в применении этой технологии, поэтому буду благодарен, если поделитесь своими случаями из практики и крутыми источниками для более углубленного изучения.

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 5

      +1

      Ну это не только браузерная технология уже) Будет работать на любых клиентах.
      И как раз буквально пару часов назад перезалил на гитхаб официальный вариант приложения под Андроид, что бы можно было строить и собирать приложение сразу из Android Studio.

        +1
        А браузер не начинает лагать при таких нагрузках непосредственно на него?
          0

          Как ffmpeg помог синхронизировать все видео? Т.е. 16 потоков идет на сервер, потом тебе в браузер возвращается 15 склеенных и они все еще синхронизированы?

            +1

            тоже заинтересовался этим вопросом. у libwebrtc же свой энкодер. скорее всего ребята делают MCU – микшируют потоки в одну картинку, фиксируя размер и положение в кадре картинок со всех участников, и потом клиентам отдают один поток вместо 16… это более затратно с точки зрения серверных ресурсов, количество потоков на один сервер должно быть совсем небольшим, плюс клиент не может по своему желанию выбирать расположение и размер картинок участников на экране, но трафик конечно экономится и синхронизация потоков одинаковая у всех зрителей…

              0

              Все ещё не понятно, как можно танцевать если видишь себя с такой задержкой…
              Я через Zoom пробовал петь хором — это фактически невозможно

          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

          Самое читаемое