Выжимаем все соки из WebRTC для стриминга камер на примере go2rtc

[Start_Run_in_60]

Спасибо за вебторент! очень крутая штука! мю-торрент в офие забокирован, а вебторрент работает!

[Harwest]

Интересно! А к esp32-cam это как-то можно прикрутить?

[AlexxIT]

Так понимаю она отдаёт MJPEG. go2rtc поддерживает такой формат и умеет выдавать его, как в MJPEG (прозрачное проксирование), так и в RTSP формате (с JPEG кодеком).

Но, чтоб посмотреть такой поток в WebRTC формате, нужно использовать модуль FFmpeg и транскодирование MJPEG в H264. go2rtc опять же, это умеет. И даже с Hardware ускорением, если ваше железо его поддерживает.

[Harwest]

На камере происходит кодирование в jpeg, esp его проксирует, на хосте ffmpegz но на самом модуле мало psram думал можно исходники прикрутить для ускорения.

[buldo]

Я правильно понимаю, что в go2rtp можно пихать rtp поток по udp и иметь готовый WHEP сервер?

[AlexxIT]

Можно, но только через ffmpeg source. Кто-то из сторонних проектов именно так и делает.

[morsmil]

MSE(Media Source Extensions) изучали? Может как-то применяли?

[AlexxIT]

Конечно. Go2rtc в своём стандартном плеере использует одновременно 4 технологии для просмотра потока - WebRTC, MSE, MP4 и MJPEG.

В зависимости от кодеков внутри потока и возможностей браузера - будет выбрана лучшая технология.

[aamrzv]

Алекс, подскажи плиз! Установил на HA go2rts. Проблем с добавлением rtsp потака с камеры не возникло оно работает, но моей целью была двухсторонняя аудио-связь. Вот её победить не получается. Если со стрима перейти по ссылке link там есть раздел "Play audio" пытался посылать ffmpeg:/media/test.mp3 не работает, через http в этом разделе тоже мимо. В доках на github описан метод post его тоже пробовал также тишина. Камера IPC-C22EP-A-imou(посути таже dahua только под суббрендом) в родном приложении в камеру говорить можно. Возможно у меня руки не из плеч, а возможно камера просто не способна на такое. Можешь как то подсказать.

[aamrzv]

Разобрался, нужно было открыть видео с камеры и посмотреть info потока в go2rtc WebUI. И там понятно, есть ли ONVIF T backchannel. У мой камеры к сожалению нет

[AlexxIT]

Бывает такое. Возможно камера использует устаревший или проприетарный протокол. Физически не хватает времени поддерживать всё на свете :)

[whoim]

Доброе время! Подскажите одноплатник (скорее проц) / ось к нему за минимальные деньги, а также на какой формат передачи смотреть для задачи трансляции с вебки (uvc/mjpeg 720*480@25) через сеть с минимально возможной задержкой? Чтобы можно было принять поток например gstreamer'ом, или чем то подобным. В идеале, rtp/h265 как уже опробованный но при передаче с цифровой камеры.

[AlexxIT]

UVC/MJPEG с минимальной задержкой и минимальной нагрузкой на CPU лучше всего передавать в MJPEG формате.

Недавно добавил в go2rtc нативную поддержку V4L2. Пробовали его на младшем Кинетике на процессоре MIPS. Тянет три USB камеры 1600х1200 + 640х480 + 640х480 с нагрузкой всего 5%.

Любые виды транскодинга будут сильно нагружать CPU и добавлять задержку.