Видеоконференцсвязь

Замена фона стала уже привычной возможностью в видеозвонках. Но сколько работы стоит за тем, чтобы она работала одновременно быстро, качественно и не требовала от пользователя много скачивать?

На нашей конференции I'ML спикеры из SberDevices Дмитрий Балиев и Давид Нурдинов рассказали о том, как занимались этой задачей для сервиса SaluteJazz (ранее известном как SberJazz). А теперь мы для Хабра сделали текстовую версию их доклада. Интересно может быть и тем, кто занимается сегментацией в ML, и тем, кто в целом работает с Computer Vision, и просто тем, кому любопытно узнать «что стоит за кнопкой замены фона».

Всем известна фраза «тыжпрограммист, почини принтер». Она хорошо показывает, как люди смотрят на вещи «снаружи» и «изнутри». Тем, кто находится «снаружи» IT, всё «компьютерное» кажется чем-то единым: есть просто «люди, которые возятся с компуктерами». Но когда оказываешься «внутри», сразу видишь гигантские различия между специальностями.

С видеотехнологиями похоже. Когда сам ими не занимаешься, тоже можно представлять что-то единое: ведь один и тот же кодек H.264 может использоваться хоть в онлайн-кинотеатре, хоть в видеозвонилке. Получается, там поверх одной базы просто разные интерфейсы рисуют? 

Но мы смотрим «изнутри», потому что проводим IT-конференции с онлайн-участием, и разработали для них собственную видеоплатформу. А ещё запустили отдельную конференцию VideoTech, где участники индустрии делятся опытом. И там как раз хорошо заметно, что этот опыт бывает довольно разным.

Поэтому решили описать для Хабра ряд примеров, проиллюстрировав их докладами с VideoTech: можно и понять разницу, и заодно что-то интересное посмотреть.

Привет, Хабр! На связи Женя Фирстов, лид команды разработки бэкенда видеозвонков в Т-Банке. Расскажу про устройство современных систем видеоконференцсвязи. Я затрону широкий спектр тем, но не буду углубляться в детали, чтобы статья была понятна для тех, кто ранее не работал с видеосвязью. Моя цель — дать системное представление о ВКС.

Статья будет полезна инженерам, которые только начинают работать с ВКС или внедряют стороннее решение в своей компании, а еще техническим менеджерам и аналитикам, которые выбирают систему видеосвязи для своей организации. В конце статьи оставлю чек-лист с критериями сравнения ВКС. Это первая статья серии, и в следующей я расскажу про наш подход к реализации ВКС.

Плюс приложение, которое поможет расшифровать записи людям с особенностями речи, выборочное шумоподавление и увеличение команды за счет ботов. Собрали главные новости за прошедший месяц.

Сегодня мы рассмотрим RTMP-потоки, которые хоть и считаются уже ветеранами среди протоколов передачи данных, но до сих пор остаются частью инфраструктуры видеостриминга.

Значит решил я создать сервис для одиноких мужчин, где они могут пообщаться с прекрасными дамами, aka вебкам. Соответственно встал вопрос, как организовать видеосвязь в браузере. Обычно для этого используется WebRTC, эта технология позволяет установить p2p соединение между браузерами для передачи видео, звука и прочих данных в реальном времени с минимальной задержкой. Однако была одна проблема: что делать, если приходит жалоба от пользователя, что ему показали не то (или не показали), что он хотел. Поскольку это p2p соединение напрямую между пользователями, у меня как у владельца сервиса нет возможности провалидировать жалобу. Первое, что пришло в голову это вместо WebRTC использовать MediaRecorder API для записи видео небольшими кусочками и отправки их по вебсокету через сервер, попутно сохраняя. Я набросал прототип и столкнулся с тем, что если получатель пропустил первый пакет (там где есть метаданные), то видео у него не воспроизводится. Пришлось поиском определенного набора байт в первом пакете вычленять эти самые метаданные и сохранять их отдельно для отправки первым сообщением только что подключившемуся получателю, и это даже сработало. Вторая проблема этого решения - это задержка в пару секунд, и это только в локальной сети, что приемлемо для односторонней связи, но для двусторонней уже сомнительно. И третья проблема это то что видео у получателя со временем все больше и больше отстает, и нужно регулярно проматывать видео ближе к концу. Костыльность такого решения меня не устраивала, и я решил использовать WebRTC для связи собеседников и параллельно использовать MediaRecorder для отправки записи от модели к серверу. Некоторое время оно так работало, пока я пилил другие фичи, но неэлегантность этого решения все еще не давала мне покоя, т. к. оно повышает требования к интернет соединению модели.

А также распределение нагрузки в больших конференциях, обновленный Zoom, нейронка для генерации видео от Microsoft — собрали самое интересное!

В марте 2024-го рынок встряхнула новость от Microsoft о грядущем отключении доступа к облачным сервисам компании для корпоративных клиентов из России. Оперативно делая бэкапы, одни побежали искать «обходные пути», вторые — подбирать альтернативы продуктам Microsoft. А я решил обратиться к своему опыту работы с отечественными решениями для унифицированных коммуникаций (UC), чтобы снова поделиться им на Хабре :) 

В прошлом году я рассматривал мессенджер eXpress как альтернативу Zoom. Объектом для изучения в сегодняшней статье я выбрал Squadus вендора «МойОфис». Этот мессенджер уже довольно давно позиционируется в рынке как почти полноценная замена MS Teams. Кроме того, у нас в К2Тех был опыт миграции в Squadus из Teams. 

О том, что такое Squadus и как мы на него переезжали, я и расскажу под катом!

Информационная служба Хабра побывала на конференции «Демодень». Мероприятие было посвящено презентации результатов и целей российского разработчика ВКС‑решений «Труконф». На конференции мне удалось поговорить с директором по развитию компании «Труконф» Дмитрием Одинцовым. Наш разговор был об использовании ИИ и нейросетей в ВКС, голографической коробке, представленной компанией в феврале 2024 года, дипфейках и о том, насколько удобны Apple Vision Pro для использования в видеосвязи. Приятного чтения!

Создавая сервис видеотрансляций, рано или поздно, при увеличении числа потребителей контента, возникает вопрос о масштабировании и доставке. Вы столкнетесь с проблемой не только вычислительных мощностей, но и пропускной способности вашей сети.

Я, как разработчик сервиса вебинаров, постараюсь в этой статье помочь разобраться с этими проблемами, по средствам P2P-сетей.

Бывший посол США в России Майкл Макфол уже пару лет занимается санкциями против России, в том числе в микроэлектронике. Это происходит в рамках так называемой «Группы Ермака‑Макфола».

Документы группы пишут гуманитарии, например они путают Xilinx и Zilog, или «поправляют» слово ARM на слово ARMY, а также считают, что Zynq — процессор, а не гетерогенная система на кристалле с FPGA.

Кстати, Макфол мог бы попросить технических коллег из Стенфорда это править — в Стенфорде крутая электроника, его ректором был Джон Хеннесси, создатель процессоров MIPS и соавтором двух самых известных учебников по компьютерной архитектуре в мире.

Но короче, в прошлую пятницу Макфол устроил созвон в Zoom для платных подписчиков его блога на substack, я к этому созвону присоединился и задал ему такой вопрос:

Привет! Меня зовут Дима. Я из команды бэкенда Яндекс Телемоста — сервиса для проведения видеовстреч, который входит в Яндекс 360. Перед нами стоит задача не просто предоставить сервис, а предоставить отказоустойчивый и надёжный сервис, который работает 24/7 и обслуживает весь мир.

Телемост создан на основе open source решения Jitsi meet — оно постоянно развивается благодаря вкладу комьюнити, но при этом имеет свои ограничения. В статье расскажу, как мы встретили один редкий, но интересный плавающий баг. И конечно, как его лечили.

Неизбежность отключения корпоративных пользователей от «облачных» продуктов Microsoft (и не только) стала очевидной последние два года. В текущий известный список продуктов, которые точно будут отключены, входят корпоративный мессенджер Teams, Office 365, облачное хранилище OneDrive и облако Azure.

Что делать? Можно перейти на отечественные облачные платформы и сервисы. Можно развернуть аналоги «уходящих» решений на собственной инфраструктуре. А можно арендовать выделенные сервера и создать инфраструктуру на них, или арендовать виртуальные сервера у хостинг-провайдеров с решениями быстрого развертывания. И об этом мы хотим поговорить с вами на примере Microsoft Teams и OneDrive.

Тем временем появились подснежники календарь от Notion, еще одна маска для созвонов и голографическая видеосвязь российского происхождения.

В этой статье(или дайджесте) я поделюсь ключевыми инструментами, демонстрационными приложениями и открытыми проектами, незаменимыми для практического понимания WebRTC. Здесь не будет туториалов или подробных объяснений о той или иной части WebRTC, а скорее некий дайджест ресурсов, которые помогут лучше разобраться в теме. Если вы работаете с этой технологией уже какое-то время, вряд ли вы найдете что-то новое для себя.

Результаты опроса 500 верифицированных специалистов, которые внедряют и обслуживают системы видеосвязи и корпоративные мессенджеры. География: 13 городов России.

Вы пережили 3D-котиков, нашествие чат-ботов и битвы удаленщиков с менеджерами про эффективность? Вспоминаем любопытные события в сфере корпоративной связи, за которыми наблюдали целый год.

Что объединяет удаленного сотрудника, на долю которого выпало много видеозвонков, зарождающуюся звезду YouTube и начинающего стримера? Все они, рано или поздно, осознают неотъемлемую важность повышения качества изображения, которое предоставляется их зрителям. А еще у них наверняка есть какой-нибудь Xiaomi Nano Porridge 10 Pro с довольно неплохой матрицей. И я не исключение, бросив вызов этой проблеме по-программистски и постаравшись обойтись без больших финансовых затрат, решением которой и хочу поделиться с вами. Добро пожаловать под кат!

Все мы прекрасно знаем, что у многих зарубежных приложений и сервисов есть российские аналоги, которыми вполне можно пользоваться. Но если раньше пересесть на них добровольно решались лишь единицы, сегодня тех, кто вынужден это делать, становится  все больше и больше. Одни компании на это толкают требования регуляторов, другие не могут продлить лицензии на тот софт, с которым они работали раньше. Однако есть и хорошая новость — с 2022 года разработчики российских решений стали еще активнее вкладываться в свои продукты. В результате многие из них стали значительно лучше, функциональнее и удобнее. Сегодня мы знакомимся с одним из представителей российских ВКС — системой TrueConf.

И сопутствующие проблемы…

В октябре на Видео+Конференции 2023 прошел круглый стол про то, как много стало разных инструментов для работы и общения и как тяжело с этим жить. 

Вел беседу Юрий Синодов, директор по развитию СМИ2, известный многим по Roem.ru.