Как стать автором
Обновить

Сочи.Камера: как региональный провайдер поднял сайт видеотрансляции с посещением в 500 000 человек в месяц

Время на прочтение9 мин
Количество просмотров16K
Всего голосов 36: ↑36 и ↓0+36
Комментарии59

Комментарии 59

Эээ а чуток подробнее на чем сделали трансляцию в IPTV сеть.
А тот же Flussonic умеет мультикаст раздавать, прямо с него и забрали. Сделали тематические группы «вебкамеры» в IPTV middleware, прописали в них ссылки на Флюссоник. А дальше — стандартно через PIM на цисках в абонентскую сеть загнали.
я не совсем понимаю, почему Вы обращаетесь к автору на «Эээ»?
Эээ, браток, поди сюда, за IPTV поясни.

RTSP-поток есть? А если найду?

есть камеры, у которых его было бы очень неплохо найти =(
Сколько серверов у вас? Какое железо?
Один сервер под Флюссоник, на нём 32 ядра на 2,7ггц, 256 оперативы, 10-гиговая сетевая, и сильно оптимизированные Убунта и Флюссоник. Обрезаны все логи и лишние сервисы. В пике загрузка 70%. В перспективе наверное соберём кластер.
Пишем на стандартные 16-канальные регистраторы по RTMP, сейчас переходим на 40-канальные.
Почему не пользуетесь флусониковским DVR?
Потому, что это сильно нагрузит основной стриминговый сервер, причём нагрузка эта будет флуктуировать, что легко может привести к остановке сервиса в целом. Мы разделили нагрузки на физическом уровне. ЦПУ на осной машине, работа с дисками — на многих других. Как я уже сказал, все логи отключены и обращений к дискам на основном сервере сейчас практически нет (ну, за исключением ситуаций когда юзер делает фотографию или выгружает её). Это сильно стабилизировало нагрузку.
Отдельные DVR железки с лимитом на каналы(потоки) выходят дешевле чем 1-2 сервера с лицензией флусоника и без лимита на потоки? Как в плане отказоустойчивости отдельных железок? Были ли случаи выхода из строя одной железки и потеря/восстановление архива с них?
Да, причём сильно дешевле. Сам регистратор стоит порядка 30 тысяч, остальное — стоимость дисков. Через большой сервер однозначно дороже получается, да и расход электроэнергии повыше. Особых траблов не припомню. Пару раз подвисали на старте, когда жёсткий ребут по питанию случался. Проверка диска выскакивала и ждала ввода команды.
Ну и диски заранее менять надо, они больше 3-х лет не должны работать при такой нагрузке.
Добрый день, очень хотелось бы развития в техническую сторону…
Сколько лицензий Флюссоников используете? Как прописывали камеры в конфиг? Транскодирование делаете?
Почему хотите перейти на кластер?
Несколько раз подымалась тема о нестабильности RTSP потока от ip cam. Вы сталкивались? Вообщем весь процесс очень интересует…

Спасибо за статью.
Одна лицензия Perpetual.
Конфиг меняется через админку Сочикамеры, это всё самописное.
Транскодирование с изменением битрейта делать ни в коем случае не надо, иначе всё сразу помрёт. Это очень ресурсоёмкий процесс. Только перепаковка с выдачей HLS и прочего.
На кластер перейдём когда одного сервера не будет хватать, я не знаю когда этот момент настанет, а вернее при скольки работающих камерах он настанет. Тут готовой статистики нет, чистый эксперимент.
Ну а что ещё забирать с камер кроме как RTSP? Надёжный универсальный формат. Нестабильно только если каналом связи что-то не так, в остальном всё ровно держится. Гляньте сами на сайте)
нестабильность потока с IP камер отчасти чинится агентом, софтиной которую мы ставим.

можно обойтись и без нашего агента, а поставить какой-нибудь ssh туннель, но здесь очень важно, что бы был L7 туннель, а не L2. Если поставить openvpn, то можно схлопотать очень серьезные накладные расходы при том же рассыпании картинки.
Не очень ясно где будут добавляться накладные в случае L2 SSH? Если возможно поясните, плз.
а как так L2 SSH? =) SSH дает TCP прокси, это я и назвал L7.

При этом SSH берет на себя буферизацию трафика.

В случае с OpenVPN вы получаете управление трафиком со стороны камеры и «баг которого нет» (см соответствующий бессмертный пост на хабре).
Ok, разобрался… thk'x.
Спасибо за материал. Очень интересно было бы почитать про способ организации мобильных камер на автобусах и теплоходах.
Какое устройство используется в качестве модема для пуша из автобусов/пароходов, не телефоном же… или?
Телефоном же :)
Вот только сильно оптимизированным. Про это отдельную статью можем написать.

Это было бы замечательно.

Давно задавался этим вопросом. Буду ждать статью…
Наконец-то интересная статья от компании из Сочи! Сервис отличный, постоянно пользуюсь :)
Спасибо за камеры на Розе, очень удобно мониторить очереди у подъёмников, определяясь с маршрутом. :)
Летаем на парапланах с Роза Пик, постоянно пользуемся вашим сервисом для мониторинга облачности. Спасибо большое.
Из трех партнеров работает только один.
У вас классный сайт, часто смотрю чтобы вспоминать многочисленные приезды в Сочи.

Сам когда-то давно на базе крупного провайдера организовывал на базе Wowza трансляцию с пары десятков камер в одном крупном городе миллионнике. Вроде до сих пор работает.
Расскажите по больше про Flussonic, очень интересно как она устроена а главное сколько в пике нагрузки может держать в режиме онлайн. Выдерживает ли вобще массовый наплыв юзеров во время каких-нибудь крупных мероприятий?
Расскажите ещё про покрытие сети, у вас получается только крупные отели и трассы или вглубь жилой застройки вы тоже заходите?

Как устроен Flussonic я не знаю :) В данном случае мы юзаем его через API. Тем не менее, мы общаемся с разработчиками, в частности с Максом Лапшиным и Павлом Тучковым. Думаю, что в Эрливидео подробно ответят на Ваши вопросы, если к ним обратиться. https://habrahabr.ru/company/erlyvideo
Для себя я сделал интересное наблюдение, что загрузка системы не сильно зависит от количества раздаваемых потоков, или, скажем так, "зрителей". Я бы даже сказал, что вообще не зависит. Это было неожиданно. Могу вспомнить одну любопытную ситуацию: во время открытия ОИ2014 на вебке №240 висело более 2к зрителей, я думал что ляжет. Но на самом деле мы упёрлись тогда в полку на аплинках, а сам сервис Сочикамера отработал как обычно.


Что касается покрытия и жилой застройки: да, мы и в сёлах работаем, и в многоквартирной застройке. Сейчас сеть очень разветвлённая, соответственно во всех районах и камеры ставим. У нас есть режим "карта", это вторая иконка слева. Там более наглядная визуализация есть.

Спасибо за ответ.
А вот такой чисто коммерческий интерес на будущее, у вас есть где-то опубликованная карта вашей сети? Чтобы на будущее когда приеду месяца на три подключиться к вам.
На сайте вот только в ценах написано — от 30-ти камер. А если их меньше? И хочется тупо уйти от nginx + ffmpeg для трансляции на сайт?
Зависит от задач.
Есть Flussonic Media Server — серверная стиминговая программа, которая тарифицируется по количеству серверов.
А есть Flussonic Watcher — решение для создания сервисов видеонаблюдения и он уже тарифицируется по количеству камер.
Для вашей ситуации наверное правильней будет использовать обычный Flussonic Media Server.
В нем нет той избыточности по фичам и более приятное для таких проектов ценообразование.
Запросите на тест и давайте разберёмся в ваших задачах.
Спасибо вам, частенько поглядываю в ваши камеры. Особенно нравятся камеры на автобусах — представляешь, как будто сам едешь по Сочи), но часто камеры недоступны и качество хромает — фризы нередки. Не хватает камер с видом моря, обзорные камеры есть, а чтобы прямо как на пляже стоишь — нет(
Ещё-бы камеры на Ласточки поставил, особенно от Сочи до Адлера по берегу моря красота, ну и до Розы, хотя там тоннелей много.

Спасибо за отзыв. К сожалению, РЖД нам не согласовали установку камер на Ласточках.

Ещё можно несколько камер на аэропорт — наблюдать за взлетающими-садящимися самолетами.

Так есть же! Камеры 5, 171, 314, 315

Спасибо, давно не заглядывал, дома посмотрю.
Планируются новые камеры?
Вот вчера 3 штуки новых появились. Эта работа идёт постоянно.
Зашел на сайт — там 5 мобильных камер.
Не получилось подключиться ни к одной :(
Это какой-то временный сбой?
Сейчас межсезонье, автобусы с 10 апреля ездить начнут. Корабль тоже на стапелях пока, в мае спустят на воду.
А записи есть?
Хотел качество вашего решения посмотреть.
У нас есть решение для мобильного стримминга для мессенджера, интересно бы посмотреть что у вас получилось…
Мы их не записывали. В начале апреля автобусы выйдут на линию, тогда сможете посмотреть. Качество выставили не самое лучшее, с учётом пропускной способности сети мобильной связи.
Сегодня 4 мая, так и не работают камеры.
На 2-х стоят неделю одни и те же статичные картинки, другие показывают черный квадрат…
Еще в СПб сделать бы. А то там есть видовые, но качество ужасно, даже кошмарно и работает 50\50.
Хорошее качество картинки и на флюссонике делает один местный провайдер, но в ЛО, и лишь одна камера в центре, то есть совсем непримечательные картинки.
Вообще в спб тухло по публичным камерам и архивам. Понятно, что город огромный, но и инет-провайдеров не 1-2.
Приехав в спб из Петрозаводска, удивился этому. У нас тут(в Петрозаводске) грубо говоря 2 провайдера, но они активно пичкают город камерами, во дворах вешают камеры на каждом доме по несколько штук. Жаль, что они разосрались в свое время. Могли бы сделать совместно еще более круто, чем есть сейчас. А так много камер дублируют, не жалко же ресурсов им)))
Вот да. В уфе провайдеров 4. У одного огромное покрытие камерами
И этот провайдер небезыизвестен.
Но формат у того сервиса всё-таки иной.
И да, flussonic там тоже справляется со своими задачами.
Периодически к вам попадаю на проект. Ваш проект одна из целей, до которой хочу дорастить наш крымский проект.
Как подключаете по питанию? POE? отдельно кабель или по этой же витой паре, или комбинированным сетевым с двумя жилами для питания?.. Используются ли Wi-fi камеры, если да-то как отрабатывают? Чем мониторите камеры на доступность? Рассматривали ли более дешевые камеры по 4000р, если да, было ли проблем с ними больше?
PTZ-камеры запитываем отдельным кабелем. Обычные буллеты — по POE через инжекторы. Если камер больше двух в одном месте, то применение POE- свича становится выгоднее. Мониторим банальным the Dude от Микротика.
Камеры пробовали очень разные, у нас действительно нет предварительных предпочтений и мы тестируем всё, что попадается. Камеры в ценовом сегменте ниже 4000 как правило имеют размер кадра ниже FHD, что в рамках проекта «Сочикамера» неприемлемо.

А вас как-то можно заинтересовать поставить камеру в определённом месте?
Или вы принципиально ставите только туда, где красивая картинка?

Ну напишите мне на почту kdv@bisv.ru чем интересно именно это место. Почему ещё тысячам людей помимо вас будет интересно смотреть на эту картинку.

Маленький баг на сайте: Opera Mini для Android перенаправляется на sochicamera://sochi.camera а не на мобильную версию.
Проверим
Страница недоступна
Сайт sochi.camera не отправил данных.
ERR_EMPTY_RESPONSE
Дело в том, что какие-то не совсем здоровые на голову персонажи вчера организовали ДДоС-атаку на наш некоммерческий ресурс. Мы решаем вопрос, сейчас ситуация стабилизорована.
Сейчас обидно было
Зарегистрируйтесь на Хабре, чтобы оставить комментарий