Комментарии 82
Коллеги
Люди дома уже дома 10G сеть тянут для того чтобы фотографии себя и кошки на NAS бэкапить, а у вас видеохостинг с тяжелым контентом и какие-то 2*100М / 2*1G линки между цодами.
Микротики на бордере - вообще слов нет.
вы правы, потому мы и начали оптимизацию сети в том числе и с расширения каналов сейчас DCI - 400G, об этом как раз говориться в статье, а микротики отлично справились со своей задачей на время построения новой сети
Меня вообще удивила эта история, потому что лет десять назад в блоге Рутуба (кстати, где он?) была статья про эволюцию инфры и там значились Cisco ASR, Nexus 9300, 700Гбит/с, а тут внезапно "MikroTik", "статические маршруты, никакого BGP"...
Тем не менее, спасибо за статью - мне было интересно почитать, хотя я ваш доклад на GetNet смотрел уже :)
Микроты топ за свои деньги, особенно x86 архитектуры. Порты набираем много портовыми сетевухами, лицензии x86 в продаже есть. Производительность - коробки отдыхают. ROS 7 ещё неплохо многопоточность научили использовать по сравнению с 6. И для большого количества правил не помешает много кэш памяти в процессорах.
Самое сложное в микротиках - первый раз разобраться. И да, не у всех получается. И не очень интуитивно понятный язык lua для скриптов - от привычного bash отличается кардинально.
Микротики на бордере
А потом народ на форумах плачется что "рутуб еле-еле грузится". 8-()
А вы, друзья, как ни садитесь,
Всё в музыканты не годитесь.
Работа была проделана грандиозная. Жаль что получилось плохо(с)
Можно вынести BGP пиринг с провайдерами на отдельную железку/ки. На них главное достаточное количество памяти чтобы FullView держать, примерно 32Гб * на количество BGP сессий с провайдерами.
Еще хорошей практикой считается вынесение наверх acl самых широких правил под которые подпадает наибольшее количество трафика и отключения опции log в листах.
Ну микрот на edge это тот случай когда уже до мышей ***сь.
В FW, конечно, много префиксов, но 32ГБ RAM... Правда столько много нужно? Что за демон BGP используете?
на момент, когда использовались микротики с BGP, мы принимали от провайдеров default или default + их префиксы, сейчас уже стоят BR'ы, которые могут держать несколько FW, про перенос правил с максимальным количеством трафика на микротиках в начало я так же упомянал в статье
конкурент ютуба с микротиками на бордерах и каналом как в деревне.
в следующем выпуске - конкурент ватсаппа и телеги на arduino и модемной симкой!
так выглядит не здоровая конкуренция, запоминайте и рассказывайте детям, хороший урок истории будет)
я бы не очень хотел зайти на ютуб например, и увидеть r18 например, или какую-то краснуху. как мне кажется для таких вещей есть отдельные ресурсы, на которые люди вправе по своему собственному желанию сходить и посмотреть.
про вк без комментариев, это вообще постыдная движуха. я вообще вк считаю наверно идеальным примером как делать не надо. раньше это был проект у которого был даже апи открытый, я вообще в своё время чатился в вк используя плагин для миранды. а сейчас всё это убито, само это чудо работает медленно, везде пытаются "обновить" фронтенд что бы соответствовать каким-то трендом, и как итог сидишь с 2к монитором и любуешься огромными маргинами и паддингами. да, хорошее использование моего экранного пространства. про обилие рекламы, и то во что превратился раздел музыки если у вас не стоит какой-нибудь ublock я вообще молчу.
ну, ничего нового на самом деле, обычная монополия без какой-либо рыночной конкуренции. если бы на всю россию была лишь одна пекарня делающая хлеб, то буханка бы стоила как крыло самолета, ну потому что ведь "мы же одни". вот и с рутубом и вк так же.
в следующем выпуске - конкурент ватсаппа и телеги на arduino и модемной симкой!
...и код фронта на написанный на фортране и по быстрому откомпилированный на клонах х8086 производства СССР!
Как мы строим сеть RUTUBE
,Это всё, конечно, безумно интересно, но, простому пользователю нужны и более приземленные вещи. Например, как скачать видео из РуТуба, чтобы посмотреть его без рекламы и тут же стереть? Ютубовский yt-dlp.exe с РуТубом работать не хочет. Зато с этим хорошо справляется древнее демо-расширение Хром из Гитхаба. Однако подозреваю, что РуТуб скоро начнет менять свои протоколы, как и Ютуб, и для его скачивания понадобится уже искать другие инструменты.
Не знаю как по Windows, но под GNU/Linux yt-dlp вполне себе позволяет качать видео с RUTUBE:
~ $ yt-dlp --version
2025.10.14
~ $ yt-dlp 'https://rutube.ru/video/2d3f32cdb46639d370b686685b182ed6/'
[rutube] Extracting URL: https://rutube.ru/video/2d3f32cdb46639d370b686685b182ed6/
[rutube] 2d3f32cdb46639d370b686685b182ed6: Downloading video JSON
[rutube] 2d3f32cdb46639d370b686685b182ed6: Downloading options JSON
[rutube] 2d3f32cdb46639d370b686685b182ed6: Downloading m3u8 information
[rutube] 2d3f32cdb46639d370b686685b182ed6: Downloading m3u8 information
[info] 2d3f32cdb46639d370b686685b182ed6: Downloading 1 format(s): m3u8-2164-1
[hlsnative] Downloading m3u8 manifest
[hlsnative] Total fragments: 695
[download] Destination: Как мы строим сеть национального видеохостинга RUTUBE ⧸ Олег Аралбаев [2d3f32cdb46639d370b686685b182ed6].mp4
[download] 100% of 742.16MiB in 00:00:30 at 24.52MiB/s
[FixupM3u8] Fixing MPEG-TS in MP4 container of "Как мы строим сеть национального видеохостинга RUTUBE ⧸ Олег Аралбаев [2d3f32cdb46639d370b686685b182ed6].mp4"
Не знаю как по Windows, но под GNU/Linux yt-dlp вполне себе позволяет качать видео с RUTUBE:
Только что проверил загрузку в своей программе («Минималистский графический интерфейс, на C++ / WTL, для консольного загрузчика» : https://habr.com/ru/articles/955838/ ), пишет, что невалидный url. Для этого даже удалил старую и загрузил новую версию yt-dlp.exe/
Насколько помню yt-dlp не умеет качать плейлисты с рутуба, а вот обычные отдельные видосы вполне себе качает легко. Это можно пофиксить если хоть кто-то додумается форкнуть Yt-dlp на гите и внести свои правки. Там надо маленький фикс дописать на языке python. Но чёт похоже все питонисты в РФ клали болт на рутуб и им это не интересно)))
Там еще косяк со скачиванием видостков с vk, но проблема решается если использовать домен vk.com вместо vk.ru
Но чёт похоже все питонисты в РФ клали болт на рутуб и им это не интересно)))
Кроме «кладки болта», «маленький фикс на python» надо будет делать каждые две недели, по мере выхода свежей версии yt-dlp.exe. Проще обновить раз (при необходимости) давний код расширения «cat-catch» для Хрома, от китайцев, которое, как минимум, легко скачивает видео, с сайтов, разбитые на множество кусков формата *.ts (с описаниями в *.m3u8). А таких видео-хостингов не так уж и мало.
После рекламы с контрольными вопросами для проверки усвоенного rutube для меня перестал существовать. Крайне убогая платформа.
Извините это видео не доступно.
Если поставил на паузу то после паузы внезапно нет звука.
Если ранее смотрел видео и оно запомнило то место откуда в след раз стартовать то тоже нет звука.
Если вдруг пропал инет и вновь появился извините это видео недоступно
расскажешь когда построите, а пока рутьюбовский лаговоз - это скорее пособие как делать не надо 🤡
Спасибо, но с комментариями соглашусь. Для года 2010 сойдёт сетка, но для текущих реалий мрак.
Думаю, 90% информации засекречено, поэтому публично озвучивают только некую заглушку для публики. В общем, я бы на месте комментаторов не спешил делать какие-либо выводы о технических особенностях рутюб на основе таких статей.
Хотя пользоваться им неприятно, это безусловно факт
Статья нравится. А ngfw норм нагрузку держат? Это что-то у вас на богатом всякие palo alto шкафы, или получилось траффик пропускать через какие-нибудь ngfw построенные на базе dpdk?
да, держат, мы не пускам туда весь трафик, в основном только в/из внешнего мира, "тяжелые" данные ходят мимо, их шлюзы терминируются на фабрике
Спасибо за статью. И передайте соответствующим специалистам, что пользователям нужно дать право удалять свой аккаунт самостоятельно, а то на данный момент приходится писать об этом в техподдержку и ждать ответ. Это тоже какое-то легаси 15летней давности.
Хорошая платформа - ноль без качественного наполнения. Сейчас у вас либо один мусор, либо ворованое видео с ютьюба и прочих источников.
Мысли о статье: "А Серёжа молодец, а Серёжа мой сынок."
За последние лет 5 ни разу не возникло желание смотреть что-то на Рутуб, если есть ВК, у тех кто выбирает платформы РФ обычно есть ссылки на оба данных ресурса.
Ну почему же, вполне есть те кто дублирует свои записи с ютуба и на вк и на рутуб. Тот же Негода.
Негода
Который скатился в СГ за последние пару лет. Возможно, рутуб заразен...
Очень удобная позиция)) Особенно из за вкусовщины. А еще и обвинять в том, что человек дает возможность папищикам смотреть там где они могут - ну вообще апофеоз.
А так, есть и плюсы того,тчто рутуб перенс часть контента сам - периодически именно там находятся видео которые выпилили с ютуба (по прихоти автора канала или ютуба, не важно). В вк вроде еще и битрейт повыше чем на ютубе.
Не вижу смысла зачем то себя ограничивать площадками где находить контент. А то прям какое то классическое "назло маме отморожу уши".
Про какие 80 миллионов просмотров в месяц пишет автор, при 420 миллионах единиц видео в хранилище? Если сравнить с 13 миллиардами в Ютуб при просмотре 2,5 миллиарда в месяц, то в соотношении между ними у меня в компе завалялся по папкам примерно такой же процент муры всякой как на рутубе. ($320 миллионов против $450 миллиардов по стоимости компаний, это 1:1420)
Так была реальная конкуренция, и годами рутуб во многом благодаря такой реальной конкуренции никому был не нужен. Хотя казалось бы можно было что-то придумать. Не блокировать, а сделать так, чтобы реклама и монетизация на ютуб была невозможной по закону. Хотя думаю даже такие травоядные меры далеко бы не все поддержали, потому что реально что-то свое у нас не умеют, не могут и не хотят развивать да и пользоваться своим многие как-то не спешат, что конечно грустно.
В общем тут даже по архитектуре сети видно, что проектом реально начали заниматься фактически последние пять лет, а до этого он жил по принципу пусть живёт работает, много денег у Газпрома не требует, вестимо.
Мамкины сетевики с негативом не удивили. Мне как инженеру крупной быстрорастущей инфраструктуры было интересно.
Есть вопросы к автору:
-нужна ли архитектора leaf-spine + vxlan в крупной сети, не передающей огромные объемы трафика, или трехуровневая классика еще поживёт? Грубо говоря просто очень много кампусов/бизнес-объектов, которые обеспечиваем всем необходимым для жизнедеятельности.
-вижу cli хуавея, а как дела с импортозамещением? Пробовали Eltex/Usergate/etc?
спасибо за вопрос по делу:)
архитектура leaf+spine в нашем случае была выбрана из-за ориентации платформы на бОльший трафик в пределах одного ЦОДа, а так же на концепцию, что в случае падения одного из ЦОДов, другие должны полностью взять на себя его нагрузку. В пределах одного ЦОДа передается очень большой объем трафика - помимо собственно трафика самого сайта rutube.ru, это базы данных, логи, транскодированное видео, видео с файлового хранилища, трафик из файлового хранилища на кэш-сервера 1 уровня итд. в случае если бы мы использовали традиционную архитектуру без leaf+spine и распределенного шлюза, нам пришлось бы ставить очень мощные роутеры для ядра сети в каждом ЦОДе с большим количеством каналов в сторону коммутаторов, а еще нужно держать всегда резерв для роста трафика, а еще как я писал в статье задержки при использовании традиционной 3х уровневой архитектуры значительно выше, особенно к ним чувствительны современные БД с репликацией. Ну и в конце концов - роутеры были бы единой точкой отказа для всего ЦОДа.
Подробнее можно ознакомиться с нашей архитектурой в статьях моих коллег:
Архитектура национального видеохостинга: путь RUTUBE к 10 Тбит/с с использованием своей CDN
Как устроен CDN RUTUBE: железо, сеть, ПО
Собственное файловое хранилище для 400 Пбайт видеоконтента
В случае если у вас много небольших инстансов, возможно имеет смысл не завязывать все их на одно ядро, а просто поставить в каждом пару простых роутеров с 2я резервными каналами, вам не нужны будут жирные каналы до единой точки - ядра и в случае при проблемах в одном из кампусов, остальные останутся в работе.
да, cli вы определили верно, требования по импортозамещению нам конечно озвучивают, в следующем году планируем начать интероп тесты, так как сами понимаете, разом заменить все сетевое оборудование на такой большой сети не представляется возможным, будем делать это постепенно
Спасибо за ответ и статьи, не многие сегодня делятся опытом! Мы строим ядро и распределения на базе стеков L3-коммутаторов с LAG/MLAG резервированием до доступа, внутри vrf+ospf, два разнесенных узла связи, кластеры ngfw, два бордера и стыки с провайдерами по BGP.
Вы вот при всём при этом , то что считаете вникли как лучше, понимаете то что у пользователей виснет и глючит всё что связано с Рутубом? На телеках и на компах. А бюджет уже за 300 миллиардов давно перевалил. Сколько ещё нужно денег чтоб виснуть просмотр перестал ?
Проблемы могут быть связаны с маршрутизацией у вашего или вышестоящего оператора связи, напишите на help@rutube.ru, мы попробуем разобраться
Допустим . Но , разве развитие не включает также работу над доставкой контента и достигается соц. опросами регионально и(или) обратной связью через сети? Это "болячка" всех поставщиков-" У меня вот в аппаратной все показывает и не тормозит , а что там у вашего провайдера не пропускает из за настроек , то это частный случай".
Откуда в вашей сети много трафика east-west если это, упрощенно говоря, раздача файлов
Основной поток должен таки идти про пути south-north?
Раздача тяжелого контента ведется не из внутреней сети, а с кэш-серверов, которые подключаются напрмую к операторам связи, об этом можно почитать в статье моего коллеги Димы Иванова Как устроен CDN RUTUBE: железо, сеть, ПО
При открытии пользователем сайта rutube.ru и работой с ним, как раз и возникает много горизонтального трафика - нужно сходить в базу авторизовать и загрузить его профиль, подгрузить понравившиеся видео и историю просмотра, на основе прошлых просмотренных видео выдать рекомендованные, при начале просмотра пользователем видео, нужно сходить в балансер и выбрать для него оптимальный кэш, при просмотре сохранить моменти, на котором он остановился, чтобы в следующий раз начать с него, все это и многое другое происходит через интеграцию между серивсами внутри платформы, отсюда и горизонтальный трафик.
В общих чертах архитектуру сервиса обрисовал мой коллега Эльдар Ниязов в этой статье - Архитектура национального видеохостинга: путь RUTUBE к 10 Тбит/с с использованием своей CDN
Всё это абсолютно бесполезно, потому что смотреть рекламу каждые 3 минуты утомляет. Потому рутуб не смотрю.
любой условно "бесплатный" сервис живет за счет рекламы, у вас есть выбор - смотреть рекламу или заплатить за подписку и не смотреть ее (собственно тот же youtube работает так же), вы можете скачать какой-то свежий фильм на торренте и скорее всего обнаружите там ту же рекламу, потому как те, кто его для вас озвучивал и выложил, как ни странно тоже хотят получать деньги за свою работу
Ага, а еще лучше на рутьюб зайти, так как единственным преимуществом над аналогами, оказалось возможность загрузки и хранения тонны пиратского контента, что уже сильно характеризует сервис.
Сам сервис и так живет и создан на деньги налогоплательщиков, но допустим даже для импортозамещения является дырой в бюджете, но так все равно даже в сравнении с рекламой в ютубе, реклама в рутьюбе уж слишком частая и повторяющаяся, хоть мы и налогов вам уже заплатили.
Если Газпром выделил 300 миллиардов на развитие , это можно сказать народные деньги из бюджета за недры из земли, то уже заложено в просмотр без рекламы всё что там есть. А для рекламодателей выделить канал типа "магазин на диване "
Что такое реклама? Почему бы не поставить uBlock в браузер? (телика нет, так что не в курсе как там, но наверняка все как то умеют блокировать рекламу).
а можно не надо строить рутюб? к примеру у меня на телеке ютуб работает, а рутюб глючит и ничего не воспроизвести. бросайте прошу! может тогда ютуб вернут как было.
Всего вам плохого, неуважаемый рутуб.
Статья большая, с виду подробная, но много чего скрыто. С виду работа проделана большая, а результат как всегда? В чём посыл статьи?
Я правда Рутуб не смотрю. Я 2011 г. завёл учётную запись у вас, посмотрел и увидел, что это было что-то непонятное.
Посыл показать народу, что сервис не государственный, двигается и развивается бизнесом, используют самые простые решения, которые составляют конкуренцию (если не составляют, значит государство уберет соперников), поэтому даже администраторы Хабра чистят тут комменты (каждый второй пост с модерацией), потому что товарищ майор следит не только за вами))) а что хотели? Рашка))) Хабр изначально был проплаченный площадкой, потом, чтобы привлечь авторов - на какое то время стал своеобразной вики, куда люди несли свои знания от песочницы до гуру, но с началом войны и санкций - опять превратился в рупор тех, кто платит, но только в деревянных (доллАры свои несите на другие площадки, а тут действует политика партии)))))) ну и товарищ майор не просто так жует свой хлеб (владельцы Хабра это знают и никто из них сидеть не желает, так что если ваш пост с негативом не снесли - это не ваша заслуга, а их недоработка… улыбайтесь и славьте власть и решения тех кто при власти, а техническую сторону ищите на «реддит» и оставьте блогам на ютюбе от админов, программистам и прочим, НО на англиЦком))))))))))
Это всё, конечно, очень здорово. И не для зрителей статья и не для создателей контента.
Так рутуб на 90 процентов это ретранслятор потока... Можно смотреть все то что признано ноу легал в РФ
Спасибо за контент, готов даже за подписку платить! Купил телек 85 дюймов, поставил рутюб, теперь смотрю кино в 4к с каефом! Развивайте платформу!
Как мы строим сеть RUTUBE