Комментарии 45
для облегчения понимания материала не-сетевиками. :D
Для облегчения понимания оными — поясните что есть Берсты и персентили.
(желательно для не-специалистов использовать и оригинальные термины, а не только жаргон)
Спасибо!
По поводу нюанса с бёрстами. Означает ли это всё что по весне, с приходом локдауна, бухгалтерии провайдеров начали массово рвать волосы на задницах?
Не, географически то все сотрудники остались в пределах одного города. А в пределах одного города вариантов условно-бесплатно поменяться трафиком на IX у провайдеров имеется (кроме таких ситуаций, но тут ССЗБ)
К тому же, при нескольких аплинках, обычно предоплачивается полоса с рассчетом того что кто-то завалится (авария там, или просто BGP как протокол динамической маршрутизации решит перетечь из одной нитки в другую, потому что у кого-то на другом конце мира на узле свич моргнул и BGP сессия схлопнулась) и при падении оранжевой нитки трафик перетекает в синюю и зеленую не вылезая в берст. При падении зеленой — перетекает в синюю и оранжевую без превышения. А при падении синей у вас есть 32 часа (95 перцентиль), чтобы поинтересоваться что там со SLA на интернет, за который платятся миллионы в месяц синему аплинку.
К тому же, при нескольких аплинках, обычно предоплачивается полоса с рассчетом того что кто-то завалится (авария там, или просто BGP как протокол динамической маршрутизации решит перетечь из одной нитки в другую, потому что у кого-то на другом конце мира на узле свич моргнул и BGP сессия схлопнулась) и при падении оранжевой нитки трафик перетекает в синюю и зеленую не вылезая в берст. При падении зеленой — перетекает в синюю и оранжевую без превышения. А при падении синей у вас есть 32 часа (95 перцентиль), чтобы поинтересоваться что там со SLA на интернет, за который платятся миллионы в месяц синему аплинку.
У нас берсты обычно прилетают из-за Европы.
Когда кто-то Европейскийна маршруте оказывается перегружен (в период локдауна такое было да и после) и трафик на AWS идет с потерями.
При обращении к нашему ISP — они говорят, ну это где-то в Европе маршрут перегружен. Да, у нас линк к AWS только такой. Но congestions не на нашем стыке, а через 2 хопа от нас — в общем не наша зона ответственности бла-бла-бла.
EnterSandman — из-за этого часто и были проблемы во время локдаунов. Есть какая-нибудь онлайн-бухгалтерия. Они, особо не разбираясь, заинклюдили какой-нибудь jQuery прямо по линке, что указана на сайте. Эта линка ведет на СDN в AWS. Линк в AWS перегружен — и всё, привет. Всё вроде бы работает, но что толку — GUI бухгалтерии без jQuery или другого ключевого фреймворка лишен смысла.
Когда кто-то Европейскийна маршруте оказывается перегружен (в период локдауна такое было да и после) и трафик на AWS идет с потерями.
При обращении к нашему ISP — они говорят, ну это где-то в Европе маршрут перегружен. Да, у нас линк к AWS только такой. Но congestions не на нашем стыке, а через 2 хопа от нас — в общем не наша зона ответственности бла-бла-бла.
EnterSandman — из-за этого часто и были проблемы во время локдаунов. Есть какая-нибудь онлайн-бухгалтерия. Они, особо не разбираясь, заинклюдили какой-нибудь jQuery прямо по линке, что указана на сайте. Эта линка ведет на СDN в AWS. Линк в AWS перегружен — и всё, привет. Всё вроде бы работает, но что толку — GUI бухгалтерии без jQuery или другого ключевого фреймворка лишен смысла.
Да, про AWS, что-то не подумал. А они в своей CDN не ставят как гугл CloudCache поближе к потребителям? Без таких вещей CDN вроде как и не CDN получается, если все у них там за бугром хостится. Гугл даже без кэша старается кабелями дотянуться до IX и проблема берстов не возникает. Иначе бы все провайдеры уже взвыли бы от цены за иностранный трафик, который пользователи с ютуба потребляют. Хотя после того как они отдали маршрутизацию на откуп своему ИИ пути трафика порой неисповедимы.
Правда про ситуацию с jQuery так и не понял. Механизм затыка понятен — общий трафик интернета из-за локдауна возрос — не все оказались к этому готовы. Но в конкретно в описанной ситуации — какая разница откуда они тянут контент — из офиса или в том же количестве из дома, ISP то ± один и тот же?
=)
Одни хотели ОРЕХ вместо капекса и мигрировали в облака. Вторые оверселлили каналы. Локдаун наказал всех.
Правда про ситуацию с jQuery так и не понял. Механизм затыка понятен — общий трафик интернета из-за локдауна возрос — не все оказались к этому готовы. Но в конкретно в описанной ситуации — какая разница откуда они тянут контент — из офиса или в том же количестве из дома, ISP то ± один и тот же?
=)
Одни хотели ОРЕХ вместо капекса и мигрировали в облака. Вторые оверселлили каналы. Локдаун наказал всех.
AWS есть в обменках, но политика закрытая. Мы пытаемся подключиться уже пол года — так быстро обрабатываются у них заявки.
Насчет CDN ничего не могу сказать (не смотрел), у нас достаточно большой трафик на их EC2. Всё идет в Европу :(
По поводу jQuery поясню: проблема не в самом jQuery, а в том, что люди, в принципе, в локдауне начали больше сидеть в интернете. В первую очередь — на развлекательных ресурсах, и, я так думаю тех, за которые полагается 242 УКРФ. И если развлекательный трафик вполне можно разместить на СDN внутри РФ, то клубничку — никак.
Если глянуть wordstat.yandex.ru/#!/history?words=%D0%BF%D0%BE%D1%80%D0%BD%D0%BE то видно, что запросы во время локдауна выросли на 40% и это всё зарубеж.
Следовательно, на магистралях вырос зарубежный трафик, к которому все оказались не готовы — в итоге, CDNы, раздающие куски сайтов, раздавали очень медленно.
Насчет CDN ничего не могу сказать (не смотрел), у нас достаточно большой трафик на их EC2. Всё идет в Европу :(
По поводу jQuery поясню: проблема не в самом jQuery, а в том, что люди, в принципе, в локдауне начали больше сидеть в интернете. В первую очередь — на развлекательных ресурсах, и, я так думаю тех, за которые полагается 242 УКРФ. И если развлекательный трафик вполне можно разместить на СDN внутри РФ, то клубничку — никак.
Если глянуть wordstat.yandex.ru/#!/history?words=%D0%BF%D0%BE%D1%80%D0%BD%D0%BE то видно, что запросы во время локдауна выросли на 40% и это всё зарубеж.
Следовательно, на магистралях вырос зарубежный трафик, к которому все оказались не готовы — в итоге, CDNы, раздающие куски сайтов, раздавали очень медленно.
Следовательно, на магистралях вырос зарубежный трафик, к которому все оказались не готовы — в итоге, CDNы, раздающие куски сайтов, раздавали очень медленно.
А, да.
Народ тогда начал резко жаловаться на то, что не может получить доступ к своим папкам в OneDrive (и к почте там же) — при том, что «весь остальной интернет работает нормально!»
Кстати, конкретно у нас вполне серьезно прогнозируют «продолжение банкета» в наступающем году.
Так как в России не производится коммутационное оборудование
вы уверены?
вот тут говорят что производится eltex-co.ru/about/manufacturing
Посмотрел в документации, команды до боли напоминают Cisco
В прошлый раз точно такое же встречал в сетевых железяках SNR, которые стоят в разы дешевле чем Cisco. Я не в курсе, где оно производится. Но есть определенные подозрения, что степень локализации определяется количеством закрученных в корпус винтиков, а не количеством обработанного на территории страны кремния.
В прошлый раз точно такое же встречал в сетевых железяках SNR, которые стоят в разы дешевле чем Cisco. Я не в курсе, где оно производится. Но есть определенные подозрения, что степень локализации определяется количеством закрученных в корпус винтиков, а не количеством обработанного на территории страны кремния.
remzalp, я бывал в разных MMR-ах.
Видел там Аристы, Циски, Джуники, Тики, Хуавеи.
Русских брендов там не заметил. Хотя может быть они и были. До тех пор, пока доля рынка не 30% — да, их не производят.
При этом, если оперировать большими числами, то получается вот как:
допустим 5% оборудования местное, не переклееное, и при этом дешевле чем тот же хуавей. У нас же импортозамещение как работает — обязали брать Русское — так местный производитель взвинтил цены х2 от хуавея и продает. В итоге тезис: в РФ интернет дешевле потому, что у нас оборудование местного производства и оно в 3 раза дешевле хуавея — не работает.
Если обратиться к банальной математике, то получается вот как:
Предположим, что в среднем по больнице, интернет в РФ дешевле в 4 раза чем в Германии.
30% оборудования в РФ — местного производства. Это оборудование стоит в 2 раза дешевле чем хуавей.
И того, 100%-(100%*(30%/2)) = этим можно объяснить 15% снижение стоимости, но не 400%
При этом, стоит учесть, что магистрали в РФ гораздо сложнее, чем в той же Европе. Потому, что страна у нас слишком большая. Что опять же говорит о более высокой стоимости обслуживания, по сравнению с Европой.
Видел там Аристы, Циски, Джуники, Тики, Хуавеи.
Русских брендов там не заметил. Хотя может быть они и были. До тех пор, пока доля рынка не 30% — да, их не производят.
При этом, если оперировать большими числами, то получается вот как:
допустим 5% оборудования местное, не переклееное, и при этом дешевле чем тот же хуавей. У нас же импортозамещение как работает — обязали брать Русское — так местный производитель взвинтил цены х2 от хуавея и продает. В итоге тезис: в РФ интернет дешевле потому, что у нас оборудование местного производства и оно в 3 раза дешевле хуавея — не работает.
Если обратиться к банальной математике, то получается вот как:
Предположим, что в среднем по больнице, интернет в РФ дешевле в 4 раза чем в Германии.
30% оборудования в РФ — местного производства. Это оборудование стоит в 2 раза дешевле чем хуавей.
И того, 100%-(100%*(30%/2)) = этим можно объяснить 15% снижение стоимости, но не 400%
При этом, стоит учесть, что магистрали в РФ гораздо сложнее, чем в той же Европе. Потому, что страна у нас слишком большая. Что опять же говорит о более высокой стоимости обслуживания, по сравнению с Европой.
Справедливости ради, цена услуги это же не только цена оборудования, я бы даже сказал(уровень экспертности «мне так кажется») что большая часть цены это затраты на персонал и подрядчиков(обслуживание, грубо говоря), а не стоимость самого оборудования.
Если говорить про цену для конечного пользователя, то все довольно просто. Интернет в России (был четыре года назад, возможно, что сейчас все изменилось) дешев там, где есть крупные массивы многоквартирных домов. Дотянул кабель до дома, и дальше только успевай ставить коммутаторы уровня доступа, пара сотен абонентов как с куста.
Как только речь заходит о частном секторе, или о старинной малоэтажной (два-три этажа, да по паре квартир на этаж) застройке городских центров — так сразу оказывается, что и провайдеров как-то негусто, а которые все же есть, те предлагают совсем другие цены и условия.
Как только речь заходит о частном секторе, или о старинной малоэтажной (два-три этажа, да по паре квартир на этаж) застройке городских центров — так сразу оказывается, что и провайдеров как-то негусто, а которые все же есть, те предлагают совсем другие цены и условия.
Если раньше при проблемах с каким-то сайтом я пытался проверить traceroute и т.п. то в последние годы если что-то не работает, то в подавляющем большинстве случаев виноват роскомпозор и его блокировки. Сам сайт может быть даже не заблокирован, а вот какой-нибудь CDN, с которого он тянет данные — легко.
А чаще просто сайт подпадает под ковровую блокировку по ip. И смотришь на очередное отвалившееся по таймауту соединение и думаешь — это у провайдера проблемы, это где-то на маршруте проблемы, это у хостера сайта проблемы, это сам сайт упал, а на деле просто нужно через VPN идти.
В других странах тоже идиотизм — многие американские сайты пускают только с американских IP (им не хочется заморачиваться с GDPR для европейцев, поэтому они решили огородиться), некоторые блокируют по странам — типа в россии всё равно английского не знают и там одни хакеры, так что запретим с их адресов доступ, и т.п. И это очень печалит. Интернет всё больше и больше разваливается на слабосвязанные между собой куски.
Вот даже недавно статья на хабре про это была habr.com/ru/post/528210
А чаще просто сайт подпадает под ковровую блокировку по ip. И смотришь на очередное отвалившееся по таймауту соединение и думаешь — это у провайдера проблемы, это где-то на маршруте проблемы, это у хостера сайта проблемы, это сам сайт упал, а на деле просто нужно через VPN идти.
В других странах тоже идиотизм — многие американские сайты пускают только с американских IP (им не хочется заморачиваться с GDPR для европейцев, поэтому они решили огородиться), некоторые блокируют по странам — типа в россии всё равно английского не знают и там одни хакеры, так что запретим с их адресов доступ, и т.п. И это очень печалит. Интернет всё больше и больше разваливается на слабосвязанные между собой куски.
Вот даже недавно статья на хабре про это была habr.com/ru/post/528210
Это печальная история. Частично это достижение клаудфлары. Она стала провайдером №1 для фронтенда сайта и защиты от DDoS.
Беда в том, что на фларе любой сайт может оказаться на залоченных РКН айпишках — по соседству с очередными тремя топорами или какой-нибудь порнухой.
А выделенный IP на фларе стоит $5000/месяц.
Беда в том, что на фларе любой сайт может оказаться на залоченных РКН айпишках — по соседству с очередными тремя топорами или какой-нибудь порнухой.
А выделенный IP на фларе стоит $5000/месяц.
Для начала, телекоммуникационного оборудование в России производится, как на базе импортных компонентов, так и на ПЛИС и отечественных аналогов западных чипов.
Провайдеры получают хорошие льготы при использовании отечественного оборудования и не очень хорошие при использовании чисто импортного оборудования.
Тот же Ростелеком во всю пользуется отечественным оборудованием на магистральных сетях.
Давайте вот лучше так поступим:
Вы заявите: я работаю в магистральном или ШПДшном ISP из ТОП5. У нас 80% оборудования — локальное. При этом, мы проверяли — это действительно полный цикл в РФ, а не просто переклейка лейблов.
И тогда мы сможем предметно обсуждать о распространении российского железа на телеком-рынке.
Вы заявите: я работаю в магистральном или ШПДшном ISP из ТОП5. У нас 80% оборудования — локальное. При этом, мы проверяли — это действительно полный цикл в РФ, а не просто переклейка лейблов.
И тогда мы сможем предметно обсуждать о распространении российского железа на телеком-рынке.
К сожалению для вас я работаю в фирме, которая с середины 90-х годов прошлого века занимается разработкой и производством оборудования для телекома, причём начиная от абонентского оборудования и заканчивая транспортом.
Полный цикл от разработки до производства, включая софт.
Ну почему же к сожалению — это хорошо как раз. Тот же MikroTik весьма хорош и в какой-то мере Русский.
А что про сравнение цен и проникновение оборудования?
Если цена в среднем на 30% ниже а проникновение 5%, то и влияние на среднюю цену на ШПД по больнице — 1.5% (в зависимости от доли стоимости железа в структуре стоимости ШПД)
А что про сравнение цен и проникновение оборудования?
Если цена в среднем на 30% ниже а проникновение 5%, то и влияние на среднюю цену на ШПД по больнице — 1.5% (в зависимости от доли стоимости железа в структуре стоимости ШПД)
про пиринговые войны забыли рассказать.
когда в aspath появляется парочка лишних узлов и тысяч километров магистралей, только потому что топы каких-нить мейлру и билайна решили поиграть в обиженок и начать обмениваться трафиком только через транзит где-нить во Франкфурте, а напрямую они теперь не здороваются =)
когда в aspath появляется парочка лишних узлов и тысяч километров магистралей, только потому что топы каких-нить мейлру и билайна решили поиграть в обиженок и начать обмениваться трафиком только через транзит где-нить во Франкфурте, а напрямую они теперь не здороваются =)
ооо. да, пиринговые войны это тот еще ад.
Есть еще и другая история: некий магистрал (не будем показывать пальцем), имеет какой-нибудь дешевый канал. И он при отправке маршрутов «случайно» вырезает свою автономку из этих маршрутов, и получается, что у его дешевого канала ASPATH короче чем у всех его конкурентов :)
Есть еще и другая история: некий магистрал (не будем показывать пальцем), имеет какой-нибудь дешевый канал. И он при отправке маршрутов «случайно» вырезает свою автономку из этих маршрутов, и получается, что у его дешевого канала ASPATH короче чем у всех его конкурентов :)
Ну, механизм BGP придумывался в то время когда схема интернета подразумевала под собой всеобщий коммунизм среди AS. Через эту идею там и был заложен такой функционал для «тюнинга». А потом туда пришел капитализм и когда цена одной нитки отличается от другой в 3 раза, тут не только магистрал начнет и коммьюнити настраивать, и препенды лепить, и роутспецифики анонсить — в один порт /16 в другой /24
ооо. да, пиринговые войны это тот еще ад.
Новая тема, ранее мне неизвестная. С удовольствием бы прочел статью на эту тему.
Статьи особо не получится, потому что выйдет какое-то сплошное накидывание на вентилятор. Еще и однобокое.
К тому же, поскольку корень проблем лежит в коммерции — этим занимается практически весь телеком. Вопрос только масштабов.
Если ваш домашний провайдер оптимизировал свой траф так, что траф до сервера CS ходит через Японию и обратно (с дичайшим латенси) после чего вы регулярно проигрываете — то провайдера можно поменять.
А кот когда так делают крупные магистралы — это затрагивает очень многих, да и поменять что либо становится куда сложнее.
К тому же, поскольку корень проблем лежит в коммерции — этим занимается практически весь телеком. Вопрос только масштабов.
Если ваш домашний провайдер оптимизировал свой траф так, что траф до сервера CS ходит через Японию и обратно (с дичайшим латенси) после чего вы регулярно проигрываете — то провайдера можно поменять.
А кот когда так делают крупные магистралы — это затрагивает очень многих, да и поменять что либо становится куда сложнее.
Я надеюсь схему все-таки можно будет разобрать =)
Провайдер AS1 хочет купить доступ в интернет. Ему навстречу приходит КП от трех вышестоящих операторов.
Провайдер AS4 говорит что он может предоставить доступ BGP FullView (полную таблицу маршрутизации интернета) т.е доступ ко всему интернету.
Но соответственно раз он может предоставить полный доступ, то и свои услуги он оценивает в 30 рублей за Мбит.
Провайдер AS3 говорит что он может предоставить доступ только к РФ трафику по 15р.
Провайдер AS2 говорит что он может предоставить доступ к трафику в пределах одного города.
Зато дешево по 6р, потому что затрат на обслуживание трассы Москва-Хабаровск у него нету.
Параллельно мы обнаруживаем что наш сосед, тоже внезапно провайдер AS20.
Мы договариваемся кинуть патчкорд между нашими свичами, после чего трафик между нашими сетями стоит нам 0р.
Схема сети начинает выглядеть так
BGP строит маршрут по ASPATH минимальному количеству транзитных AS на пути, она ничего не знает о цене каналов.
Варианты ASPATH между AS1 и AS20 выглядят так
AS1 => AS20
AS1 => AS2/AS3/AS4 => AS20
BGP выбирает кратчайший маршрут, он же и наиболее выгоден для нас
Варианты ASPATH между AS1 и AS20 выглядят так
AS1 => AS2 => AS22
AS1 => AS3/AS4 => AS22
Тут оба маршрута одинаковы по длине, но разные по стоимости.
Начинаются пока безвредные оптимизации с принудительным заливанием трафика в дешевую трубу.
Но для пользователей длина маршрута не изменилась и лишних задержек в сети нет
Варианты ASPATH между AS1 и AS40 выглядят так (предположим что AS22 и AS31 транзитные, т.е пропускают через себя чужой трафик)
AS1 => AS4 => AS40
AS1 => AS2 => AS22 => AS31 => AS40
Маршруты разные по длине и BGP выберет кратчайший, но он самый дорогой
И вот тут начинаются уже «оптимизации» ухудшающие качество связи, зато в 5 раз дешевле.
Если пользователи после этого начинают атаковать саппорт с жалобами, а то и вообще грозить отключением — скрипя зубами возвращаем короткий маршрут.
Тут наш второй сосед тоже решает стать провайдером AS5. У него на руках оказываются КП от AS4 по 30р, и от нас, ведь у нас есть доступ к фулвью, и мы можем перепродавать его дальше.
Мы же в свою очередь надеемся что основная масса тарифка у AS5 будт по РФ, которая обходится нам по =<15р, а дорогого заграничного будет немного, поэтому чутка демпим цену и ставим 25р.
AS5 об AS2/3 не знает или не имеет возможностей подключиться и выбирает нас AS1 в качестве единственного аплинка.
Варианты ASPATH между AS5 и AS40 выглядят так
AS5 => AS1 => AS4 => AS40
AS5 => AS1 => AS2 => AS22 => AS31 => AS40
BGP выбирает первый маршрут. Но тут AS1 видит что такими темпами он уйдет в минуса, покупая трафик по 30р и продавая по 25.
И он принудительно выставляет для AS5 второй маршрут. Качество связи для AS5 страдает, его пользователи страдают, но повлиять на ситуацию он не может.
Все становится куда страшнее когда такими вещами начинают заниматься крупные магистральные провайдеры, легко увидеть что когда такой оптимизацией начинает заниматься AS3, то трафик может пару раз смотаться на другой континент прежде чем дойдет от AS5 до AS32
Провайдер AS4 говорит что он может предоставить доступ BGP FullView (полную таблицу маршрутизации интернета) т.е доступ ко всему интернету.
Но соответственно раз он может предоставить полный доступ, то и свои услуги он оценивает в 30 рублей за Мбит.
Провайдер AS3 говорит что он может предоставить доступ только к РФ трафику по 15р.
Провайдер AS2 говорит что он может предоставить доступ к трафику в пределах одного города.
Зато дешево по 6р, потому что затрат на обслуживание трассы Москва-Хабаровск у него нету.
Параллельно мы обнаруживаем что наш сосед, тоже внезапно провайдер AS20.
Мы договариваемся кинуть патчкорд между нашими свичами, после чего трафик между нашими сетями стоит нам 0р.
Схема сети начинает выглядеть так
BGP строит маршрут по ASPATH минимальному количеству транзитных AS на пути, она ничего не знает о цене каналов.
Варианты ASPATH между AS1 и AS20 выглядят так
AS1 => AS20
AS1 => AS2/AS3/AS4 => AS20
BGP выбирает кратчайший маршрут, он же и наиболее выгоден для нас
Варианты ASPATH между AS1 и AS20 выглядят так
AS1 => AS2 => AS22
AS1 => AS3/AS4 => AS22
Тут оба маршрута одинаковы по длине, но разные по стоимости.
Начинаются пока безвредные оптимизации с принудительным заливанием трафика в дешевую трубу.
Но для пользователей длина маршрута не изменилась и лишних задержек в сети нет
Варианты ASPATH между AS1 и AS40 выглядят так (предположим что AS22 и AS31 транзитные, т.е пропускают через себя чужой трафик)
AS1 => AS4 => AS40
AS1 => AS2 => AS22 => AS31 => AS40
Маршруты разные по длине и BGP выберет кратчайший, но он самый дорогой
И вот тут начинаются уже «оптимизации» ухудшающие качество связи, зато в 5 раз дешевле.
Если пользователи после этого начинают атаковать саппорт с жалобами, а то и вообще грозить отключением — скрипя зубами возвращаем короткий маршрут.
Тут наш второй сосед тоже решает стать провайдером AS5. У него на руках оказываются КП от AS4 по 30р, и от нас, ведь у нас есть доступ к фулвью, и мы можем перепродавать его дальше.
Мы же в свою очередь надеемся что основная масса тарифка у AS5 будт по РФ, которая обходится нам по =<15р, а дорогого заграничного будет немного, поэтому чутка демпим цену и ставим 25р.
AS5 об AS2/3 не знает или не имеет возможностей подключиться и выбирает нас AS1 в качестве единственного аплинка.
Варианты ASPATH между AS5 и AS40 выглядят так
AS5 => AS1 => AS4 => AS40
AS5 => AS1 => AS2 => AS22 => AS31 => AS40
BGP выбирает первый маршрут. Но тут AS1 видит что такими темпами он уйдет в минуса, покупая трафик по 30р и продавая по 25.
И он принудительно выставляет для AS5 второй маршрут. Качество связи для AS5 страдает, его пользователи страдают, но повлиять на ситуацию он не может.
Все становится куда страшнее когда такими вещами начинают заниматься крупные магистральные провайдеры, легко увидеть что когда такой оптимизацией начинает заниматься AS3, то трафик может пару раз смотаться на другой континент прежде чем дойдет от AS5 до AS32
Схема сети начинает выглядеть так
Описание несколько запутанное, но суть я понял, спасибо.
(по прежнему считаю, что тема заслуживает отдельной статьи)
Проблема в том, что люди, знакомые с подобными вещами только по учебникам, все еще считают отношения между провайдерами коммунистическими :)
К слову, как (и кем) оплачивается трафик у транзитных провайдеров (как работает этот механизм)?
Спасибо!
К слову, как (и кем) оплачивается трафик у транзитных провайдеров (как работает этот механизм)?
Тем кто в порт воткнут =). Для AS5 сеть AS1 является транзитом, у которого он покупает трафик. Если дальше за AS5 возникнет AS6 — она будет покупать трафик у AS5, AS5 у AS1(которому пофиг на наличие AS6, для него AS5 покупатель трафика, а что он дальше с ним делает — юзает сам или перепродает неважно), AS1 собственно у вышестоящих AS2/3/4 (которым тоже пофиг что там ниже творится)
Каждую транзитную AS грубо говоря можно представить как бассейн, в который вода наливается через несколько труб разного диаметра, и на каждой трубе свой счетчик, со своим тарифом по которому она эту воду оплачивает. И также через несколько труб вода сливается в соседние бассейны, и там тоже на каждой трубе счетчик, по которому соседние бассейны эту воду оплачивают. А внутри бассейна в аквалангах плавают админы-телематы и регулируют напор чтобы и бассейн был полон, но и чтобы кран с дешевой водой был открыт побольше, а с дорогой поменьше
А на самом верху сидят Tier-1 операторы которые никому за воду не платят, но вынуждены строить дорогущие с трансатлантические трубы и покупать дорогущие циски чтобы справляться с тем объемом воды которые через них прокачивают
Спасибо!
Тут небольшая путаница в терминологии.
Так как, насколько я знаю Tier-1 — это еще и нижний уровень категории у ЦОД.
Или я ошибаюсь?
А на самом верху сидят Tier-1 операторы
Тут небольшая путаница в терминологии.
Так как, насколько я знаю Tier-1 — это еще и нижний уровень категории у ЦОД.
Или я ошибаюсь?
Не ошибаетесь. Цоды сертифицируются от тир1 к тир4, по возрастанию качества. Провайдеры от тир3 к тир1 по иерархии.
И да, у цодов это конкретные требования по архитектуре и резервированию инженерки, у провайдеров — лишь условное обозначение
Провайдеры от тир3 к тир1 по иерархии
Спасибо!
Ну вот на той схеме — AS5 это тир3 оператор, поскольку для него весь трафик платный от аплинка. Есть распространенное мнение что такие сети вообще не стоит рассматривать как сети, поскольку в глобальной маршрутизации интернета они участвуют на уровне домашнего роутера. Ему BGP вообще не нужно — в его ситуации он может вообще ничего не маршрутиризровать, а просто сделать default route 0.0.0.0/0 в аплинка и ничего не изменится
А вот AS1, поскольку у него есть бесплатный пиринг с AS20 де-юре является тир2 оператором. Только де-факто он 99.999% трафика все равно получает платно — такой себе тир2 =)
Поэтому условное обозначения тира приклеилось только к тир1 операторам (которых всего менее 10 штук), поскольку тир3 вообще не рассматривается в маршрутизации, а все остальные 99.999% — являются тир2
А вот AS1, поскольку у него есть бесплатный пиринг с AS20 де-юре является тир2 оператором. Только де-факто он 99.999% трафика все равно получает платно — такой себе тир2 =)
Поэтому условное обозначения тира приклеилось только к тир1 операторам (которых всего менее 10 штук), поскольку тир3 вообще не рассматривается в маршрутизации, а все остальные 99.999% — являются тир2
только к тир1 операторам (которых всего менее 10 штук),
Насколько я помню — их вначале было 13.
(есть ли актуальный список?)
А вот AS1, поскольку у него есть бесплатный пиринг с AS20 де-юре является тир2 оператором.
У нас все интернет-провайдеры в городе имеют бесплатный пиринг друг с другом )
Кстати, есть еще и локальные кэширующие серверы, позволяющие сильно снизить трафик из внешних сетей.
(в старые добрые времена начального медленного интернета был такой лайф-хак: если надо было скачать какой-то большой файл — я начинал загрузку и спустя несколько минут обрывал закачку.
Некоторое время спустя (обычно на следующий день) я снова запускал закачку этого файла — и о чудо! скорость его загрузки приближалась к максимально возможной :)
Да, тот же BGP строился, судя по всему, из расчета на медь/модемы и маленький интернет. А так же на то, что железки медленнее, чем канал.
Поэтому, и количество стыков между точками — важный показатель для BGP.
Текущие проблемы казалось бы можно решить, но… BGP-роутинг устроен так, что тебе нужно грузить топологию всего интернета к себе в маршрутизатор.
Дальше это всё заливается в ASIC (нет, не тот, который майнит, а спец. микросхема, которая роутингом управляет), который «тупой» и умеет только то, что ему прописали: прочитал в пакете 4 байта, начиная с 12-го, нашел в таблице какой AS они соответствуют — и выплюнул туда пакет.
Какой-нибудь квагой/NFT/PBR с линуксом это опять же можно красиво настроить (админы мне дома так делали, чтоб распараллелить трафик между аплинками с разной толщиной). Это работает только на мегабитах трафика, но никак не на гигабитах и десятках/сотнях гигабит.
Вторая проблема — у маршрутизатора, вообще нет информации о том как прошел TCP-пакет, и тем более UDP-пакет — быстро ли, медленно ли. С потерями или без. Потому, что просто нет источника такой информации в принципе. Чтоб это мерить на уровне транспорта — нужно на каждый пакет присылать обратку, а это увеличит нагрузку на сеть в 2 раза.
Ну и объем данных тут будет просто огромным. Сейчас в интернете 588 тысяч ipv4 подсетей. Чтоб организовать это правильно — нужно сделать дерево со всеми вариациями. Например, вариантов пути до какого-то ИП-адреса 10 штук. И того, чтоб хранить маршрутизацию между подсетями с учетом оценки маршрута нужно 588 000 *588 000*10=3.5 террабайта памяти.
Поэтому, и количество стыков между точками — важный показатель для BGP.
Текущие проблемы казалось бы можно решить, но… BGP-роутинг устроен так, что тебе нужно грузить топологию всего интернета к себе в маршрутизатор.
Дальше это всё заливается в ASIC (нет, не тот, который майнит, а спец. микросхема, которая роутингом управляет), который «тупой» и умеет только то, что ему прописали: прочитал в пакете 4 байта, начиная с 12-го, нашел в таблице какой AS они соответствуют — и выплюнул туда пакет.
Какой-нибудь квагой/NFT/PBR с линуксом это опять же можно красиво настроить (админы мне дома так делали, чтоб распараллелить трафик между аплинками с разной толщиной). Это работает только на мегабитах трафика, но никак не на гигабитах и десятках/сотнях гигабит.
Вторая проблема — у маршрутизатора, вообще нет информации о том как прошел TCP-пакет, и тем более UDP-пакет — быстро ли, медленно ли. С потерями или без. Потому, что просто нет источника такой информации в принципе. Чтоб это мерить на уровне транспорта — нужно на каждый пакет присылать обратку, а это увеличит нагрузку на сеть в 2 раза.
Ну и объем данных тут будет просто огромным. Сейчас в интернете 588 тысяч ipv4 подсетей. Чтоб организовать это правильно — нужно сделать дерево со всеми вариациями. Например, вариантов пути до какого-то ИП-адреса 10 штук. И того, чтоб хранить маршрутизацию между подсетями с учетом оценки маршрута нужно 588 000 *588 000*10=3.5 террабайта памяти.
По объему данных
RIB и FIB
Именно поэтому микротикам, на которых некоторые умельцы даже умудряются принять пару фулвью от аплинков, становится очень плохо при флапе сессий. Да, процы в микротах слабоваты (
Зато в тысячи раз дешевле n9k/asr
3.5 террабайта памяти.
Только «кровавый энтерпрайз» продолжает уверять что 2-16гб оперативы, это величайшее достижение человечества, сравнимое с полетами в космос xD
Выводы:
Провайдеры заботятся в основном о собстевнной выгоде, а что там с пользователем — дело десятое.
Когда все массово грузят тяжелый контент и перегружают канал — интернет хуже.
Конретно это и так понятно вообще всем, хотя статья интересная :)
Почти как в тик-токе: первые четыре части выходят раз в неделю для затравочки, а пятая, финальная, содержит ответ на вопрос заголовка, укладывающийся в одну-две фразы.
Найти проблему это хорошо, а вот что с ней делать и как заставить провайдера её устранить, это тоже интересный вопрос, особенно если он абсолютный монополист.
Вот, к примеру, как выглядит график пинга у меня (снято программой PingPlotter сегодня). Красное это потери пакетов, которые, на временном промежутке примерно с 18:00 до 22:00 доходят до 20%, а скорость проседает в десятки раз относительно заявленной. И так каждый день.
Первый график это пинг провайдерского шлюза («городской» роутер), второй — гугловский dns, но такие потери идут по любым адресам.
Вот, к примеру, как выглядит график пинга у меня (снято программой PingPlotter сегодня). Красное это потери пакетов, которые, на временном промежутке примерно с 18:00 до 22:00 доходят до 20%, а скорость проседает в десятки раз относительно заявленной. И так каждый день.
Первый график это пинг провайдерского шлюза («городской» роутер), второй — гугловский dns, но такие потери идут по любым адресам.
Но ведь в килобайте 1000 байт
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как находить проблемы с интернетом и кто виноват ч.1 — inception