Данное исследование объясняет, каким образом отказ одной автономной системы (AS) влияет на глобальную связность отдельного региона, особенно в том случае, когда речь идет о крупнейшем провайдере интернета (ISP) данной страны. Связность интернета на сетевом уровне обусловлена взаимодействием между автономными системами. По мере увеличения количества альтернативных маршрутов между AS возникает устойчивость к отказам и повышается стабильность интернета в данной стране. Однако некоторые пути становятся более важными, по сравнению с остальными, и наличие как можно большего числа альтернативных маршрутов в итоге является единственным способом обеспечить надежность системы (в смысле AS).

Глобальная связность любой AS, независимо от того, представляет ли она второстепенного поставщика интернета или международного гиганта с миллионами потребителей услуг, зависит от количества и качества его путей к Tier-1 провайдерам. Как правило, Tier-1 подразумевает международную компанию, предлагающую глобальную услугу IP-транзита и подключение к другим Tier-1 операторам. Тем не менее, внутри данного элитного клуба нет обязательства поддерживать такую связь. Только рынок может придать мотивацию таким компаниям безоговорочно соединяться друг с другом, обеспечивая высокое качество обслуживания. Достаточный ли это стимул? Мы ответим на этот вопрос ниже — в секции, посвященной связности IPv6.

Если провайдер интернета теряет связь хотя бы с одним из собственных Tier-1 соединений, он, вероятнее всего, окажется недоступен в некоторых частях Земли.

Измерение надежности интернета


Представьте, что AS испытывает значительную сетевую деградацию. Мы ищем ответ на следующий вопрос: «Какой процент AS в этом регионе может потерять связь с Tier-1 операторами, тем самым утратив глобальную доступность»?

Методология исследования
Зачем моделировать подобную ситуацию? Строго говоря, когда BGP и мир междоменной маршрутизации находились на стадии проектирования, создатели предположили, что каждая нетранзитная AS будет иметь по меньшей мере двух вышестоящих поставщиков (апстрим), чтобы гарантировать отказоустойчивость в случае, если один из них упадёт. Однако в реальности всё совсем иначе — более 45% ISP имеют только одно соединение с транзитным апстримом. Набор нетрадиционных отношений между транзитными интернет-провайдерами еще больше снижает общую надежность. Итак, падают ли транзитные ISP? Ответ — да, и это происходит довольно часто. Правильный вопрос в данном случае: «Когда конкретный интернет-провайдер испытает деградацию связности?». Если кому-то такие проблемы кажутся отдаленными, стоит вспомнить закон Мерфи: «Все, что может пойти не так, пойдет не так».

Чтобы смоделировать подобный сценарий, мы применяем одну и ту же модель третий год подряд. В этом же году мы не просто повторили предыдущие вычисления — мы значительно расширили область исследования. Следующие шаги были пройдены для оценки надежности AS:
  • Для каждой AS в мире мы получаем все альтернативные пути к Tier-1 операторам с помощью модели отношений AS, служащей ядром продукта Qrator.Radar;
  • Используя базу геоданных IPIP, мы сопоставляли каждый IP-адрес каждой AS с соответствующей ему страной;
  • Для каждой AS мы подсчитали долю её адресного пространства, соответствующую выбранному региону. Это помогло отфильтровать ситуации, когда интернет-провайдер может присутствовать на точке обмена в определенной стране, но не имеет присутствия в регионе в целом. Иллюстративным примером является Гонконг, где сотни участников крупнейшей азиатской интернет-биржи HKIX обмениваются трафиком, имея нулевое присутствие в интернет-сегменте Гонконга;
  • Получив четкие результаты для AS в регионе, мы оцениваем влияние возможного отказа данной AS на другие AS и страны, в которых они представлены;
  • В конце концов, для каждой страны мы нашли конкретную AS, затрагивающую наибольший процент других AS в данном регионе. Иностранные AS не рассматриваются.

Надежность IPv4




Ниже вы можете увидеть топ 20 по надежности стран с точки зрения отказоустойчивости в случае сбоя единственной AS. На практике это означает, что в стране хорошая связность интернета, а процент отражает долю AS, которая потеряет глобальную связность в случае отказа крупнейшей AS.

Краткие факты:

  • США опустились на 11 позиций с 7 на 18 место;
  • Бангладеш вышел из топ 20;
  • Украина поднялась на 8 позиций на 4 место;
  • Австрия вылетела из топ 20;
  • Две страны возвращаются в топ 20: Италия и Люксембург после выхода в 2017 и 2018 годах соответственно.

Ежегодно в рейтинге устойчивости происходят интересные передвижения. В прошлом году мы писали, что общие показатели 20 ведущих стран не сильно изменились с 2017 года. Стоит отметить, что год за годом мы отмечаем положительную глобальную тенденцию к повышению надежности и общей доступности. Для иллюстрации данного тезиса мы сравним средние и медианные изменения за 4 года в общем рейтинге устойчивости IPv4 по всем 233 странам.


Количество стран, которым удалось снизить зависимость от единственной AS до менее 10% (что является признаком высокой отказоустойчивости) увеличилось на 5 по сравнению с прошлым годом, и по состоянию на сентябрь 2019 года достигло 35 национальных сегментов.

Таким образом, как наиболее значимую тенденцию, наблюдаемую за период нашего исследования, мы идентифицируем значительно повышение устойчивости сетей во всем мире, как в IPv4, так и в IPv6.

Отказоустойчивость IPv6


В течение нескольких лет мы повторяли, что ошибочное предположение о том, что IPv6 работает так же, как IPv4, является основной структурной проблемой процесса разработки и внедрения IPv6.

В прошлом году мы писали о пиринговых войнах, сохраняющихся не только в IPv6, но и в IPv4, где Cogent и Hurricane Electric не взаимодействуют друг с другом. В этом году мы были удивлены, обнаружив, что другая пара прошлогодних «соперников» — Deutsche Telekom и Verizon US успешно установили IPv6 пиринг в мае 2019 года. Вы вряд ли найдете упоминания об этом, однако данный шаг огромен — два крупных Tier-1 провайдера прекратили ссору и, наконец, установили пиринговое соединение с помощью протокола, которому мы все желаем гораздо более активного развития.

Для обеспечения полной связности и высочайшей надежности пути до Tier-1 операторов должны присутствовать постоянно. Мы также подсчитали процент AS в стране, которые имеют лишь частичную связность в IPv6 из-за пиринговых войн. Вот результаты:



Спустя год IPv4 остается значительно более надежным по сравнению с IPv6. Средние показатели надежности и стабильности IPv4 в 2019 году составляют 62,924%, и 54,53% для IPv6. В IPv6 все еще велика доля стран с плохой глобальной доступностью — то есть высоким процентом частичной связности.

По сравнению с прошлым годом, мы увидели значительно улучшение в трех крупных странах, особенно по параметру частичной связности. В прошлом году у Венесуэлы было 33%, у Китая 65% и у ОАЭ 25%. В то время как Венесуэла и Китай значительно улучшили собственные соединения, решая серьезные проблемы частично взаимосвязанных сетей, ОАЭ остались без положительной динамики в данной области.

Широкополосный доступ и PTR-записи


Повторяя вопрос, который мы задавали себе с прошлого года: «Правда ли, что ведущий провайдер в стране всегда влияет на региональную надежность больше, чем все остальные или какой-то другой?», мы разработали дополнительную метрику для дальнейшего изучения. Возможно, наиболее значительный (по клиентской базе) провайдер интернета в данной области не обязательно будет является той автономной системой, которая станет наиболее важна в вопросе обеспечения глобальной связности.

В прошлом году мы определили, что наиболее точный показатель фактической значимости провайдера может быть основан на анализе записей PTR. Как правило, они используются для обратного поиска DNS: с использованием IP-адреса можно идентифицировать связанное имя хоста или доменное имя.

Это означает, что PTR может позволить измерение конкретного оборудования в адресном пространстве отдельного оператора. Поскольку мы уже знаем самые большие AS для каждой страны в мире, мы могли бы посчитать записи PTR в сетях этих поставщиков, определив их долю среди всех PTR-записей региона. Стоит сразу же сделать заявление об отказе от ответственности: мы подсчитывали ТОЛЬКО записи PTR и не вычисляли соотношение IP-адресов без PTR-записей к IP-адресам с записями PTR.

Итак, далее мы говорим исключительно об IP-адресах с присутствующими записями PTR. Создавать их — не общее правило, поэтому некоторые провайдеры вписывают PTR, а другие нет.

Мы показали сколько из этих IP-адресов с указанными записями PTR отключится в случае отключения от/вместе с крупнейшей (по PTR) автономной системой в указанной стране. Цифра отражает процент от всех IP-адресов с поддержкой PTR в регионе.

Давайте сравним 20 самых надежных стран из рейтинга IPv4 в 2019 году с рейтингом PTR:



Очевидно, что подход, рассматривающий PTR-записи дает совершенно иные результаты. В большинстве случаев меняется не только центральная AS в регионе, но и полностью отличается процент неустойчивости для указанной AS. Во всех надежных, с точки зрения глобальной доступности, регионах количество IP-адресов с поддержкой PTR которые отключатся вследствие падения AS в десятки раз выше.

Это может означать, что ведущий национальный интернет-провайдер всегда владеет конечными пользователями. Таким образом, мы должны предположить, что этот процент представляет собой часть пользовательской и клиентской базы ISP, которая будет отключена (в случае, если невозможно переключение на альтернативного поставщика) в случае сбоя. С этой точки зрения страны уже не кажутся такими надежными как они выглядят с точки зрения транзита. Мы оставляем за читателем возможные выводы из сравнения топ 20 IPv4 со значениями рейтинга PTR.

Детализация изменений в отдельных странах


Как и обычно в данном разделе, мы начинаем с очень особенной позиции AS174 — Cogent. В прошлом году мы обозначили ее влияние на Европу, где AS174 определяется в качестве критической для 5 стран из топ 20 в рейтинге устойчивости IPv4. В этом году Cogent сохраняет присутствие в топ 20 по надежности, однако, с некоторыми изменениями — в частности, в Бельгии и в Испании AS174 была заменена в качестве наиболее критичной AS. В 2019 году для Бельгии ей стала AS6848 — Telenet, а для Испании — AS12430 — Vodafone.

Теперь, давайте внимательнее рассмотрим две страны с историческими хорошими показателями отказоустойчивости, совершившими наиболее значительные перемены за прошедший год: Украину и Соединенные Штаты Америки.

Во-первых, Украина резко улучшила собственные позиции в рейтинге IPv4. За подробностями мы обратились к Максу Тульеву, члену правления Украинской Интернет Ассоциации за подробностями о том, что произошло в его стране в течение прошедших 12 месяцев:
«Самым значительным изменением, которое мы видим в Украине, является падение стоимости транзита данных. Это позволяет большинству прибыльных интернет-компаний приобрести несколько вышестоящих соединений за пределами наших границ. Hurricane Electric особенно активен на рынке, предлагая «международный транзит» без прямого контракта, потому что они не удаляют префиксы с бирж — просто анонсируют клиентский конус на местных точках обмена трафиком».
Основная AS для Украины изменилась с AS1299 Telia на AS3255 UARNET. Г-н Тульев пояснил, что, будучи бывшей образовательной сетью, сейчас UARNET стала активным транзитом, особенно в Западной Украине.

Теперь перенесемся на другую часть Земли — в США.
Наш главный вопрос довольно прост — каковы детали падения устойчивости США на 11 позиций?

В 2018 году США заняли 7-е место рейтинга с 4,04% страны, потенциально теряющими глобальную доступность в случае сбоя AS209. Наш отчет за 2018 года дает некоторое представление о том, что изменилось в Соединенных Штатах год назад:
«Но крупная новость связана именно с тем, что произошло в Соединенных Штатах. В течение двух лет подряд — 2016 и 2017 — мы определяли AS174, Cogent, как решающего на этом рынке. Это уже не так — в 2018 году AS 209 CenturyLink заменила его, отправив Соединенные Штаты вверх на три позиции, до 7-го места в рейтинге IPv4.»
Результаты 2019 года показывают, что Соединенные Штаты занимают 18-е место с показателем устойчивости, упавшим до 6,83% — изменение более чем на 2,5%, чего обычно достаточно для выпадения из топ 20 рейтинга устойчивости IPv4.

Мы связались с основателем Hurricane Electric, Майком Лебером, чтобы получить его комментарий относительно данной ситуации:
«Это естественное изменение, так как глобальный Интернет продолжает расти. ИТ-инфраструктура в каждой стране растет и модернизируется для поддержки информационной экономики, которая постоянно меняется и развивается. Производительность повышает качество обслуживания клиентов и доходы. Локальность ИТ-инфраструктуры повышает производительность. Это макротехноэкономические силы».
Всегда интересно анализировать происходящее в крупнейшей экономике мира, тем более, когда мы наблюдаем такое значительное падение рейтинга надежности. Напомним — в прошлом году мы отметили замену AS174 Cogent на AS209 CenturyLink в Соединенных Штатах. В этом году CenturyLink уступил свою позицию в качестве критической AS страны другой автономной системе — AS3356, принадлежащей Level3. Это неудивительно, поскольку две компании фактически представляют одну организацию с момента поглощения 2017 года. Отныне связность CenturyLink полностью зависима от связности Level3. Можно сделать вывод, что общее снижение надежности связано с инцидентом, произошедшим в сети Level3/CenturyLink в конце 2018 года, когда 4 неидентифицированных сетевых пакета прервали работу Интернета на несколько часов, на значительной территории США. Данное событие определенно повлияло на способность CenturyLink/Level3 обеспечивать транзит крупнейшим игрокам в стране, некоторые из которых могли переключится на других транзитных провайдеров или просто диверсифицировали каналы связи и вышестоящие подключения. Тем не менее, несмотря на все вышесказанное, Level3 остается наиболее важным поставщиком связности для США, отключение которого может привести к отсутствию глобальной доступности для почти 7% локальных автономных систем, полагающихся на данный транзит.

Италия вернулась в топ 20 на 17-м месте с той же AS12874 Fastweb, что, вероятно, является результатом значительного улучшения качества и количества путей к этому провайдеру. Ведь вместе с ним в 2017 году Италия опустилась на 21-е место, покинув топ 20.

В 2019 году Сингапур, который вошел в топ 20 рейтинга только в прошлом году, но сразу же на 5-е место, снова получил новую критическую ASN. В прошлом году мы постарались объяснить изменения в регионах Юго-Восточной Азии. В этом году критическая для Сингапура AS сменилась с прошлогодней AS3758 SingNet на AS4657 Starnet. С этим изменением регион потерял всего одну позицию, опустившись на 6-е место рейтинга в 2019 году.

Китай совершил заметный скачок со 113-го места в 2018 году до 78 в 2019, с изменением порядка 5% в устойчивости IPv4 по нашей методологии. В IPv6 частичная подключенность Китая снизилась с 65,93% в прошлом году до чуть более чем 20% в этом. Основная ASN в IPv6 изменилась с AS9808 China Mobile в 2018 году на AS4134 в 2019. В IPv4 же AS4134, которой владеет China Telecom, была критической в течение многих лет.

В IPv6, при этом, китайский сегмент интернета опустился на 20 мест в рейтинге устойчивости 2019 года — с 10% в прошлом году до 23,5% в 2019 г.

Вероятно, все это свидетельствует лишь об одной простой вещи — China Telecom активно совершенствует свою инфраструктуру, оставаясь основной для Китая сетью связи с внешним Интернетом.

С ростом рисков кибербезопасности и, фактически, постоянным потоком новостей об атаках на интернет-инфраструктуру настало время всем правительствам, частным и государственным компаниям, но в первую очередь — рядовым пользователям внимательно оценить собственные позиции. Риски связанные со связностью регионов необходимо изучать тщательно и честно, анализируя истинные уровни надежности. Даже невысокие значения в рейтинге нестабильности могут вызвать настоящие проблемы с доступностью в случае массированной атаки на крупного, общенационального, поставщика критически важной службы, допустим, DNS. Не забывайте также, что внешний мир отключится от служб и данных расположенных внутри региона, в случае полной потери связности.

Наше исследование ясно показывает, что рынки интернет-провайдеров и операторов связи, основанные на конкуренции, в конечном итоге развиваются динамичнее, чтобы стать намного более стабильными и отказоустойчивыми в отношении рисков внутри и даже за пределами конкретного региона. Без конкурентного рынка отказ одной AS может и приведет к потере сетевого соединения у значительной части пользователей из страны или более обширного региона.