Архитектура Рунета

    Как знают наши читатели, Qrator.Radar неустанно исследует глобальную связность протокола BGP, равно как и региональную. Так как «Интернет» является сокращением от «interconnected networks» — «взаимосвязанных сетей», наилучшим способом обеспечения высоких качества и скорости его работы является богатая и разнообразная связность индивидуальных сетей, чье развитие мотивировано в первую очередь конкуренцией.

    Отказоустойчивость интернет-соединения в любом отдельно взятом регионе или стране связана с количеством альтернативных маршрутов между автономными системами — AS. Однако, как мы уже неоднократно писали в наших исследованиях национальной устойчивости сегментов глобальной сети, некоторые пути становятся более важными по-сравнению с остальными (например, пути до Tier-1 транзитных провайдеров или AS, на которых размещены авторитативные DNS-серверы) — это значит, что наличие как можно большего числа альтернативных маршрутов в итоге является единственным жизнеспособным способом обеспечить надежность системы (в смысле AS).

    В этот раз, мы поближе посмотрим на устройство интернет-сегмента Российской Федерации. Есть причины не сводить глаз с данного сегмента: согласно данным, которые предоставляет база данных регистратора RIPE, к РФ относится 6183 AS из 88664 зарегистрированных глобально, что составляет 6,87%.

    Такой процент ставит Россию на второе место в мире по данному показателю, сразу после США (30,08% зарегистрированных AS) и перед Бразилией, владеющей 6,34% всех автономных систем. Эффекты, которые возникают вследствие изменений российской связности, могут наблюдаться в других странах, зависимых от или примыкающих к данной связности и, наконец, на уровне почти любого интернет-провайдера.

    Обзор


    image
    Диаграмма 1. Распределение автономных систем между странами в IPv4 и IPv6, топ-20 стран

    В IPv4 интернет-провайдерами из Российской Федерации анонсируется 33933 из 774859 глобально видимых сетевых префиксов, что представляет 4,38% и ставит российский интернет-сегмент на пятое место такого рейтинга. Данные префиксы, анонсируемые исключительно из RU-сегмента, покрывают 4,3*10^7 уникальных IP-адресов из 2,9*10^9 анонсируемых глобально — 1,51%, 11 место.

    image
    Диаграмма 2. Распределение сетевых префиксов между странами в IPv4, топ-20 стран

    В рамках IPv6 интернет-провайдерами из Российской Федерации анонсируется 1831 из 65532 глобально видимых префиксов, что представляет 2,79% и 7 место. Данные префиксы покрывают 1.3*10^32 уникальных IPv6 адресов из 1,5*10^34 анонсируемых глобально — 0,84% и 18 место.

    image
    Диаграмма 3. Распределение сетевых префиксов между странами в IPv6, топ-20 стран

    Индивидуальный размер


    Одним из многих способов оценить связность и надежность Интернета в отдельной стране является ранжирование автономных систем, относящихся к данному региону, по количеству анонсируемых префиксов. Данная методика, однако, уязвима к деагрегации маршрутов, что постепенно балансируется фильтрацией избыточно деагрегированных префиксов на оборудовании интернет-провайдеров, в первую очередь по причине постоянного и неизбежного роста таблиц маршрутизации, занимающих память.

     
    Топ-20 IPv4
     
     
    Топ-20 IPv6  
    ASN
    AS Name
    Количество префиксов
    ASN
    AS Name
    Количество префиксов
    12389
    ROSTELECOM-AS
    2279
    31133
    MF-MGSM-AS
    56
    8402
    CORBINA-AS
    1283
    59504
    vpsville-AS
    51
    24955
    UBN-AS
    1197
    39811
    MTSNET-FAR-EAST-AS
    30
    3216
    SOVAM-AS
    930
    57378
    ROSTOV-AS
    26
    35807
    SkyNet-SPB-AS
    521
    12389
    ROSTELECOM-AS
    20
    44050
    PIN-AS
    366
    42385
    RIPN-RU
    20
    197695
    AS-REGRU
    315
    51604
    EKAT-AS
    19
    12772
    ENFORTA-AS
    291
    51819
    YAR-AS
    19
    41704
    OGS-AS
    235
    50543
    SARATOV-AS
    18
    57129
    RU-SERVERSGET-KRSK
    225
    52207
    TULA-AS
    18
    31133
    MF-MGSM-AS
    216
    206066
    TELEDOM-AS
    18
    49505
    SELECTEL
    213
    57026
    CHEB-AS
    18
    12714
    TI-AS
    195
    49037
    MGL-AS
    17
    15774
    TTK-RTL
    193
    41682
    ERTH-TMN-AS
    17
    12418
    QUANTUM
    191
    21191
    ASN-SEVERTTK
    16
    50340
    SELECTEL-MSK
    188
    41843
    ERTH-OMSK-AS
    15
    28840
    TATTELECOM-AS
    184
    42682
    ERTH-NNOV-AS
    15
    50113
    SuperServersDatacenter
    181
    50498
    LIPETSK-AS
    15
    31163
    MF-KAVKAZ-AS
    176
    50542
    VORONEZH-AS
    15
    21127
    ZSTTKAS
    162
    51645
    IRKUTSK-AS
    15
    Таблица 1. Размер AS по количеству анонсируемых префиксов

    Мы используем агрегированный размер анонсированного адресного пространства в качестве более надежной метрики для сравнения размеров автономных систем, который определяет ее потенциал и пределы, до которых она может масштабироваться. Эта метрика не всегда релевантна в IPv6 в силу действующих политик выделения IPv6 адресов RIPE NCC и заложенной в протокол избыточности.

    Постепенно, данная ситуация будет балансироваться ростом использования IPv6 в российском сегменте интернета и развитием практик работы с протоколом IPv6.

     
    Топ-20 IPv4
     
     
    Топ-20 IPv6
     
    ASN
    AS Name
    Количество IP-адресов
    ASN
    AS Name
    Количество IP-адресов
    12389
    ROSTELECOM-AS
    8994816
    59504
    vpsville-AS
    2.76*10^30
    8402
    CORBINA-AS
    2228864
    49335
    NCONNECT-AS
    2.06*10^30
    12714
    TI-AS
    1206272
    8359
    MTS
    1.43*10^30
    8359
    MTS
    1162752
    50113
    SuperServersDatacenter
    1.35*10^30
    3216
    SOVAM-AS
    872608
    201211
    DRUGOYTEL-AS
    1.27*10^30
    31200
    NTK
    566272
    34241
    NCT-AS
    1.27*10^30
    42610
    NCNET-AS
    523264
    202984
    team-host
    1.27*10^30
    25513
    ASN-MGTS-USPD
    414464
    12695
    DINET-AS
    9.51*10^29
    39927
    Elight-AS
    351744
    206766
    INETTECH1-AS
    8.72*10^29
    20485
    TRANSTELECOM
    350720
    20485
    TRANSTELECOM
    7.92*10^29
    8342
    RTCOMM-AS
    350464
    12722
    RECONN
    7.92*10^29
    28840
    TATTELECOM-AS
    336896
    47764
    mailru-as
    7.92*10^29
    8369
    INTERSVYAZ-AS
    326912
    44050
    PIN-AS
    7.13*10^29
    28812
    JSCBIS-AS
    319488
    45027
    INETTECH-AS
    7.13*10^29
    12332
    PRIMORYE-AS
    303104
    3267
    RUNNET
    7.13*10^29
    20632
    PETERSTAR-AS
    284416
    34580
    UNITLINE_MSK_NET1
    7.13*10^29
    8615
    CNT-AS
    278528
    25341
    LINIYA-AS
    7.13*10^29
    35807
    SkyNet-SPB-AS
    275968
    60252
    OST-LLC-AS
    7.13*10^29
    3267
    RUNNET
    272640
    28884
    MR-SIB-MTSAS
    6.73*10^29
    41733
    ZTELECOM-AS
    266240
    42244
    ESERVER
    6.44*10^29
    Таблица 2. Размер AS по количеству анонсируемых IP-адресов

    Обе метрики — количество анонсируемых префиксов и агрегированный размер адресного пространства — поддаются манипуляции. Хотя мы и не увидели подобного поведения от упомянутых AS за время проведения исследования.

    Связность


    Существует 3 основных типа отношений между автономными системами:

    • Клиент: платит другой AS за транзит трафика;
    • Пиринг-партнер: AS обменивающаяся своим и клиентским трафиком бесплатно;
    • Поставщик: получает платежи за транзит трафика от других AS.

    Обычно, данные типы взаимоотношений одинаковы для любых двух интернет-провайдеров, что подтверждается в рассматриваемом нами регионе РФ. Тем не менее, иногда бывает, что два интернет-провайдера имеют разные типы отношений в разных регионах, например обмениваясь бесплатно в Европе, но имея коммерческие отношения в Азии.

     
    Топ-20 IPv4
     
     
    Топ-20 IPv6
     
    ASN
    AS Name
    Количество клиентов в регионе
    ASN
    AS Name
    Количество клиентов в регионе
    12389
    ROSTELECOM-AS
    818
    20485
    TRANSTELECOM
    94
    3216
    SOVAM-AS
    667
    12389
    ROSTELECOM-AS
    82
    20485
    TRANSTELECOM
    589
    31133
    MF-MGSM-AS
    77
    31133
    MF-MGSM-AS
    467
    20764
    RASCOM-AS
    72
    8359
    MTS
    313
    3216
    SOVAM-AS
    70
    20764
    RASCOM-AS
    223
    9049
    ERTH-TRANSIT-AS
    58
    9049
    ERTH-TRANSIT-AS
    220
    8359
    MTS
    51
    8732
    COMCOR-AS
    170
    29076
    CITYTELECOM-AS
    40
    2854
    ROSPRINT-AS
    152
    31500
    GLOBALNET-AS
    32
    29076
    CITYTELECOM-AS
    143
    3267
    RUNNET
    26
    29226
    MASTERTEL-AS
    143
    25478
    IHOME-AS
    22
    28917
    Fiord-AS
    96
    28917
    Fiord-AS
    21
    25159
    SONICDUO-AS
    94
    199599
    CIREX
    17
    3267
    RUNNET
    93
    29226
    MASTERTEL-AS
    13
    31500
    GLOBALNET-AS
    87
    8732
    COMCOR-AS
    12
    13094
    SFO-IX-AS
    80
    35000
    PROMETEY
    12
    31261
    GARS-AS
    80
    49063
    DTLN
    11
    25478
    IHOME-AS
    78
    42861
    FOTONTELECOM
    10
    12695
    DINET-AS
    76
    56534
    PIRIX-INET-AS
    9
    8641
    NAUKANET-AS
    73
    48858
    Milecom-as
    8
    Таблица 3. Связность AS по количеству клиентов

    Количество клиентов заданной AS отображает ее роль, как прямого поставщика услуги интернет-связности коммерческим потребителям.

     
    Топ-20 IPv4
     
     
    Топ-20 IPv6
     
    ASN
    AS Name
    Количество пиринг-партнеров в регионе
    ASN
    AS Name
    Количество пиринг-партнеров в регионе
    13238
    YANDEX
    638
    13238
    YANDEX
    266
    43267
    First_Line-SP_for_b2b_customers
    579
    9049
    ERTH-TRANSIT-AS
    201
    9049
    ERTH-TRANSIT-AS
    498
    60357
    MEGAGROUP-AS
    189
    201588
    MOSCONNECT-AS
    497
    41617
    SOLID-IFC
    177
    44020
    CLN-AS
    474
    41268
    LANTA-AS
    176
    41268
    LANTA-AS
    432
    3267
    RUNNET
    86
    15672
    TZTELECOM
    430
    31133
    MF-MGSM-AS
    78
    39442
    UNICO-AS
    424
    60764
    TK-Telecom
    74
    39087
    PAKT-AS
    422
    12389
    ROSTELECOM-AS
    52
    199805
    UGO-AS
    418
    42861
    FOTONTELECOM
    32
    200487
    FASTVPS
    417
    8359
    MTS
    28
    41691
    SUMTEL-AS-RIPE
    399
    20764
    RASCOM-AS
    26
    13094
    SFO-IX-AS
    388
    20485
    TRANSTELECOM
    17
    60357
    MEGAGROUP-AS
    368
    28917
    Fiord-AS
    16
    41617
    SOLID-IFC
    347
    31500
    GLOBALNET-AS
    14
    51674
    Mehanika-AS
    345
    60388
    TRANSNEFT-TELECOM-AS
    14
    49675
    SKBKONTUR-AS
    343
    42385
    RIPN-RU
    13
    35539
    INFOLINK-T-AS
    310
    3216
    SOVAM-AS
    12
    42861
    FOTONTELECOM
    303
    49063
    DTLN
    12
    25227
    ASN-AVANTEL-MSK
    301
    44843
    OBTEL-AS
    11
    Таблица 4. Связность AS по количеству пиринг-партнеров

    Большое количество пиринг-партнеров может значительно улучшить связность целого региона. Здесь важны, хотя и не обязательны, точки обмена трафиком (IX — Internet Exchange) — крупнейшие интернет-провайдеры обычно не участвуют в региональном обмене (за несколькими, достойными упоминания исключениями, такими как NIXI) из-за природы их бизнеса.

    Для контент-провайдера количество пиринг-партнеров может косвенно служить индикатором объема генерируемого трафика — стимул обмениваться большими его объемами бесплатно является фактором мотивации (достаточным для большинства локальных интернет-провайдеров) к тому, чтобы видеть в контент-провайдере достойного кандидата в пиринг-партнеры. Есть и обратные случаи, когда контент-провайдеры не поддерживают политику значительного числа региональных соединений, что делает данный индикатор не слишком точным для оценки размера именно контент-провайдеров, то есть объема генерируемого ими трафика.

     
    Топ-20 IPv4
     
     
    Топ-20 IPv6
     
    ASN
    AS Name
    Размер клиентского конуса
    ASN
    AS Name
    Размер клиентского конуса
    3216
    SOVAM-AS
    3083
    31133
    MF-MGSM-AS
    335
    12389
    ROSTELECOM-AS
    2973
    20485
    TRANSTELECOM
    219
    20485
    TRANSTELECOM
    2587
    12389
    ROSTELECOM-AS
    205
    8732
    COMCOR-AS
    2463
    8732
    COMCOR-AS
    183
    31133
    MF-MGSM-AS
    2318
    20764
    RASCOM-AS
    166
    8359
    MTS
    2293
    3216
    SOVAM-AS
    143
    20764
    RASCOM-AS
    2251
    8359
    MTS
    143
    9049
    ERTH-TRANSIT-AS
    1407
    3267
    RUNNET
    88
    29076
    CITYTELECOM-AS
    860
    29076
    CITYTELECOM-AS
    84
    28917
    Fiord-AS
    683
    28917
    Fiord-AS
    70
    3267
    RUNNET
    664
    9049
    ERTH-TRANSIT-AS
    65
    25478
    IHOME-AS
    616
    31500
    GLOBALNET-AS
    54
    43727
    KVANT-TELECOM
    476
    25478
    IHOME-AS
    33
    31500
    GLOBALNET-AS
    459
    199599
    CIREX
    24
    57724
    DDOS-GUARD
    349
    43727
    KVANT-TELECOM
    20
    13094
    SFO-IX-AS
    294
    39134
    UNITEDNET
    20
    199599
    CIREX
    290
    15835
    MAP
    15
    29226
    MASTERTEL-AS
    227
    29226
    MASTERTEL-AS
    14
    201706
    AS-SERVICEPIPE
    208
    35000
    PROMETEY
    14
    8641
    NAUKANET-AS
    169
    49063
    DTLN
    13
    Таблица 5. Связность AS по размеру клиентского конуса

    Клиентский конус представляет собой множество всех AS, являющихся прямо или косвенно зависимыми на рассматриваемой автономной системе. С экономической точки зрения, каждая AS внутри клиентского конуса является, прямо или косвенно, платящим клиентом. На более высоком уровне, количество AS внутри клиентского конуса, равно как и количество прямых потребителей, является ключевым показателем связности.

    Наконец, мы приготовили для вас еще одну таблицу, рассматривающую связность до ядра Рунета. Понимая структуру ядра региональной связности, исходя из числа прямых клиентов и размера клиентского конуса для каждой автономной системы в регионе, мы можем подсчитать, насколько далеко они находятся от крупнейших в регионе транзитных интернет-провайдеров. Чем ниже число — тем выше связность. «1» означает, что для всех видимых путей существует прямая связность с региональным ядром.

     
    IPv4 top 20
     
     
    IPv6 top 20
     
    ASN
    AS Name
    Connectivity rating
    ASN
    AS Name
    Connectivity rating
    8997
    ASN-SPBNIT
    1.0
    21109
    CONTACT-AS
    1.0
    47764
    mailru-as
    1.0
    31133
    MF-MGSM-AS
    1.0
    42448
    ERA-AS
    1.0
    20485
    TRANSTELECOM
    1.0
    13094
    SFO-IX-AS
    1.0
    47541
    VKONTAKTE-SPB-AS
    1.0
    47541
    VKONTAKTE-SPB-AS
    1.07
    13238
    YANDEX
    1.05
    13238
    YANDEX
    1.1
    8470
    MAcomnet
    1.17
    3216
    SOVAM-AS
    1.11
    12389
    ROSTELECOM-AS
    1.19
    48061
    GPM-TECH-AS
    1.11
    41722
    MIRAN-AS
    1.2
    31133
    MF-MGSM-AS
    1.11
    8359
    MTS
    1.22
    8359
    MTS
    1.12
    60879
    SYSTEMPROJECTS-AS
    1.25
    41268
    LANTA-AS
    1.13
    41268
    LANTA-AS
    1.25
    9049
    ERTH-TRANSIT-AS
    1.16
    44020
    CLN-AS
    1.25
    20485
    TRANSTELECOM
    1.18
    29226
    MASTERTEL-AS
    1.25
    29076
    CITYTELECOM-AS
    1.18
    44943
    RAMNET-AS
    1.25
    12389
    ROSTELECOM-AS
    1.23
    12714
    TI-AS
    1.25
    57629
    IVI-RU
    1.25
    47764
    mailru-as
    1.25
    48297
    DOORHAN
    1.25
    44267
    IESV
    1.25
    42632
    MNOGOBYTE-AS
    1.25
    203730
    SVIAZINVESTREGION
    1.25
    44020
    CLN-AS
    1.25
    3216
    SOVAM-AS
    1.25
    12668
    MIRALOGIC-AS
    1.25
    24739
    SEVEREN-TELECOM
    1.29
    Таблица 6. Связность AS по расстоянию до ядра региональной связности

    Что может быть предпринято для улучшения общей связности и, в результате, стабильности, надежности и безопасности любой страны, Российской Федерации в частности? Вот лишь некоторые из мер:

    • Налоговые вычеты и другие льготы для локальных операторов точек обмена трафиком, а также свободный доступ к ним;
    • Бесплатный или дешевый сервитут земли под прокладку оптоволоконных коммуникационных линий;
    • Проведение тренингов и обучающих занятий для технического персонала в отдаленных регионах, включая воркшопы и другие форматы обучения лучшим практикам работы с BGP. RIPE NCC организует часть из них, доступных по ссылке.


    Данные, представленные выше, являются выдержкой из исследования, проведённого Qrator Labs в отношении второго по размерам в мире регионального Интернет-сегмента Российской Федерации (известного также как «Рунет») на основе открытых данных, собираемых и обрабатываемых в рамках проекта Radar. Презентация полного исследования заявлена в качестве воркшопа (workshop) в рамках 10th Asia Pacific Regional Internet Governance Forum в июле. Запрос аналогичных данных для сегментов иных стран и регионов можно направить на e-mail-адрес mail@qrator.net.
    Qrator Labs
    118,24
    DDoS Attacks Mitigation & Continuous Availability
    Поделиться публикацией

    Комментарии 15

      +1
      Из Москвы:

      traceroute to gosuslugi.ru (109.207.1.97), 64 hops max, 52 byte packets

      4 10.2.254.230 (10.2.254.230) 2.806 ms 3.591 ms 2.447 ms
      5 rti-bb-be6.corbina.net (195.14.54.110) 48.591 ms 47.641 ms 48.234 ms
      6 m9-crs-be8.corbina.net (195.14.54.52) 43.795 ms
      m9-crs-2-be8.corbina.net (195.14.62.86) 39.992 ms 40.844 ms
      7 ancotel-bb-ae2.fra.corbina.net (195.14.62.111) 46.847 ms
      83.102.167.69 (83.102.167.69) 42.639 ms
      ancotel-bb-ae2.fra.corbina.net (195.14.62.111) 42.970 ms
      8 xe9-1-5.franco71.fra.seabone.net (89.221.34.56) 40.585 ms 39.546 ms
      xe9-3-5.franco71.fra.seabone.net (89.221.34.85) 43.478 ms
      9 rostelecom.franco71.fra.seabone.net (195.22.214.27) 43.857 ms 42.443 ms 42.469 ms
      10 213.59.212.217 (213.59.212.217) 58.380 ms 43.264 ms 48.889 ms
      11 109.207.0.194 (109.207.0.194) 43.093 ms 42.577 ms 60.888 ms

        +6
        Отлично, но это ни о чём не говорит. Если в Интернете есть какой-то маршрут, это отнюдь не значит, что он единственный. Просто он по какой-то причине для оператора связи самый дешёвый. Регулировать это (если есть желание) намного надёжнее и эффективнее, соответственно, экономическими, а не административными рычагами.
          +5

          Всего-то Франкфурт, не так уж далеко, даже через атлантику петля не прошла.

            +1
            Вам читать про ОПГ провайдеров и пиринговые войны. Для начала тут: Рынок телекоммуникаций в России.
            Хотя может за 5 последних лет что-то поменялось, не следил за темой.
              0
              От ОПГ ничего не осталось.

              Ростелеком развалил всю задумку. Вошел в ОПГ и начал играть по своим правилам. Сейчас вообще на MSK-IX пирится…

              Мегафон сильно тужился, чтобы вступить в ОПГ, скупил Синтерру и Стартов, чтобы набрать трафика на свои сети, а в конце концов сделал свой IX.

              Все деньги переместились в розницу, все построили свои ШПД, интересы сместились туда же.
            0
            Слон на пороге посудной лавки....
              0
              А нет анализа ключевых IX и вообще подключений к глобальной сети?
              0
              По каким данным связность AS по количеству пиринг-партнеров оценивалась?
                +2
                ~600 bgp sessions по всему миру. сейчас radar это самый большой коллектор bgp данных в мире.
                  0
                  Моща. При этом, наверное, отслеживается и весь приватный, региональный пиринг, что значительно повышает достоверность данных…
                    0
                    увы, это ложное предположение ;)
                0
                Что может быть предпринято для улучшения общей связности и, в результате, стабильности, надежности и безопасности любой страны, Российской Федерации в частности? Вот лишь некоторые из мер


                Пункт под номером «0» специально опустили, т.к. всё равно все всё понимают?

                p.s. упс, как-то упустил, что пункты без нумерации :(
                  0
                  Есть причины не сводить глаз с данного сегмента: согласно данным, которые предоставляет база данных регистратора RIPE, к РФ относится 6183 AS из 88664 зарегистрированных глобально, что составляет 6,87%.
                  Такой процент ставит Россию на второе место в мире по данному показателю, сразу после США (30,08% зарегистрированных AS) и перед Бразилией, владеющей 6,34% всех автономных систем.

                  RIPE — это европейский же регистратор? 88664 — это на Европу или вообще? Тогда % от США к чему взят — к количеству AS RIPE или глобальному?

                  Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                  Самое читаемое