Своя точка обмена трафиком в дата-центре. Часть 1. Как это устроено

    В 90-е, когда российский интернет только зарождался, провайдерам из одного города приходилось обмениваться трафиком через Европу и платить за него транзитным и вышестоящим операторам (аплинкам). Конечный пользователь в итоге получал высокие цены на доступ в Интернет, ограничения по объему доступного трафика, большим временем отклика веб-ресурсов. Чтобы не гонять национальный трафик по заграничным городам и весям, местные провайдеры стали объединяться и создавать точки обмена трафиком в крупных городах.

    Сегодня речь пойдет о них: расскажем, зачем нам понадобилась собственная точка обмена трафиком DataLine-IX, как она устроена, и поделимся первыми результатами.


    Провайдеры ISP-A и ISP-B обмениваются трафиком своих сетей через точку обмена трафиком. Без нее обмен происходил бы через “большой” Интернет.

    Точка обмена Интернет-трафиком (Internet Exchange Point, IX) – это инфраструктура, позволяющая автономным системам обмениваться трафиком (пиринг) напрямую, в обход вышестоящих операторов связи (аплинков). Пиринг помогает участникам IX сократить маршруты передачи пакетов между сетями и снизить затраты на трафик. Если нужно соединиться сразу c нескольким участниками, то через точку обмена трафиком это сделать проще: вместо отдельного коннекта к каждому участнику – один к IX, где эти участники присутствуют. Это организационная сторона. Финансово участник IX тоже выигрывает за счет экономии на каналах и закупке трафика у аплинков.

    Для конечного пользователя плюсы тоже есть: уменьшаются сетевые задержки, сокращается время отклика ресурсов в Интернете.

    Точки обмена трафиком – вещь позитивная. Чем их больше, тем лучше связность Интернета и тем он доступнее для конечного пользователя.

    Первые точки обмена трафиком начали появляться с 1994 г. в крупных европейских городах: Лондоне (LINX), Франкфурте (DE-CIX), Амстердаме (AMS-IX), Москве (MSK-IX). Сейчас во всем мире работает около 580 IX.


    Крупнейшие точки обмена трафиком в России. Источник:internetexchangemap.com

    Когда в 2015 году мы задумались над собственной точкой обмена трафиком, в наших дата-центрах уже присутствовало более 40 операторов (сейчас их 53). Работала Meet-Me-Room, упрощающая подключение к любому оператору на наших площадках. Своя точка обменом трафиком дала бы еще больше возможностей для наших клиентов, особенно для интернет-провайдеров и контент-генераторов (игровые сервисы, CDN, видео-хостинги, медиа, соцсети):

    • улучшение связности сетевой инфраструктуры DataLine: при подключении к нашей сети клиентский трафик идет более короткими маршрутами с минимальным количеством транзитных участков;
    • уменьшение расходов участника IX на покупку IP-транзита у аплинков: часть трафика будет проходить через DataLine-IX;
    • построение более надежной сетевой инфраструктуры: с помощью DataLine-IX участник сможет организовать резервные маршруты и разгрузить каналы до других точек обмена трафиком;
    • доступ к трафику участников, не присутствующих на других точках обмена трафиком;
    • быстрое подключение к нескольким операторам связи через выделенный VLAN.

    Как это работает


    Инфраструктура точки обмена трафиком DataLine-IX распределена по двум площадкам – OST и NORD.

    На двух площадках работают 6 коммутаторов Extreme BlackDiamond X8. Два из них связывают дата-центры в единую сеть и формируют ядро сетевой инфраструктуры DataLine-IX (Core). К ядру подключаются по два узла доступа (Access) с каждой площадки. Новые участники присоединяются к точке обмена трафиком через эти узлы доступа.

    Между узлами ядра организовано 8 линков по 10G, которые объединены в логический канал с суммарной пропускной способностью 80 Gbps. Пропускная способность каналов, соединяющих ядро и узлы доступа, – 40 G.


    Топология точки обмена трафиком DataLine-IX.


    Один из Extreme BlackDiamond X8 на площадке OST.

    На одном шасси коммутатора BlackDiamond X8 может работать 768 портов 10 GbE (7.68 Tbps) или 192 порта 40 GbE (7.68 Tbps). По умолчанию для подключения новых участников мы используем 10 GbE порты, но по запросу можем предоставить 40 и 100 GbE порты. Вот все доступные стандарты подключения:

    • 1/10GbE SFP/SFP+ (SR/LR/ER/ZR);
    • 100/1000/10000 MbE (10GBaseT) RJ45;
    • 40GbE QSFP+ with SR4/LR4;
    • 100GbE CFP2 with SR10/LR4.

    Участники DataLine-IX обмениваются друг с другом маршрутами через сервер маршрутизации (Route Server, RS) по протоколу BGPv4. RS также обеспечивают фильтрацию маршрутов участников в соответствии c политиками Internet Routing Registry (IRR) и другими атрибутами протокола BGPv4 (AS_PATH, Next-hop и пр.).

    Серверы маршрутизации развернуты на двух серверах Huawei RH1288 V2-8S с UNIX-based средой.


    Cервер маршрутизации.

    Инфраструктура точки обмена трафиком объединяет участников в единый широковещательный домен (L2-домен), поэтому велик риск широковещательных штормов из-за мусорного BUM-трафика (broadcast, unknown destination address, multicast). Как минимум, шторм может привести к снижению пропускной способности каналов участников. В худшем сценарии будет потеряна связь с сервером маршрутизации, оборвутся BGP-сессии и вся инфраструктура IX накроется. Чтобы DataLine-IX не заштормило, мы используем многоуровневую защиту от BUM-трафика, ограничивая трафик следующим образом:

    1. Запрет на прием на портах участников всех multicast фреймов, кроме протоколов и конкретных типов сообщений, обеспечивающих корректную работу сетевых сервисов (LACP, ICMPv6 NS, ICMPv6 NA).
    2. Ограничение на передачу широковещательных фреймов (broadcast storm-control/broadcast rate-limit). В DataLine-IX они используются протоколом ARP для определения MAC-адреса по известному IP-адресу.
    3. Фильтрация поля ether-type. Обычно разрешается передача фреймов, несущих в себе IPv4, IPv6 и ARP.
    4. Обеспечение достоверности информации в ARP-сообщениях (ARP inspection). Участник отвечает только на ARP-запросы, касающиеся его IP-адреса на конкретном интерфейсе. Для ARP-пакетов также применяется инструмент rate-limit, ограничивающий количество ARP-пакетов в секунду.

    На третьем и четвертом уровнях OSI фильтруются протоколы динамической маршрутизации, кроме BGP, и иные протоколы, несущие угрозу участникам и самой инфраструктуре IX. При передаче маршрутной информации по BGP анализируются как сами префиксы, так и набор атрибутов для данного префикса (элементы AS_PATH, Next-hop, и т.д).

    Для новых участников IX действуют стандартные правила по настройке:

    1. На порту участника в сторону DataLine-IX должны быть отключены STP, IP redirects, LLDP, CDP, ARP proxy и другие link-local протоколы, за исключением ARP и IPv6 ND.
    2. Разрешен анонс Ethernet-фреймов: 0x0800 – IPv4, 0x0806 – ARP, 0x86dd – IPv6.
    3. На один порт – один MAC-адрес участника.
    4. Запрещен анонс сети IX в другие AS, не являющиеся участниками IX.
    5. Запрещено анонсирование default-маршрутов и full view.

    Сама процедура подключения выстроена так, чтобы у нас была возможность перепроверить правильность этих настроек. Сначала новый участник подключается в порт, находящийся в карантинном VLAN. Мы анализируем его трафик, и если все настроено правильно, то порт переводится в продуктивный VLAN. Там новый участник все еще изолирован от остальных: его префиксы не анонсируются остальным участникам IX, и сам участник тоже ничего не получает. Если все в норме, то сессии переводятся в продуктивный режим работы.

    Способы подключения к DataLine-IX


    Новые участники могут выбрать следующие варианты подключения к DataLine-IX:

    • Общий пиринг (Shared Peering) – обмен трафиком со всеми участниками IX через серверы маршрутизации.


      Схема общего пиринга.

    • Прямой пиринг (Private Peering) – обмен трафиком с отдельными участниками IX. В этом случае обмен трафиком организуется не через сервер маршрутизации (RS), а посредством установления прямых BGP-сессий между участниками. Такой способ подключения к точке обмена трафиком пригодится, когда нужно улучшить связность с одним или несколькими конкретными участниками IX.


      Схема прямого пиринга.

    • Доступ к выделенному VLAN (Private VLAN) – организация каналов связи через выделенный VLAN с одним или несколькими участниками. Такой способ может понадобиться для объединения в одном широковещательном домене (VLAN) нескольких портов одного участника или для объединения в одном VLAN нескольких участников.


      Схема подключения через выделенный VLAN.

    • Канал точка-точка (p2p) организуется через коммутационную фабрику IX с помощью технологии EoMPLS. Благодаря связности через выделенный VLAN не нужно прокладывать дополнительных кроссировок для организации канала p2p, достаточно просто иметь подключение к DataLine-IX.


      Схема подключения p2p.

    Что дальше?


    DataLine-IX пока еще на самом раннем этапе развития. На текущий момент у нас 38 участников, суммарное число маршрутов – 6889. Помимо наращивания числа участников, в ближайших планах – организация узлов доступа на внешних площадках.


    Статистика DataLine-IX на ru.map-ix.net


    Статистика участников DataLine-IX по по роду деятельности.

    Задавайте вопросы в комментариях, если что-то интересное осталось за кадром. Во второй части расскажем про полезные инструменты DataLine-IX для управлениями исходящими и входящими анонсами, защиты от DDoS-атак.
    DataLine
    145,00
    Экосистема на базе дата-центров TIER III
    Поделиться публикацией

    Комментарии 17

      0
      Не очень в тему, но всё же.
      Подскажите, если есть статистика, % трафика передаваемый по IPv6 в сравнении с четвёркой?
        0
        Пока не более 1%.
            0
            Спасибо, эти графики (и данные от RIPE) я видел, меня интересовал именно RU сегмент. Я так понимаю через этот IX преимущественно он маршрутизируется.
          0
          Как достигается технически:
          «Запрещен анонс сети IX в другие AS, не являющиеся участниками IX.
          Запрещено анонсирование default-маршрутов и full view.
          »
          P.s. Или это во второй части? :)
            0
            Запрещен анонс сети IX в другие AS, не являющиеся участниками IX.

            Технически это запретить нельзя. Держится на понимании участником принципов маршрутизации. Как говорится, запрещено не технически, а уставом :)
            Запрещено анонсирование default-маршрутов и full view

            С помощью BGP фильтров на основе IRR.
            0
            Очень хочется деталей, особенно в части того как построена маршрутизация.
            Можете более подробно описать? У вас выделенные серверы маршрутизации, они выполняют роль выносного route-engine или они являются route-reflector для «чёрных бриллиантов»?
              0
              Лично я из самой статьи сделал вывод, что коммутаторы предоставляют только L2, фильтруя на вход трафик по полю ethertype и защищая от штормов. А выделенный сервер работает как рефлектор маршрутов — все партнеры по IX строят с ним сессию и обмениваются с ним необходимыми маршрутами (сервер в самой сессии производит фильтрацию например по AS-PATH, что бы например кто-то из провайдеров-участников IX случайно или намеренно не выдал FV в пиринговый стык). Сам же роут-сервер держит только кучу BGP сессий и не форвардит трафик — ставить ради этих целей какой то еще выделенный маршрутизатор уровня MX240 — пустая трата денег.
                +1
                У нас развернуто два сервера маршрутизации. Да, можно сказать, что с RS — это route-engine, обособленный от коммутаторов. Каждый участник устанавливает BGP сессию с RS, далее на сервере после применения всех фильтров в master таблице маршрутизации формируется итоговый набор маршрутов для анонса остальным участникам. При анонсе маршрута участника атрибут next hop остается неизменным. За счет этого трафик идет напрямую через L2 домен коммутационной фабрики IX, которая построена на базе «черных бриллиантов».
                Если представить IX как один виртуальный коммутатор, то RS — это control-plane, а «черные бриллианты» — data-plane точки обмена трафиком.
                0
                Допустим я купил блок IP адресов у XXX-телекома — локального оператора.
                Все норм, маршруты есть, сеть работает, а вот трейс показывает что маршрут идет через Гондурас, пинги шкалят, хотя до самого XXX-телекома пинг меньше секунды.
                Кого пинать? Кто должен что делать и как вообще провайдерские маршрутизаторы получают маршруты до сеток?
                  0
                  Вам надо обращаться оператору, на котором трассировка начинает уходить на Гондурас, к операторам, в чьих узлах время отклика начинает отклоняться от нормы. Только эти операторы могут подкрутить свой трафик-инжиниринг, так чтобы было в обход Гондураса.
                    0
                    спасибо. А как-то нельзя обратиться в общую точку обмена траффика МОЯ-СТРАНА-IX, чтобы всем участникам траффика было разослан короткий маршрут?
                      0
                      я к чему веду… я то могу пнуть своего провайдера подкрутить маршруты и иметь короткий маршрут до своего блока, но я также хочу чтобы и другие пользователи других операторов имели такой же короткий маршрут, а не ходили через Гондурас
                        0
                        Понимаем вашу боль, но пока это не в наших силах… Надеемся, что в скором времени наша точка обмена трафиком будет самой крупной и всеобъемлющей в стране. И тогда можно будет к нам обращаться за помощью в подобных вопросах. :-)
                          0
                          да проблема то не в вас… я в общем спрашиваю ))) Я сам из Казахстана и хочу понять как это работает и как IX сеть раздает или информирует о маршрутах.
                            0
                            другими словами… если я пну провайдера, тот пропишет маршрут, другие операторы будут в курсе, что через него можно траффик прогнать и будет коротко и всем полезно?
                              0
                              Тактика верная в общих чертах, но успех не гарантирует :-)

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое