Пользователь VDS-хостинга задал нам вопрос о том, откуда берётся Интернет. И тут мы поняли, что это тот самый детский вопрос, на который не так-то просто нормально ответить.
Думаю, что 99 % людей ответят: берёт и приходит, а потом задумаются. Это настолько естественно и очевидно, что обычно просто не обсуждается. Ну там, знаете, оптика, она приходит в домик, в домике стоит коробка, а из коробки идёт медь. Вот примерно так оно и работает.
В теории всё так и есть, но на практике это выглядит немного иначе. И есть нюансы. Давайте покажу, откуда к нам приходит Интернет и в чём. А заодно поговорим про то, где фильтруется трафик и как это устроено в хостинге.
Для нас всё начинается вот с этой ракеты в Королёве:
Источник
Это памятник «Восток-2М» (8А292М), стоящий в Королёве примерно на том месте, где вообще был разработан «Восток». Перед ним находится люк, где одна трасса оптики разделяется на три к M9, или MSK-IX — московской международной телефонной станции № 9, где когда-то появился самый крупный узел обмена трафика. Сейчас это главное место, откуда Интернет поставляется в Москву. Из-за некоторых особенностей нашей территории бомбоубежища именно в этом люке под ракетой находится уязвимое место оптики, где все три канала идут вместе, и их легко перерубить экскаватором на протяжении примерно 120 метров. В других местах до и после ракеты такого нет.
Соответственно один луч идёт через наш ЦОД в Ивантеевку, поворачивает в Щёлково и заканчивается на M9-IX. Второй подземный ввод идёт через Ярославское шоссе, третий ввод — дополнительный, он скачет по столбам от коллектора до ЦОДа в одну сторону и до местного провайдера в другую, а провайдер уже врезается в кольцо оптики по городу и тоже попадает в девятку.
Мы сейчас говорим про наш первый ЦОД в Москве в бомбоубежище завода. Вот тут есть больше деталей про него. Трассы попадают в наш ЦОД тремя разными путями по территории завода и заходят в здание, под которым находится уже само убежище, с разных сторон. Вот первый ввод:
Он, кстати, продолжается дальше в советской старой грузовой лифтовой шахте (сейчас она не используется) и примерно вот так попадает уже на территорию дата-центра:
Вот ещё ввод — как раз от местного провайдера:
Это прямая тёмная оптика, никаких оптических уплотнителей (DWDM) у нас нет. Если нам понадобится больше ёмкости, то провайдеры просто выделят нам больше волокон, и мощности кольца хватит на это: там ещё много свободных пучков.
Далее все эти оптические линки приходят в коммутационное ядро, состоящее из коммутаторов Джунипер. Выводы из ядра уже соединяются с коммутаторами стоек, где стоят серверы, на которых хостятся ваши виртуальные машины.
Фальшпол, видно крадущийся кабель
То есть до коммутационного ядра приходит оптический кабель на 32 жилы тёмной оптики, большую часть из которых составляет резерв на расширение (потому что всё равно этот кабель кидать один раз, и стоимость кабеля даже близко не имеет значения на фоне стоимости прокладки и контракта на связь). В коммутационном ядре происходит магия, которая дальше разливает Интернет уже по локальной оптике до коммутаторов стоек. Каждый сервер имеет два аплинка: от своего коммутатора и от одного из соседних на случай выхода из строя своего. Коммутаторы стоек добавляют немного магии коммутации и ещё превращают оптический кабель в медный, уже втыкающийся в LAN-порты серверов.
Ещё один порт связывает наш служебный хаб для инженерного интерфейса с сервером. То есть итого в сервер заходят два «жирных» соединения для большого Интернета и один поменьше для инженерного доступа, чтобы не катать тележку с консолью. Среди прочего — чтобы не катать её из Москвы в Новосибирск, но это уже речь идёт про другие ЦОДы.
Коммутаторы ядра у нас все одинаковые. Меняются они обычно пачкой по мере схода с поддержки, устаревают медленнее серверных линеек железа. Лотки и соединения внутри ЦОДа выглядят так:
Некоторые коммутаторы стоек принимают оптику, некоторые — нет: к ним ещё нужен отдельный переходник.
Всё это работает просто для того, чтобы пакеты из Интернета приходили на ваш сервер, попадали куда нужно и, соответственно, отправлялись обратно в Интернет как надо. Фильтрация трафика и прочие хитрые защиты происходят в коммутационном ядре. То есть в него приходит сырой трафик. Создаётся software-defined-петля, которая гонит трафик не на коммутатор стойки, а на другую часть ядра, которая занимается фильтрацией по правилам (файрволл) или вычисляет сигнатуры DDoS-атаки (анти-DDoS). Дальше создаётся очищенный поток, который уже дальше пускается в маршрутизаторы стойки и по потребителям. Для более хитрых защит, требующих статистического анализа трафика, может создаваться дополнительная петля через специальные устройства, подключённые к ядру. Для некоторых ответственных госзаказчиков ещё нужны отечественные файрволлы, эти устройства устанавливаются на стойке на выходе из сервера. Однажды спецслужбы ловили у нас владельца биржи наркотиков, они принесли кучу бумажек, решений суда и свою железку типа файрволла, которую поставили в разрыв между сервером и коммутатором стойки. Также можно подключать центры очистки трафика для туннелирования потока через них, чтобы очистка происходила не на нашей точке, а к нам уже приезжал очищенный трафик: это имеет смысл при направленных атаках, начинающихся с DDoS-уровня в несколько сотен гигабит в секунду. У нас пока такой потребности не было.
Вот примерно так приходит Интернет в ЦОД. Если у вас есть вопросы любой сложности, то задавайте их. Как выяснилось, детские вопросы могут на некоторое время поставить в тупик.
Думаю, что 99 % людей ответят: берёт и приходит, а потом задумаются. Это настолько естественно и очевидно, что обычно просто не обсуждается. Ну там, знаете, оптика, она приходит в домик, в домике стоит коробка, а из коробки идёт медь. Вот примерно так оно и работает.
В теории всё так и есть, но на практике это выглядит немного иначе. И есть нюансы. Давайте покажу, откуда к нам приходит Интернет и в чём. А заодно поговорим про то, где фильтруется трафик и как это устроено в хостинге.
Для нас всё начинается вот с этой ракеты в Королёве:
Источник
Это памятник «Восток-2М» (8А292М), стоящий в Королёве примерно на том месте, где вообще был разработан «Восток». Перед ним находится люк, где одна трасса оптики разделяется на три к M9, или MSK-IX — московской международной телефонной станции № 9, где когда-то появился самый крупный узел обмена трафика. Сейчас это главное место, откуда Интернет поставляется в Москву. Из-за некоторых особенностей нашей территории бомбоубежища именно в этом люке под ракетой находится уязвимое место оптики, где все три канала идут вместе, и их легко перерубить экскаватором на протяжении примерно 120 метров. В других местах до и после ракеты такого нет.
Соответственно один луч идёт через наш ЦОД в Ивантеевку, поворачивает в Щёлково и заканчивается на M9-IX. Второй подземный ввод идёт через Ярославское шоссе, третий ввод — дополнительный, он скачет по столбам от коллектора до ЦОДа в одну сторону и до местного провайдера в другую, а провайдер уже врезается в кольцо оптики по городу и тоже попадает в девятку.
Мы сейчас говорим про наш первый ЦОД в Москве в бомбоубежище завода. Вот тут есть больше деталей про него. Трассы попадают в наш ЦОД тремя разными путями по территории завода и заходят в здание, под которым находится уже само убежище, с разных сторон. Вот первый ввод:
Он, кстати, продолжается дальше в советской старой грузовой лифтовой шахте (сейчас она не используется) и примерно вот так попадает уже на территорию дата-центра:
Вот ещё ввод — как раз от местного провайдера:
Это прямая тёмная оптика, никаких оптических уплотнителей (DWDM) у нас нет. Если нам понадобится больше ёмкости, то провайдеры просто выделят нам больше волокон, и мощности кольца хватит на это: там ещё много свободных пучков.
Далее все эти оптические линки приходят в коммутационное ядро, состоящее из коммутаторов Джунипер. Выводы из ядра уже соединяются с коммутаторами стоек, где стоят серверы, на которых хостятся ваши виртуальные машины.
Фальшпол, видно крадущийся кабель
То есть до коммутационного ядра приходит оптический кабель на 32 жилы тёмной оптики, большую часть из которых составляет резерв на расширение (потому что всё равно этот кабель кидать один раз, и стоимость кабеля даже близко не имеет значения на фоне стоимости прокладки и контракта на связь). В коммутационном ядре происходит магия, которая дальше разливает Интернет уже по локальной оптике до коммутаторов стоек. Каждый сервер имеет два аплинка: от своего коммутатора и от одного из соседних на случай выхода из строя своего. Коммутаторы стоек добавляют немного магии коммутации и ещё превращают оптический кабель в медный, уже втыкающийся в LAN-порты серверов.
Ещё один порт связывает наш служебный хаб для инженерного интерфейса с сервером. То есть итого в сервер заходят два «жирных» соединения для большого Интернета и один поменьше для инженерного доступа, чтобы не катать тележку с консолью. Среди прочего — чтобы не катать её из Москвы в Новосибирск, но это уже речь идёт про другие ЦОДы.
Коммутаторы ядра у нас все одинаковые. Меняются они обычно пачкой по мере схода с поддержки, устаревают медленнее серверных линеек железа. Лотки и соединения внутри ЦОДа выглядят так:
Некоторые коммутаторы стоек принимают оптику, некоторые — нет: к ним ещё нужен отдельный переходник.
Всё это работает просто для того, чтобы пакеты из Интернета приходили на ваш сервер, попадали куда нужно и, соответственно, отправлялись обратно в Интернет как надо. Фильтрация трафика и прочие хитрые защиты происходят в коммутационном ядре. То есть в него приходит сырой трафик. Создаётся software-defined-петля, которая гонит трафик не на коммутатор стойки, а на другую часть ядра, которая занимается фильтрацией по правилам (файрволл) или вычисляет сигнатуры DDoS-атаки (анти-DDoS). Дальше создаётся очищенный поток, который уже дальше пускается в маршрутизаторы стойки и по потребителям. Для более хитрых защит, требующих статистического анализа трафика, может создаваться дополнительная петля через специальные устройства, подключённые к ядру. Для некоторых ответственных госзаказчиков ещё нужны отечественные файрволлы, эти устройства устанавливаются на стойке на выходе из сервера. Однажды спецслужбы ловили у нас владельца биржи наркотиков, они принесли кучу бумажек, решений суда и свою железку типа файрволла, которую поставили в разрыв между сервером и коммутатором стойки. Также можно подключать центры очистки трафика для туннелирования потока через них, чтобы очистка происходила не на нашей точке, а к нам уже приезжал очищенный трафик: это имеет смысл при направленных атаках, начинающихся с DDoS-уровня в несколько сотен гигабит в секунду. У нас пока такой потребности не было.
Вот примерно так приходит Интернет в ЦОД. Если у вас есть вопросы любой сложности, то задавайте их. Как выяснилось, детские вопросы могут на некоторое время поставить в тупик.
_in_Korolyov,_Moscow_Oblast.jpg){kind=link}