Comments 35
Поясните непосвящённому, зачем, если каждый хостер может выдать тебе айпишник? Из описания в начале статьи, я нифига не понял понял что возникли какие-то проблемы с маршрутизацией (что за "связность"???) ipv6 от одного провайдера к другому? Только из-за этого? Хотелось бы понять, что была за проблема и как собственный блок айпишников решил её.
Было:
сервер у HostHatch (IPv4 адрес+ IPv6-сеть) - адреса в AS63473
сервер у TietoKettu (тоже dual-stack) - адреса в AS8829
IPv4 трафик идёт так:
HostHatch (AS 63473) -> AS 42708 -> AS 6667 -> AS 8829 (Elmo)
Elmo (AS 8829) -> AS 47605 -> AS 42708 -> AS 63473 (HostHatch)
IPv6 трафик так: HostHatch (AS 63473) -> AS 42708 -> разрыв
Обратно тоже разрыв при прохождении AS42708.
Стало:
сервер у TietoKettu - без изменений
сервер на HostHatch - IPv4 остался так есть. IPv6-сеть от провайдера я убрал. Вместо этого сделал Wireguard-туннель между этим сервером и ВМкой на Vultr поверх текущего IPv4-соединения (пинг между серверами ~1мс).
Туннель привозит ::/0 на HostHatch-сервер, а стороне Vultr-сервера маршрутизирует подсеть 2a12:bec0:509::/48 на HostHatch-сервер.
Теперь IPv6 трафик с HostHatch-сервера идёт так: HostHatch VM (AS216311) -> wg -> Vultr VM (AS216311) -> Vultr (AS20473) -> Arelion (AS1299) -> FNE Finland (AS47605) -> Elmo (AS8829). Теперь оба хоста обмениваются пакетами по IPv6. Это и есть связность.
Очень интересно. Сохранил.
Могли бы вы еще описать, какую задачу решали? Про разыв туннеля я понял. Я не понял, зачем.
В начале статьи было про виртуалки на bare-metal сервере в Hetzner. Каждой виртуалке нужен минимум один IP. Вместо IPv4 для каждой давайте выдадим каждой виртуалке IPv6 адрес и прокинем через WG куда-то хоть по IPv4, где для IPv6 есть выход в мир. Это понятно.
Вопрос - почему не установить такой туннель до сервера, к примеру, в Oracle Cloud? Даже на always free они дают и IPv6, и IPSEC. Только /56 правда. По крайней мере я так себе домой IPv6 прокидывал поиграться. А сейчас дома в лабе IPv6 через туннель до Hurricane tunnelbroker (в дополнение к линку /64 бесплатные /48 побиты на несколько VLAN).
Что реального помимо опыта дали вот эти заморочки с собственными адресами, если все равно трафик к IPv6 виртуалкам идет через туннель с VM где-то далеко? Количество адресов? Возможность переехать к другому хостеру, сохранив IPv6 адреса?
Вопрос был какую проблему решают все эти действия (желательно одним предложением)? Ну там, доступность стала больше, пинги меньше, сервер стал доступен клиентам по IPv6, хотя провайдер\хостер не дают IPv6. Вы получили свой пулл IPv6 адресов с которыми можете переезжать по миру в любой DC.
Вместо этого сделал Wireguard-туннель .. поверх текущего IPv4-соединения
А почему нельзя было сделать WG-туннель между HostHatch-Elmo серверми и завернуть IPv6 сразу туда?
Проблему нестабильности IPv6 соединения. После очередного обслуживания ноды не пинговался даже шлюз.
Можно было сделать и прямой туннель до Elmo, но это было не решило проблему доступа в IPv6-Интернет.
Но у вас же прикладной сервис, или более сложная система?
Если прикладной, то достаточно открыть внешние сервисы на каждой точке, анонсировать IP сервисов через DNS зону с достаточно коротким времени жизни, мониторить корректность работы, в случае аномалий отключать проблемный интерфейс через DNS. Балансировать/реплицировать можно, тунеллируя между серверами через тот же IPv4 (либо через IPv6, смотря что вышибет в конкретном инциденте).
Хотя по вашей схеме вы по сути получили ещё виртуалку-арбитра для мониторингов/профилактики сплитбрейнов, и гибкость по размещению узлов в совсем не связанных точках. Но и с вышеописанной схемой с третьей виртуалкой можно было бы получить то же самое (к тому же, дополнительно еще CDN подключить, наверное, не помешает)
А каким образом можно сравнить движение пакета?
У меня дуалстак 4/6 на рт.
Некоторые сайты вообще не работает через 6, например, телеграмм не работает вообще. Ни на ПК, ни в веб браузере.
Некоторые сайты, субъективно, медленно работают
А у Scaleblade PA или PI адреса?
Отличная статья для тех, кто решил сделать лабу "как у настоящего провайдера"!
Была бы баба девкой... Большое спасибо за статью, даже пытаться теперь не буду . VDS и WG, как вы и упоминали, действительно пока покрывают все нужды.
Владелец автономной системы в РФ, даже не оператор связи, в соответствии с законодательством должен чуть ли не сорм поставить, и много всяких отчетиков. По этой причине одному юрику пытались сделать решение на основе private as, ему нужен было два аплинка, но не один федерал так подключать не захотел.
Неправда ваша. Если не оператор связи, то просто ркн возбуждается и желает добавить себя в твои пиры на bgp. И свои DNS хочет, чтобы ты поставил себе. (Никто не проверяет, что по маршрутам ходит трафик, а к днс идут обращения). Плюс шлют тебе письма постоянно с требованиями о выполнении (как было про чат-боты недавно). На этом все, по факту.
Некисло у вас там зарегулировано всё. Теперь понятно почему в России так мало энтузиастов с IPv6.
Так и для IPv4 это всё нужно. IPv6 тут умер из за VK однажды сломавшего половину Рунета. А до этого многие с IPv6 игрались.
По моему AS нужна только тем, кто хочет проблем за свои же деньги. Часто ли ядро сети провайдеров теряет связь с интернетом? Последний раз я такое видел из за ТСПУ, а не из за обрыва кабеля. А BGP тут никак не поможет. Резерв до ядра провайдера может быть L2TP-тунеллем до сервера провайдера, через LTE-модем. А если нужно сменить провайдера, то почему бы не сменить адреса? Это критично только для DNS, а фаерволлы лучше сразу настраивать на доверие только IPSec трафику, а не конкретной сети.
А где можно почитать про то, как ВК сломал половину Рунета?
Пока что нашел только это https://habr.com/ru/articles/159427/
А если нужно сменить провайдера, то почему бы не сменить адреса?
Потому что на них работают внешние сервисы, а также привязаны ACL и IPSec-туннели с партнёрами и клиентами, где согласование новых может занять несколько месяцев.
Кроме отказа ядра провайдера могут быть много других различных ситуаций для решения которых потребуется время.
Например ухудшение параметров доступа к важным для вашей организации ресурсам, Или клиенты из определенных мест сталкиваются с проблемами доступа к ресурсам вашей организации. Вот тогда и начинает работать другой проваедер пока вы бодаетесь по несколько дней с проблемным
У меня желание экспериментировать дальше уменьшилось сильно после того как выяснилось что резервный провайдер(билайн) - в IPv6 не умеет ни в какой форме и не планирует.
При этом даже если провайдер дает статический IPv4 и дает IPv6 - это IPv6 будет динамический и это будет /64, вопросы на тему - на рекомендации RIPE про хотя бы /6 для домашних пользователей - у нас так работает, на вопросы как мне внутренние сетки городить с этой их /64 - аналогично.
А почти до нуля уменьшилось когда интернетом нормально пользоваться без постоянно активного VPN и заброски туда части трафика (список принимается по BGP) - стало невозможно. При этом часть адресов как раз ни в коем случае нельзя в туннель. Еще и IPv6-адреса вмешивать во все это - ну его нафиг.
Для своего железа живущего дома и у хостеров - проблемы с адресами я решаю:
cloudflare и их туннелями
проброс IPv4 с хостера (где их можно купить сравнительно дешево а кое где - единоразово но привязка к серверу)
Зачем целая сеть? Достаточное просто адреса ipv6
Как я перестал бояться и вышел в Интернет со своей IPv6-сетью