karen07 Jul 17 at 10:03

Я хотел просто посмотреть фильм, а собрал сеть из OpenWrt-роутеров почти как в ЦОД

Medium

14 min

22K

Network technologies * System administration * Mesh networks *

Tutorial

+31

Comments 36

vmcore Jul 17 at 12:42

За выбор отвечает exit-route.sh. По умолчанию он раз в пять секунд проверяет таблицу маршрутизации.

почему не использовать ospf со встроенными весами?

JBFW Jul 17 at 15:44

В OSPF может потребоваться анализ качества канала и донастройка весов.

Ну там, GSM-линк скорость потерял из-за дождя или переключения на другой диапазон, техработы на вышке, например...

karen07 Jul 17 at 18:17

У меня анонс служит маркером доступности exit-узла, а скрипт связывает его с заранее заданным IPIP-интерфейсом и ставит через него маршрут по умолчанию в таблицу 200)

karen07 Jul 17 at 18:18

Из за кольца между exit, то первый exit из списка будет доступен почти всегда)

bbasil Jul 17 at 13:20

Или bgp ?)

karen07 Jul 17 at 14:08

exit_order выбирает первый доступный exit и направляет default route в таблице 200 через соответствующий IPIP-интерфейс. OSPF/BGP сами по себе этого не делают: они выбирают маршрут, а привязка отдельной policy-таблицы к конкретному IPIP и fail-open всё равно потребуют дополнительной обвязки. Поэтому здесь скрипт проще.

andrew_zol Jul 17 at 15:41

я использую BFD в BIRD, определяет fail линка меньше чем за секунду и переключает выход автоматически, а точнее удаляет маршрут и автоматически становится активным маршрут с меньшим весом.

MaxSoniX Jul 17 at 15:37

Или IPv6 ?) 464xlat по вкусу

andrew_zol Jul 17 at 15:39

Интересный подход, у меня похожая топология (тоже 3 локации). Остановился на OpenWrt/BGP/BFD/WireGuard и таким образом связал все локации в единую сеть. Также с таким подходом можно иметь anycast роуты, например в каждой локации у меня есть свой dns сервер и из каждой сети он доступен по 10.111.111.111 при этом запросы идут на ближайший (если один упал, то автоматом роутится на другую сеть). Интересно было почитать, спасибо!

karen07 Jul 17 at 18:09

А как вы обновляете при выходе новых версий OpenWRT?)

andrew_zol Jul 17 at 19:53

если честно, никогда не делал, но полагаю что штатными средствами :) В любом случае мой конфиг живёт в 3 файлах (network, firewall, bird.conf) и во избежание неожиданностей будет достаточно просто их забекапить перед апгрейдом.

Lev3250 Jul 17 at 18:04

Что только не сделают, чтобы jellyfin не ставить...

А без шуток - круто!

karen07 Jul 17 at 18:08

jellyfin я поставил, но уже внутри всей это штуки, или вы предлагаете вывести jellyfin на белый IP?)

Lev3250 Jul 17 at 18:23

Если за reverse proxy, но почему нет?

karen07 Jul 17 at 18:26

я просто обитаю на L3/L4, наверно поэтому мне привычнее закрыть все VPN)

karen07 Jul 18 at 17:43

Буду рад если кто то расскажет, понравился ли ему опыт использования, и есть ли пожелания по доработкам)

Ox2A Jul 17 at 19:06

Автор просто хотел посмотреть фильм, но, кажется, чуть не собрал из роутеров Skynet, осторожнее, пожалуйста

karen07 Jul 17 at 19:08

ахахахаах👍

kamaz1 Jul 18 at 08:04

Tailscale? Он без пиринга, всегда прямые линки между всеми, но так ли пиринг нужен?

karen07 Jul 18 at 16:59

в моей схеме нужно чтобы пакет мог пройти транзитом через узлы)

Aelliari Jul 18 at 17:55

В tailscale завезли «peer relay», тогда твоя нода может выступать релеем без использования их (или selfhosted) DERP. Но я правильно понимаю, ваша схема позволяет перестроить маршрут через несколько соседей при нарушениях связности сразу возле нескольких нод?

Не думали о p2p mesh между нодами за NAT на нижнем уровне?

karen07 Jul 18 at 17:57

Через пробитие UDP дырок за NAT? p2p коннекты leaf узлов, если в моей терминологии?)

Aelliari Jul 18 at 17:59

Да, чтобы не гонять трафик через релей, если его можно отправить напрямую:) с fallback если соединение хуже или установить соединение не удалось)

karen07 Jul 18 at 18:01

Как раз поэтому я сделал spine leaf, где spine просто такие же роутре но с белым ip. Я как задумался сколько мороки с пробитие UDP дырок, мне как то перехотелось)

Aelliari Jul 18 at 18:12

В рамках беседы могу показать такую штуку, которую недавно увидел, как раз wg p2p через STUN.

Как любопытный артефакт тоже умеющий в wg, но в рамках вашей работы - бесполезный, вот такое китайское творение.

P.S. Транспорт для underlay в других протоколах вам же не интересен?

karen07 Jul 18 at 18:26

я одно время поддерживал wg и мой собственный протокол, https://github.com/karen07/QUICTun и хотел сделать openvpn, но потом понял что awg топ по скорости и лучше не распыляться)

karen07 Jul 18 at 18:03

Еще преимущество что у меня AWG линки, а не WG линки, которые сегодня есть а завтра их нет) причем линки генерятся на псевдослучайный порт, со случайными параметрами обфускации)

kamaz1 Jul 18 at 19:34

Это да, плюс, я тоже боялся когда разворачивал, что wg не поднимется, но нет, работает и на домашнем и на мобильном интернете. Пока работает, а с другой стороны, в наше нестабильное время у нас все "пока" работает. Вон сколько жалоб на проблемы vless протоколов было, а в это время awg прекрасно работал.

Tamashii Jul 18 at 12:40

Интересная инфраструктура получилась.

Правда, сети с маской /31 имеют только два адреса — адрес сети и широковещательный.

Обычно для связи роутеров "link2link" используется маска /32.

karen07 Jul 18 at 16:58

Для point-to-point линков /31 как раз корректна по RFC 3021: оба адреса используются концами соединения, сетевого и broadcast-адреса там нет)

Tamashii Jul 18 at 18:26

Тоже справедливо, действительно.

Igorello74 Jul 18 at 17:42

Очень грамотно и продумано сделано! Большое уважение за работу и спасибо, что поделились исходниками)

karen07 Jul 18 at 17:43

Буду рад если кто то расскажет, понравился ли ему опыт использования, и есть ли пожелания по доработкам)

BulldozerBSG Jul 18 at 17:51

Ничего не могу сказать по вашей схеме. Сам пользуюсь связкой tinc(в режиме hub)+bird(ospf) - на роутерах (openwrt) и vps (ubuntu). Все работает, за исключение того что soho роутеры слабенькие, из за этого пропускная способность не большая. Но всегда можно tinc поднять на конечном пс и подрубить в сеть

Sm4rtass 1 hour ago

Расскажите человеку про jellyfin

silver-golem 1 hour ago

Как сделать свой DMVPN (не привлекая внимания санитаров).