Домашний интернет: маршрутизация двух (и боле) провайдеров на основе Bird Routing Daemon

Наверное, многие пользователи домашнего интернета сталкивались с тем, как распараллелить два и более интернет-канала в домашней сети.
Эта проблему можно решить и хардварно (используя любое дешевое либо дорогое оборудование) и софтверно.
Какую же модель маршрутизации выбрать? Сразу можно отбросить RIP/OSPF/BGP, так как это домашний интернет и больше чем уверен (в моем случае и проверено), что вам не захотят делать поддержку на стороне провайдера бесплатно.
Остановил выбор на bird.

Итак, исходная позиция:
  • Домашний раутер с Debian GNU/Linux 6.0.5 (squeeze) на борту
  • 2 интернет канала (ISP1 и ISP2)
  • 2 прямые руки
  • чашка кофе


Конфигурация моей сети:
  • eth0 — Провайдер 'ISP1':
    • IP: 10.10.10.106
    • Netmask: 255.255.255.0
    • Gateway: 10.10.10.1

  • eth1 — Локальная сеть:
    • IP: 192.168.254.254
    • Netmask: 255.255.255.0

  • eth2 — Провайдер 'ISP2':
    • IP: 172.17.5.105
    • Netmask: 255.255.255.0
    • Gateway: 172.17.5.1



Я любитель apt, однако как оказалось, в апте лежит довольно устаревшая версия bird (1.2.5-1) и там нет поддержки multipath.
Придется собрать это руками. Заранее намеренно опускаю всякий флейм, как не превратить debian в slackware.

# mkdir -p /usr/local/src/bird && cd /usr/local/src/bird
# wget ftp://bird.network.cz/pub/bird/bird-1.3.8.tar.gz
# tar xf bird-1.3.8.tar.gz
# cd bird-1.3.8
# ./configure --prefix=/usr --sysconfdir=/etc/bird --localstatedir=/var
# make
# make install


Как оказалось, в сорцах нет стартап-скрипта для Debian.
Генерируем стартап-скрипт (нагло взят из того же устаревшего пакета в апт-е и немного подкорректировав) /etc/init.d/bird с таким содержанием:

#! /bin/sh
### BEGIN INIT INFO
# Provides:          bird
# Required-Start:    $remote_fs $syslog
# Required-Stop:     $remote_fs $syslog
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
### END INIT INFO

# Author: Ondřej Surý <ondrej@sury.org>
#

# PATH should only include /usr/* if it runs after the mountnfs.sh script
PATH=/sbin:/usr/sbin:/bin:/usr/bin
DESC="Internet routing daemon"
NAME=bird
DAEMON=/usr/sbin/$NAME
DAEMON_ARGS="-c /etc/bird/bird.conf"
#PIDFILE=/var/run/$NAME.pid
SCRIPTNAME=/etc/init.d/$NAME

# Exit if the package is not installed
[ -x "$DAEMON" ] || exit 0

# Load the VERBOSE setting and other rcS variables
. /lib/init/vars.sh

# Define LSB log_* functions.
# Depend on lsb-base (>= 3.0-6) to ensure that this file is present.
. /lib/lsb/init-functions

#
# Function that starts the daemon/service
#
do_start()
{
        # Return
        #   0 if daemon has been started
        #   1 if daemon was already running
        #   2 if daemon could not be started
        start-stop-daemon --start --quiet --name $NAME --exec $DAEMON --test > /dev/null \
                || return 1
        start-stop-daemon --start --quiet --name $NAME --exec $DAEMON -- \
                $DAEMON_ARGS \
                || return 2
        # Add code here, if necessary, that waits for the process to be ready
        # to handle requests from services started subsequently which depend
        # on this one.  As a last resort, sleep for some time.
}

#
# Function that stops the daemon/service
#
do_stop()
{
        # Return
        #   0 if daemon has been stopped
        #   1 if daemon was already stopped
        #   2 if daemon could not be stopped
        #   other if a failure occurred
        start-stop-daemon --stop --quiet --retry=TERM/30/KILL/5 --name $NAME --exec $DAEMON
        RETVAL="$?"
        [ "$RETVAL" = 2 ] && return 2
        # Wait for children to finish too if this is a daemon that forks
        # and if the daemon is only ever run from this initscript.
        start-stop-daemon --stop --quiet --oknodo --retry=0/30/KILL/5 --name $NAME --exec $DAEMON
        [ "$?" = 2 ] && return 2
        return "$RETVAL"
}

#
# Function that sends a SIGHUP to the daemon/service
#
do_reload() {
        #
        # If the daemon can reload its configuration without
        # restarting (for example, when it is sent a SIGHUP),
        # then implement that here.
        #
        start-stop-daemon --stop --signal 1 --quiet --name $NAME --exec $DAEMON
        return 0
}

case "$1" in
  start)
        [ "$VERBOSE" != no ] && log_daemon_msg "Starting $DESC" "$NAME"
        do_start
        case "$?" in
                0|1) [ "$VERBOSE" != no ] && log_end_msg 0 ;;
                2) [ "$VERBOSE" != no ] && log_end_msg 1 ;;
        esac
        ;;
  stop)
        [ "$VERBOSE" != no ] && log_daemon_msg "Stopping $DESC" "$NAME"
        do_stop
        case "$?" in
                0|1) [ "$VERBOSE" != no ] && log_end_msg 0 ;;
                2) [ "$VERBOSE" != no ] && log_end_msg 1 ;;
        esac
        ;;
  reload|force-reload)
        #
        # If do_reload() is not implemented then leave this commented out
        # and leave 'force-reload' as an alias for 'restart'.
        #
        log_daemon_msg "Reloading $DESC" "$NAME"
        do_reload
        log_end_msg $?
        ;;
  restart)
        log_daemon_msg "Restarting $DESC" "$NAME"
        do_stop
        case "$?" in
          0|1)
                do_start
                case "$?" in
                        0) log_end_msg 0 ;;
                        1) log_end_msg 1 ;; # Old process is still running
                        *) log_end_msg 1 ;; # Failed to start
                esac
                ;;
          *)
                # Failed to stop
                log_end_msg 1
                ;;
        esac
        ;;
  *)
        echo "Usage: $SCRIPTNAME {start|stop|restart|reload|force-reload}" >&2
        exit 3
        ;;
esac


Стартап-скрипт готов, добавляем в авто-запуск:
# chmod +x /etc/init.d/bird
# update-rc.d bird enable
update-rc.d: using dependency based boot sequencing


Создадим директорию для логфайла:
# mkdir /var/log/bird


Теперь приступаем к конфигурированию самого bird.

Для начала, бакапим оригинальный конфиг и создаем новый:
# cd /etc/bird
# mv bird.conf bird-orig.conf
# :> bird.conf


Затем открываем его на редактирование:
# 
# Logging
#
# Уровни логгирования.
# all эквивалентно { debug, trace, info, remote, warning, error, auth, fatal, bug }
# Например, мы хотим получить 2 отдельных файла с разными уровнями (в этом случае, две нижеследующие строчки следует раскомментировать):
#        log "/var/log/bird/debug.log" { debug };
#        log "/var/log/bird/warning.log" { warning };
log "/var/log/bird/bird.log" all;

# Router ID:
# Тут пишем IP-адрес вашей сетевой карты, которая смотрит в вашу домашнюю (не провайдера!) локалку.
router id 192.168.254.254;

#
# Debugging
#
# Уровни дебага:
# all | off | { states, routes, filters, interfaces, events, packets }
debug protocols { routes, interfaces };

#
# Protocols
# 
# Сетевые устройства, которые будут мониториться на предмет смены маршрутов (в мойм случае - это eth0 и eth2)
protocol direct {
        interface "eth0", "eth2";
}

#
# Tables
#
# Названия таблиц маршрутизации
# Описываем провайдеров ISP1 и ISP2:
table ISP_ISP1;
table ISP_ISP2;
# Таблица "другие":
table other;
# Таблица "master" - основная таблица маршрутизации (main). Внимание, указывать main нельзя!
table master;

#
# Protocol 'static'
#

protocol static {
        table ISP_ISP1;
        description "Home internet ISP1";
        check link on;
        preference 100;
        route 0.0.0.0/0 via 10.10.10.1;
}

protocol static {
        table ISP_ISP2;
        description "Home internet ISP2";
        check link on;
        preference 150;
        route 0.0.0.0/0 via 172.17.5.1;
}

protocol static {
        table other;
        description "Other custom static routes";
        preference 200;
        # Включение всех конфигов (если есть в наличие) в /etc/bird/static_route.d/
        include "/etc/bird/static_route.d/*.conf";
}

protocol static {
        table master;
        description "Common Table";
        # Это главная таблица, сюда вписываются все default-маршруты
        route 0.0.0.0/0 multipath
                    via 10.10.10.1
                    via 172.17.5.1;
}

#
# Protocol 'kernel'
#
# Обратите внимание на комментарий в 'debug all'. Советую раскомментировать только на момент запуска или дебага.
# Оставлять дебаг с 'all' не советую. В противном случае, ваш лог-файл вырастет в сотни мегабайт, а то и больше.
# 
# Опция 'persist' - не дает bird убирать маршруты, созданные им, после выключения (или нештатного "падения") bird.
# Опция 'learn' - указывает, что bird будет "изучать" все маршруты, которые были добавлены внешними средствами
# в таблицу 10/11/254 (далее мы разберем, что такое 10, 11, 254).
#
protocol kernel {
        table ISP_ISP1;
        persist;
        learn;
        scan time 20;
        kernel table 10;
        export all;
#       debug all;
}

protocol kernel {
        table ISP_ISP2;
        persist;
        learn;
        scan time 20;
        kernel table 11;
        export all;
#       debug all;
}

protocol kernel {
        table master;
        persist;
        learn;
        scan time 20;
        kernel table 254;
        export all;
#       debug all;
}

#
# Protocol 'pipe.
#
# Главная таблица (default).
# Тут мы указываем, что в главную таблицу master будут импортироваться все маршруты, указанные в статических протоколах, описанных в ISP_ISP1, ISP_ISP2 и other.
protocol pipe {
        table master;
        peer table ISP_ISP1;
        peer table ISP_ISP2;
        peer table other;
        import all;
#       debug all;
}


Теперь создаем директорию для мануальных конфигов и для примера вносим некоторые маршруты:

# mkdir /etc/bird/static_route.d/
# cat << EOF >/etc/bird/static_route.d/ISP1_LAN.conf
    route 10.0.5.0/24  via 10.10.10.1;
    route 175.5.25.0/27 via 10.10.10.1;   # сеть взята "с потолка", подразумевается, что это сеть белых IP провайдера ISP1
EOF
# cat << EOF >/etc/bird/static_route.d/ISP2_LAN.conf
    route 194.22.253.23/27  via 172.17.5.1;    # сеть взята "с потолка", подразумевается, что это сеть белых IP провайдера ISP2
    route 5.9.0.0/16 via 172.17.5.1;   # сеть взята "с потолка", подразумевается, что это сеть белых IP провайдера ISP2
EOF


Все, настройка bird закончена.
Теперь переходим к настройке таблиц маршрутизации.

Добавляем таблицы в /etc/iproute2/rt_tables:
# cat << EOF >>/etc/iproute2/rt_tables

10       ISP1
11       ISP2
EOF


Теперь нужно сделать так, чтобы при запросе с сети ISP1 — пакеты шли обратно в ISP1, а не по другому интерфейсу.
Для этого нужно добавить ip rule(s):
Для этого создаем скрипты iprules:

Код /etc/network/if-up.d/iprules:
#!/bin/bash

ISP1_NETWORKS="10.0.5.0/24 175.5.25.0/27"
ISP2_NETWORKS="194.22.253.23/27 5.9.0.0/16"

if [ "${LOGICAL}" = "eth0" ]; then
    for NET in ${ISP1_NETWORKS}; do
        ip ru a from ${NET}  table ISP1  2>/dev/null 1>/dev/null
    done
fi

if [ "${LOGICAL}" = "eth2" ]; then
    for NET in ${ISP2_NETWORKS}; do
        ip ru a from ${NET}  table ISP2  2>/dev/null 1>/dev/null
    done
fi


Код /etc/network/if-down.d/iprules:
#!/bin/bash

ISP1_NETWORKS="10.0.5.0/24 175.5.25.0/27"
ISP2_NETWORKS="194.22.253.23/27 5.9.0.0/16"

if [ "${LOGICAL}" = "eth0" ]; then
    for NET in ${ISP1_NETWORKS}; do
        ip ru d from ${NET}  table ISP1  2>/dev/null 1>/dev/null
    done
fi

if [ "${LOGICAL}" = "eth2" ]; then
    for NET in ${ISP2_NETWORKS}; do
        ip ru d from ${NET}  table ISP2  2>/dev/null 1>/dev/null
    done
fi


Ставим флажок +x:
# chmod +x /etc/network/if-{up,down}.d/iprules


Теперь все ребутимзапускаем:

Чтобы не копипастить команды, сделаем хитрее:
# LOGICAL=eth0  /etc/network/if-up.d/iprules
# LOGICAL=eth2  /etc/network/if-up.d/iprules


Запускаем bird:
# invoke-rc.d bird start


Проверяем:
# ip r
10.0.5.0/24 via 10.10.10.1 dev eth0  proto bird
175.5.25.0/27 via 10.10.10.1 dev eth0  proto bird
194.22.253.23/27 via 172.17.5.1 dev eth2  proto bird
5.9.0.0/16 via 172.17.5.1 dev eth2  proto bird
10.10.10.0/24 dev eth0  proto kernel  scope link  src 10.10.10.106
172.17.5.0/24 dev eth2  proto kernel  scope link  src 172.17.5.105
192.168.254.0/24 dev eth1  proto kernel  scope link  src 192.168.254.254
default  proto bird
        nexthop via 10.10.10.1  dev eth0 weight 1
        nexthop via 172.17.5.1  dev eth2 weight 1


Теперь выдергиваем шнурокотключаем сетевой кабель от ISP1 (eth0), смотрим, что изменилось:
# ip r | grep -E "(default|nexthop)"
default  proto bird
        nexthop via 10.10.10.1  dev eth0 weight 1 dead
        nexthop via 172.17.5.1  dev eth2 weight 1


То есть, если один из провайдеров случайно отключился, трафик пойдет через другой, отключенный провайдер будет мониториться каждые 20 секунд (см. опцию scan time 20 в протоколах kernel) и при появлении автоматически уберет 'dead'.

В заключение: таким же образом, можно добавить и 10 провайдеров.
Поделиться публикацией

Комментарии 27

    +3
    >Заранее намеренно опускаю всякий флейм, как не превратить debian в slackware.
    Тут бы checkinstall помог.
      +2
      UPD: Я правильно понимаю, что bird не занимается какой-либо балансировкой, а устанавливает маршрут на работающий канал который имеет максимальный приоритет?
        +5
        а если добавить в список source.list:
        deb http://ftp.ru.debian.org/debian unstable main contrib non-free
        

        и указать текущую версию в apt.conf:
        APT::Default-Release "testing";
        

        можно сделать проще:
        apt-get -t sid install bird
        

        и версия bird 1.3.8 окажется магическим образом установленной на вашем компьютере
        0
        Приведу тут одну ссылку: make checkinstall.
        –3
        1) Да, checkinstall поможет, но я специально умолчал об этом :-) На самом деле, эту конфигурацию я собрал более 2-х месяцев назад и писал статью по хистори и уже готовым конфигам.

        2) Так как в static route нет стоимости (cost), то тут балансировки нет, это самая простая реализация. Но никто не запрещает использование каких-либо внешних тулзов.

        3) Конечно, можно добавить репо сида и установить последний bird, но я сделал так.
          +3
          А в чем преимущество этого метода, если практически все мы настраиваем руками? Простой скриптик с пинговалкой заменит эту «курочку».
            0
            Ну тут какой-никакой, а готовый демон, с логгированием. Должно быть удобнее. Хотя никто не мешает переписать его на баше…
            +5
            Данное решение проверят только наличие линка в ethernet, а ведь это не значит что интернет доступен через этого провайдера.
            Обычно запускают какой-то скрипт из cron, который пингает что-то через каждый канал и удаляет маршрут по умолчанию на этот канал.
              –3
              Никто не запрещает использования внешних скриптов.
                +4
                А зачем тогда нужна эта софтина, если ее прямую функциональность нужно добивать скриптами? А то что она умеет можно сделать еще более простым скриптом…
                Вопрос целесообразности вами рассматривался?
              0
              Эм, либо я не понял содержание статьи, либо все всё это можно сделать немного проще (пример для FreeBSD)
              make -C /usr/ports/net/quagga/ install clean
              echo 'quagga_enable="YES"' >> /etc/rc.conf
              echo 'quagga_daemons="zebra"' >> /etc/rc.conf
              echo 'ip route 0.0.0.0/0 em0 20' >> /usr/local/etc/quagga/zebra.conf
              echo 'ip route 0.0.0.0/0 em1 10' >> /usr/local/etc/quagga/zebra.conf
              service quagga start
              
                0
                Да, можно и так, но ключевое слово bird.
                  0
                  Я сильно сомневаюсь в
                  1) dead gateway detection
                  2) ответ уйдет с тогоже линка куда и пришел
                  3) балансировка исходящего трафика будет работать
                  Был бы рад если бы написали статью с гарантировано рабочим решением для FreeBSD.
                    0
                    1) Тут нет dead gateway detection, тут чистой воды ethernet link detection
                    2) ответ уедет с того же линка.
                    3) про балансировку никто не говорил.

                      0
                      Мой коментарий был к quagga и FreeBSD. В любом случае quagga не умеет ни dead gw ни link down определять. Как заставить отвечать с тогоже интерфейса тоже не ясно, ответ уходит через тот где default. Я проверил только что на FreeBSD 9.0. Посему вопрос, как сделать аналогичное на FreeBSD по прежнему открыт для меня.
                        0
                        >В любом случае quagga не умеет ни dead gw ни link down определять.

                        вообще-то, link down квагга вполне определяет и это использует ospfd.
                          0
                          Очень интересно, а как-нибудь задействовать этот механизм можно для static?
                      0
                      2) На pf (openbsd'шный брандмауэр, пользуюсь им) погуглите reply-to. По памяти там синтаксис такой:

                      pass in on $ext_if1 reply-to ($ext_if1 $ext_gateway1) from any to $ext_if1
                      pass in on $ext_if2 reply-to ($ext_if2 $ext_gateway2) from any to $ext_if2
                      

                      www.openbsd.org/faq/pf/pools.html

                      3) Ввиду того, что у меня на 8.2 на которой старая версия pf, удалось сделать только балансировку исходящего из ната с помощью пула адресов, ссылка та же:

                      nat on $ext_if1 from $lan_if:network to $ext_if1 -> {$ext_if1, $ext_if2}
                      nat on $ext_if2 from $lan_if:network to $ext_if2 -> {$ext_if1, $ext_if2}
                      

                      В новой версии pf, если я правильно понял, есть конструкция
                      pass out on $ext_if1 from $lan_if:network to any nat-to {$ext_if1, $ext_if2}
                      pass out on $ext_if2 from $lan_if:network to any nat-to {$ext_if1, $ext_if2}
                      


                      www.openbsd.org/faq/pf/nat.html
                        0
                        Мой рабочий вариант скрипта переключения каналов, принцип работы скрипта: пингуем шлюз каналов, если пинга до шлюза нет, значит канал лежит, ничего умнее не придумал.
                        #!/bin/sh
                        PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin
                        
                        GW1=Шлюз первого аплинка
                        GW2=Шлюз второго аплинка
                        tester=0;
                        itest1=`/sbin/ping -c 3 $GW1 | grep "64 bytes" | wc -l`;
                        itest2=`/sbin/ping -c 3 $GW2 | grep "64 bytes" | wc -l`;
                        
                        if [ ! -f "/tmp/countGW.tmp" ]
                        then
                        echo 3 > /tmp/countGW.tmp
                        fi
                        
                        oldtest=`cat /tmp/countGW.tmp`
                        
                        if (test $itest1 -gt "0")
                        	then
                        	let tester=tester+1
                        	fi
                        
                        if (test $itest2 -gt "0")
                                then
                        	let tester=tester+2
                                fi
                        
                        if [ $oldtest = $tester ]; then
                        exit;
                        #echo "Canali ne izmenilis"
                        else
                        	if  [ $oldtest = 3 ]; then
                        	cp /etc/pf.conf /etc/pf.conf3
                        	fi
                        
                                if  [ $tester = 3 ]; then
                                cp /etc/pf.conf3 /etc/pf.conf
                        	/sbin/route change default $GW1
                                fi
                        
                                if  [ $tester = 2 ]; then
                                cp /etc/pf.conf2 /etc/pf.conf
                        	/sbin/route change default $GW2
                                fi
                        
                                if  [ $tester = 1 ]; then
                                cp /etc/pf.conf1 /etc/pf.conf
                        	/sbin/route change default $GW1
                                fi
                        
                        /etc/rc.d/pf restart
                        	
                        fi
                        

                        Скрипт изменяет шлюз по умолчанию если основной канал вдруг падает, если канал возвращается на место шлюз также возвращается. В pf имею 3 конфига, активен только канал 1, активен только канал 2 и активны оба канала, что там писать уж на свой вкус, мой вариант когда оба канала работают
                        ext_if1="ip канала 1"
                        ext_if2="ip канала 2" 
                        ext_gw1="Шлюз канала 1"
                        ext_gw2="Шлюз канала 2"
                        #{Тут какую сеть на какой канал, либо текущий рабочий канал для всех сетей}
                        #Этих через канал 2
                        nat on $ext_if1 from 192.168.3.0/24 to !<no_nat> -> $ext_if2
                        nat on $ext_if1 from 192.168.4.0/24 to !<no_nat> -> $ext_if2
                        #Остальных через канал 1
                        nat on $ext_if1 from 192.168.0.0/16 to !<no_nat> -> $ext_if1
                        
                        pass out on $ext_if1 route-to ($ext_if2 $ext_gw2) from $ext_if2 to !<no_nat>
                        pass out on $ext_if2 route-to ($ext_if1 $ext_gw1) from $ext_if1 to !<no_nat>
                        
                        +1
                        это всё замечатльно, но работать у вас будет всего 1 маршрут. автор статьи хотел рассказать про equal cost multipath.
                        причём, работать оно будет как бог на душу положит и ожидать что вот всё будет per connection не стоит.
                        заставить это работать per packet мне не удалось. есть идеи с tc actions, но это надо пробовать.
                          0
                          Как-бы, не совсем, если учитывать ECMP, то на линуксе это вообще отстойно сделано, лучше чем на Cisco я еще не встречал.
                          Простейший вариант ECMP:
                                  route 0.0.0.0/0 multipath
                                              via 10.10.10.1 weight 7
                                              via 172.17.5.1 weight 3;
                          

                          при этом, предполагается, что через 10.10.10.1 будет уходить 70%, через 172.17.5.1 — 30%, но, как было уже сказано — будет это работать как попало.
                            0
                            вообще, этот вариант можно на linux сделать, но надо выключить route cache. раньше была крутилка, которая это делала. в свежих ядрах я её не нашёл =(
                        0
                        А можно и хардварно и не очень дорого: Mikrotik RB750 или помощнее (если потребности значительные)
                          +1
                          что значит «хардварно»? внутри микротика routeros, который есть linux. аппаратная акселерация там, максимум в RNG и AES/3DES/SHA-1.
                            0
                            А чего вам не хватает чтобы назвать этот маршрутизатор аппаратным? По крайней мере, я не слышал пока чтобы NAT как-то ускорялся аппаратно.
                              0
                              Если вы не слышали, это не значит что такого не делают. например, ускорять можно state table lookup.
                              afaik, делается это с помощью TCAM.
                              Если state table основана на хештаблице, то ускориться можно реализовав хеш-фукцию в железе(например, ту же sha-1).
                              Можно принимаемые фреймы класть в SRAM, которая проецируется в адресное пространство cpu на SoC.
                              cpu путём записи в опр. регионы памяти инструктирует железку что с фреймом делать.

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое