Наш рецепт отказоустойчивого Linux-роутера

[neumeika]

при использовании conntrack, хм, и без тюнинга, сколько оно держит cps/qps/pps, mb/s e.t.c.?

[gserge]

Специально не замеряли производительность серверов. Единожды только уперлись в производительность роутера с процессором Atom, при этом на нем еще в userspace крутился VPN.

[mickvav]

conntrackd не пробовали? и сколько у вас ядер в каждом из серверов? Если больше одного и скорости будут под гигабит — надо будет еще smp_affinity на интерфейсах покурить и физических карт доставить.

[gserge]

conntrackd пробовали. Для себя увидели только один плюс — возможность репликации контраков между серверами, в наших текущих задачах обрыв соединений при переключении между роутерами не критичен.

В разных проектах разные роутеры, и количество ядер разное. Спасибо за совет по smp_affinity. По поводу физических карт: мы используем карты, поддерживающие несколько очередей.

[EndlEssCat]

а можно примерный список по железу, на которой будет жить такая конфигурация...?

[gserge]

На какую нагрузку?

[nemo0x2102]

200 Мб/с с NAT и QoS, с двумя блоками питания.

1 Гб/с просто роутиг стабильно без проседаний.

[gserge]

Исходя из нашей практики, на вашу нагрузку достаточно будет роутера на процессоре типа Xeon E3.

[EndlEssCat]

собственно ответ ниже по процессору понятен, а вот какие коммутаторы с VALN кроме Cisco есть смысл использовать исходя из варианта Small Business?

[gserge]

Если нагрузка вам позволит, то можно. С учетом того, что, как заметили ниже, надежность системы равна надежности самой слабой компоненты.

[EndlEssCat]

сорри, таки похоже вы ответили на на мой вопрос… интересовали ваши рекомендации по выбору данных коммутаторов кроме Cisco, какие вы можете рекомендовать?

[gserge]

Например HP серии Aruba или Huawei серий S и CE

[varnav]

А я взял pfSense и всё

[mrobespierre]

или VyOS, если нужна производительность

[nApoBo3]

С какой целью наружу выставляются коммутаторы?

[alex6999]

Дейчтвительно. Такая схема часто применялась в cisco, причина доровизна интерфейсов. А сейчас интернет часто бывает гигабитным. А роутеров с одним стандартным гигабитным интерфейсом я не припомню.

Если это учебная задача, то я бы добавил агрегацию каналов от свитча у роутеру. Если практическая, то зачем?

Теперь о надежности. А рабочие компы у вас тоже с двумя сетевухами? Надежность системы равна надежности самого слабого участка.

[gserge]

Коммутаторы в данной схеме позволяют включить не 2, а 3, 4 или 15 провайдеров и управлять ими с помощью netgwm. Если вопрос был про безопасность, то, конечно, Managment vlan не смотрит наружу.

По поводу локалки: мы используем схему коммутации, когда хосты из LAN коммутируются поровну в первый и второй коммутаторы и при выходе коммутатора из строя часть LAN оказывается без связи. Перекоммутацию выполняет администратор на месте руками.

[dispancer]

vlan_raw_device eth0
везде стоит eth0, так и нужно?
Использовал только вашу утилиту NetGWM, при переключении на резерв теряется пинг с хостом на пару минут, так и должно быть?

[gserge]

Да, все так и должно быть. Подразумевается, что в eth0 от коммутатора приходит транк, который мы и разбираем на vlan этими конструкциями.

[dispancer]

не подскажите куда нужно добавить строчку, что б при смене шлюза так же запускался скрипт с правилами iptables, что б для каждого шлюза были свои правила?
И еще вопрос наверное ближе к самой системе Windows, при смене шлюза уже установленные соединения «тыкается» в linkdown, и если буквально пару минут подаждать и снова попробовать зайти в интернет пакет уже идут в linkup как и положено. Может есть какая та комманда сброса кэша в Windows?

[gserge]

Скрипт нужно просто положить в /etc/netgwm/post-replace.d и он будет запускаться при каждой смене провайдера. В качестве параметров скрипту передаются:
$1 — new gateway identifier
$2 — new gateway IP or NaN
$3 — new gateway device or NaN
$4 — old gateway identifier or NaN
$5 — old gateway IP or NaN
$6 — old gateway device or NaN

По поводу Windows: при смене шлюза выполните conntrack -F на роутере. Если проблема в контраках, их сброс ее решит. Если же проблема в таймаутах на win-машине, то нет.

[dispancer]

Не совсем пойму как сделать смену /root/ipt.sh на /root/ipt2.sh и обратно при переключении между провайдерами, их нужно прописать в $1 и $4?

[gserge]

Нужен всего один скрипт, в котором обрабатывается переключение с case по параметрам, как-то так:

case $1 in
 operator1)
     #тут пишем правила при переключении на оператора 1
 ;;
 operator2)
    #тут пишем правила для оператора 2
 ;;
 *)
   #тут выводим сообщение об ошибке или отправляем в мониторинг
esac

[dispancer]

Спасибо. Можете сделать расширеный мануал по вашей утилите, это было бы очень хорошо, что б меньше задавать вопросов в комментариях

[gserge]

Да, ее автор сейчас готовит материал, скоро будет отдельная статья на эту тему.

[dispancer]

Благодарю. Жду)

[gserge]

Добрый день.

Обещанная статья по NetGWM https://habrahabr.ru/company/flant/blog/335030/

[dispancer]

Спасибо за старания!

[ValdikSS]

Может, кто-то мне подскажет утилиту-обертку над iproute2, которая бы сама создавала таблицы на каждый интерфейс, и настраивала rule'ы? Чтобы не писать отдельные правила для каждого интерфейса вручную, а они бы настраивались типовым образом, автоматически?

Из более-менее работающих знаю только:
https://github.com/kristrev/multi
https://github.com/kristrev/multihomed-routing
https://github.com/ncopa/pingu

Может, кто-то что-то еще подскажет?

[VFedorV]

если какой либо из коммутаторов выходит из строя, теряем и одного из провайдеров…
а как быть с публикациями каких-либо сервисов (NAT)? публикуете на IP ISP1 & ISP2? или у вас PI есть?

[gserge]

В этой схеме у нас нет публикации сервисов в нат. Максимум что-то похожее — это балансировка бэкендов nginx-ом, там просто 2 А-записи.

PI нет.