ToFoIn v 1. Резервирование шлюзов и переключение между внешними каналами во FreeBSD

Аннотация

В прошлой статье рассматривался вопрос организации резервирования для шлюзов локальной сети. Как вариант решения был предложен скрипт, который на тот момент решал задачу, однако имел ряд недостатков. Спустя некоторое время получилось эти недостатки устранить, частично переписать код и на выходе получить уже что-то приемлемое. Сейчас можно говорить, что скрипты достаточно протестированы, чтобы называться стабильными. Для упрощения понимания всей системы основные моменты по настройке второстепенных сервисов (с точки зрения темы статьи) будут частично продублированы ниже. Причина проста — за это время были переработаны также правила ipfw, dns отправился жить в AD на Samba4 с bind-frontend и безопасным обновлением записей из isc-dhcpd с использованием kerberos, а также вторичными dns-серверами в виде bind-а на шлюзах, был настроен CARP… В общем, стало сильно интереснее, но подробнее о том, что и как работает — ниже. Всё, что можно будет давать ссылками на первоисточник, будет оформлено именно таким образом, дабы не плодить сущности. То, что бралось из каких либо других мест, но что более недоступно, будет приводиться здесь с соответствующими комментариями.

Введение

Итак, повысить помехоустойчивость канала связи с внешним миром со стороны потребителя, можно двумя способами: резервирование шлюза и резервирование точки подключения. Другими словами, в первом случае ставится второй шлюз, который включится в работу в случае отказа первого, во втором же — организуется резервный интернет канал на случай каких либо проблем с основным, причем, чем дальше они пересекаются, тем, очевидно, лучше. Если первую задачу для FreeBSD решает CARP, то вторую, после организации второго внешнего канала, можно, опять же, решать несколькими способами. Как минимум, можно организовать балансировку трафика или переключение между каналами. В силу большой разницы по пропускной способности внешних каналов, мне первый вариант не подошел, поэтому был написан основной виновник публикации: ToFoIn — набор bash-скриптов, который нацелен на решение задач диагностики и переключения на работающий внешний канал. После доработки его можно применять для n шлюзов и m каналов. Слабо представляется ситуация, где n и m больше 2-х, но нижепредставленные скрипты должны работать до больших значений n и m, т.к. логически предел не установлен. В целом же, подозреваю, что с помощью данных скриптов можно решать достаточно широкий спектр задач, зависящих от статуса подключения, ограниченный, пожалуй, только лишь воображением.


Приблизительно такая топология сети предполагает в простейшем виде использование набора скриптов ToFoIn. Конечно, скрипты должны отрабатывать и в случае одного маршрутизатора, но в этом случае придётся сильно изменять модуль Daemon, чтобы убрать зависимость последовательности действий от состояния CARP, который будет просто отсутствовать в системе. Дальнейшее же резервирование этих и других узлов зависит лишь от степени важности соответствующих услуг.

Цели и задачи

Целью проекта, по-прежнему, является создание универсального и легко масштабируемого программного комплекса, ориентированного на определение неполадок во внешних и внутренних соединениях и автоматическое переключение на работоспособные соединения. В общих чертах логика следующая:

• Имеется n «маршрутизаторов» с m внешних каналов на каждом. При этом все n «маршрутизаторов» находятся в строгой иерархии и связаны друг с другом при помощи CARP по всем необходимым интерфейсам.
• На всех машинах независимо друг от друга работает агент, задача которого, основываясь на текущем статусе CARP своей машины:
  
  • Если backup — определять и настраивать машину на маршрутизатор, являющийся master в настоящий момент;
  • Если master — проверять состояние соединений на текущий момент и, при необходимости, производить переключение между внешними каналами.

Решение

Во внутренней сети функционирует CARP, который обеспечивает резервирование шлюзов и позволяет не изменять настройки других сетевых устройств внутренней сети при переключении каналов.

Dhcpd действует в primary — secondary режиме и ему, в общем-то, всё равно, какие еще роли играет его машина — связь между dhcpd происходит во внутренней сети, в которую маршрутизаторы смотрят всегда.

Мастер-bind убран в AD, который спрятан в локальную сеть, в то время как на маршрутизаторах-шлюзах на равных правах работают вторичные bind-сервера.

Правила ipfw различаются в зависимости от того, какой канал в заданный момент считается основным и перезапускаются модулем Daemon при смене роли.

Наконец о самих скриптах. Теперь файлы расположены по соответствующим каталогам, работают от своего пользователя и имеют стартовый скрипт в rc.d. Задачи, требующие root доступа, решаются sudo. Имеется скрипт установки, учитывающий возможное наличие установленной версии, а также достаточно подробный файл настроек. Модули прежние с небольшими изменениями, некоторые почти не изменились по функционалу:

Daemon – как и следует из названия, — основной процесс, который по таймеру запускает модули тестирования и переключения, а также отслеживает CARP.
Tester – тестирует наличие связи по внешним каналам всё еще с помощью команды ping. (если запущен, то считает, что машина имеет CARP в состоянии Master)
Judge – исходя из результатов тестов, определяет, какой внешний канал работает и необходимо ли переключение, осуществляет переключение(если запущен, то считает, что машина имеет CARP в состоянии Master).
Scout — новый модуль. Запускается в случае нахождения CARP в состоянии Backup. Нужен для определения, какой из оставшихся маршрутизаторов в настоящий момент является основным.
Logger – отвечает за ведение журнала событий. Необходим для того, чтобы информация о событиях не дублировалась и журнал проще читался.
Watchdog – запускается по расписанию из crontab. Определяет «зависания» всех модулей и (по возможности) пытается решить возникшие проблемы. Т.е. прибить всех, проще говоря.

Помимо самих скриптов, стоит рассмотреть еще некоторые важные файлы:

Tofoin.conf – единый файл настроек.
Tofoin.log – единый файл журнала событий.
Result_<внутренний номер канала> — рабочий файл, сюда «складываются» результаты тестирования, создаётся в /tmp рядом с .pid и прочими рабочими файлами.

На вопросы касательно работы модулей по существу могу с удовольствием ответить, пояснив решения в комментариях.

Техническая часть

Оборудование

По сравнению с прошлым разом шлюзы переехали на P4, получили по 1536 Mb RAM и по три 40 Gb HDD (mirror + spare). Сетевые карты всё так же PCI, БП обычные, естественно в наличие ИБП.
Увеличение мощностей связано с освободившимся железом и излишне утомительным обновлением из исходников, но в основном — первое. ОС FreeBSD 11.1, ФС zfs.

Настройки системных компонентов

Стороннее программное обеспечение

Немного о ToFoIn

Весь текст проекта вместе с установочным скриптом доступен на gitlab.

Итог

Получился вполне работоспособный и надежный набор скриптов, который хорошо справляется с задачей переключения на рабочий канал в случае 2 роутеров с 2 внешними каналами связи.

Планы

Мои планы относительно этого проекта касаются, разве что, переписывания с bash на чистый sh, чтобы избавиться от лишнего ПО на сервере. С другой стороны — сейчас всё работает изумительно и вмешиваться в данный процесс крайне не хочется, к тому же переход на sh чреват более страшными языковыми конструкциями, необходимыми для достижения того же результата.
В остальном, наверное, стоило бы подумать над лучшей реализацией тестовых модулей.

Ссылки:

← Предыдущая статья
→ Страница проекта ToFoIn на gitlab-е