Недавно пришлось разбираться с проксированием доступа к веб-серверам с помощью HAProxy. Основная проблема оказалась в шифрованном доступе. Кому интересна эта тема, добро пожаловать под кат.
Есть в нашей компании ряд веб-серверов. Для экономии адресов доступ к ним организован через HAProxy. Примерно вот так:
![](https://habrastorage.org/r/w780q1/files/232/45e/dda/23245edda6984e41a8b0cae9bfaa3139.jpg)
При этом конфигурация самого HAProxy крайне простая (пример №1):
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
backend mytest1_web
mode http
cookie SERVERID insert indirect nocache
server mytestweb1 192.168.1.5:80 check cookie mytestweb1
backend mytest2_web
mode http
cookie SERVERID insert indirect nocache
server mytestweb2 192.168.1.10:80 check cookie mytestweb2
Здесь и далее я буду приводить не полные примеры конфиг-файла, а только интересующие нас куски.
Предельно просто — слушаем 80 порт и разбираем весь входящий траффик. Если запрашивается mytest1.loc, то он попадает в access-list is_mytest1, в этом случае используется бэкенд mytest1_web, в котором мы перенаправляем траффик на внутренний хост 192.168.1.5, где у нас и находится данный сайт. Аналогично и для mytest2.loc. Все предельно просто и при этом мы экономим реальные IP адреса.
Встал вопрос отказоустойчивости, тем более что в соседнем городе у нас тоже есть сервера, где мы можем поднять данные веб-сайты. Ну и есть виртуалка с линуксом в облаке Amazon, которая делает тоже самое, но для сайтов, расположенных в облаке. Можем ли мы использовать 2 HAProxy подряд? Поднимаем примерно такую тестовую схему и смотрим:
![](https://habrastorage.org/r/w780q1/files/eb1/948/673/eb1948673dd74e9e8442dbd44484de8c.jpg)
Конфигурации HAProxy2 и HAProxy3 не изменились, однако в HAProxy1 добавился параметр балансировки (пример №2):
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
backend mytest1_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server HAProxy1 1.1.1.1:80 check cookie haproxy1_1
server HAProxy2 3.3.3.3:80 check cookie haproxy2_1
backend mytest2_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server HAProxy1 1.1.1.1:80 check cookie haproxy1_3
server HAProxy2 3.3.3.3:80 check cookie haproxy2_3
Все отлично заработало. Казалось бы, можно радоваться, но тут сайты решено было переделать под работу через SSL. И начались проблемы.
Вернемся к началу и рассмотрим все с начала. Первое допущение — нам не нужно шифровать траффик между прокси-сервером и самим сайтом. Второе — нам не нужно заботиться о привязке сертификата к сайту, то есть у нас везде используются самоподписанные сертификаты.
![](https://habrastorage.org/r/w780q1/files/de5/883/010/de588301089741e396acec9c53a27112.jpg)
Что нам нужно сделать? Сгенерировать и установить на нашем HAProxy сервере самоподписанный сертификат, тогда клиент, обращаясь на сайт, будет попадать на наш прокси-сервер, брать его сертификат, устанавливать защищенное соединение с сервером и дальше перенаправляться на веб-сайт. Причем для всех сайтов, находящихся за прокси-сервером, будет использоваться один сертификат.
Итак, приступим. Генерируем:
openssl req -new -x509 -nodes -out server.crt -keyout server.key
Записываем в один файл:
cat server.key > /etc/ssl/mytest.loc.pem
cat server.crt >> /etc/ssl/mytest.loc.pem
И редактируем конфигурацию HAProxy(пример №3):
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
backend mytest1_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb1 192.168.1.5:80 check cookie mytestweb1
backend mytest2_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb2 192.168.1.10:80 check cookie mytestweb2
frontend https_frontend
bind *:443 ssl crt /etc/ssl/mytest.loc.pem
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
Кстати, проверять конфигурацию перед перезапуском — это очень полезная привычка:
haproxy -c -f /etc/haproxy/haproxy.cfg
Configuration file is valid
Проверяем и видим, что все отлично работает.
Что ж, а теперь возьмем случай, когда на каждом сайте свой сертификат, причем не самоподписанный, а купленный. И в нем есть строгая привязка к имени сайта. В этом случае мы можем решить вопрос двумя способами: разместить сертификаты для сайтов на HAProxy сервере или проксировать TCP вместо HTTP. Но в обоих случаях мы не сможем обойтись одним IP адресом для двух наших сайтов.
Рассмотрим первый случай:
![](https://habrastorage.org/r/w780q1/files/9a0/608/2fe/9a06082fe0c646999ad0d2f9575578cb.jpg)
Все отличие данного случая от предыдущего(с самоподписанными сертификатами) только в том, что здесь нам придется слушать отдельные интерфейсы и выдавать сертификат в зависимости от интерфейса (пример №4):
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
backend mytest1_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb1 192.168.1.5:80 check cookie mytestweb1
backend mytest2_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb2 192.168.1.10:80 check cookie mytestweb2
frontend https_frontend_site1
bind 1.1.1.1:443 ssl crt /etc/ssl/mytest.loc1.pem
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
frontend https_frontend_site2
bind 9.9.9.9:443 ssl crt /etc/ssl/mytest.loc2.pem
mode http
option httpclose
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
Вроде все понятно, если траффик пришел на интерфейс с адресом 1.1.1.1, значит, клиент запрашивает сайт mytest1.loc. Значит, мы выдаем ему сертификат этого сайта и дальше проксируем на backend mytest1_web.
Во-втором случае мы пробрасываем полностью весь TCP-траффик, который пришел к нам на 443 порт. Это стоит сделать, например, тогда, когда вы по каким-либо причинам не хотите, чтоб сертификаты сайтов хранились на прокси сервере. Или, например, не доверяете внутренней сети между прокси и веб серверами.
![](https://habrastorage.org/r/w780q1/files/f80/d55/6a8/f80d556a8b384e729ae25fb8b5756d8b.jpg)
Конфигурация HAProxy будет примерно следующая(пример №5):
frontend mytest1_frontend
bind 1.1.1.1:443
mode tcp
use_backend mytest1_webssl
backend mytest1_webssl
mode tcp
option ssl-hello-chk
server mytestweb 192.168.1.5:443
frontend mytest2_frontend
bind 9.9.9.9:443
mode tcp
use_backend mytest2_webssl
backend mytest2_webssl
mode tcp
option ssl-hello-chk
server mytestweb 192.168.1.10:443
Вроде вполне понятная конфигурация. Наверно, стоит сказать, что поскольку мы прокидываем весь TCP траффик, мы не можем анализировать его, и поэтому наличие любых access-lists в frontend части будет выдавать ошибку.
Настало время вернуться к нашей задаче с разделением web сайтов по разным городам. Для начала рассмотрим более простой случай:
![](https://habrastorage.org/r/w780q1/files/c65/e7b/fcb/c65e7bfcb48b4088abfd51afdc1c831b.jpg)
Поскольку между HAProxy1 и HAProxy2 у нас интернет, то даже при использовании самоподписанных сертификатов мы не можем использовать HTTP PROXY MODE на HAProxy1, иначе теряется весь смысл в шифровании такого соединения. Будем использовать на HAProxy1 tcp mode, а на HAProxy2 http mode.
Конфигурация для HAProxy1 (пример №6):
frontend https_frontend
bind *:443
mode tcp
use_backend https_web
backend https_web
mode tcp
option ssl-hello-chk
server haproxy2 1.1.1.1:443
Конфигурация для HAProxy2 будет идентична конфигурации в примере №3ю
Настало время добавить вторую часть серверов:
![](https://habrastorage.org/r/w780q1/files/be5/21a/134/be521a1348f54c15a3fc43049e81bf8e.jpg)
Конфигурация для HAProxy1 (пример №7):
frontend https_frontend
bind *:443
mode tcp
use_backend https_web
backend https_web
mode tcp
balance roundrobin
option ssl-hello-chk
server haproxy2 1.1.1.1:443 check
server haproxy3 3.3.3.3:443 check
Все отличие данного примера от предыдущего — наличие балансировки и отказоустойчивости между HAProxy2 и HAProxy3, которые по нашему условию должны находиться в разных городах.
Что ж, последний пример будет в случае наличия несамоподписанных сертификатов. Предположим, что они установлены на HAProxy серверах — как в примере №4:
![](https://habrastorage.org/r/w780q1/files/d11/27a/0cc/d1127a0cce9c407194e8428af9ccb9f9.jpg)
Конфигурация для HAProxy1 будет как в предыдущем примере, а для HAProxy2 — как в примере №4. Такая же для HAProxy3 с небольшими изменениями реальных адресов а frontend части.
Также стоит сказать, что можно все 3 HAProxy сервера настроить в TCP MODE — и это тоже будет работоспособное решение.
Ну и напоследок хотелось бы сказать: если кто-то знает какие-то принципиально отличающиеся решения для данной задачи, буду признателен, если вы поделитесь ими.
Небольшой апдейт. Мне тут подумалось, что если мы пробрасываем трафик, то нам незачем использовать на HAProxy2 и HAProxy3 набор различных IP адресов, гораздо проще просто использовать разные порты.
Давайте рассмотрим вот такую схему:
![](https://habrastorage.org/r/w780q1/files/27a/58f/2ae/27a58f2aea614193927140c8123d1741.jpg)
У нас есть две разные хост площадки в разных городах. Одна находится за HAProxy2 и вторая за HAProxy3. И центральный прокси сервер, на котором лежит задача балансировки, при этом сайты www.mytest1.loc и www.mytest2.loc должны балансироваться, а сайт www.mytest3.loc существует только лишь на одной площадке, поэтому доступ к нему должен только пробрасываться через прокси сервер.Все сайты должны быть доступны как по HTTP, так и по HTTPS с несамоподписанными сертификатами.
Конфигурация HAProxy1:
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
acl is_mytest3 hdr_end(host) -i mytest3.loc
use_backend mytest3_web if is_mytest3
backend mytest1_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb1 1.1.1.1:80 check cookie mytestweb1
server mytestweb1 2.2.2.2:80 check cookie mytestweb1
backend mytest2_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb2 1.1.1.1:80 check cookie mytestweb2
server mytestweb2 2.2.2.2:80 check cookie mytestweb2
backend mytest3_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb3 2.2.2.2:80 check cookie mytestweb3
frontend mytest1_frontend
bind 3.3.3.3:443
mode tcp
use_backend mytest_webssl1
backend mytest_webssl1
mode tcp
balance roundrobin
option ssl-hello-chk
server mytestweb1 1.1.1.1:55551
server mytestweb2 2.2.2.2:55551
frontend mytest2_frontend
bind 4.4.4.4:443
mode tcp
use_backend mytest_webssl2
backend mytest_webssl2
mode tcp
balance roundrobin
option ssl-hello-chk
server mytestweb1 1.1.1.1:55552
server mytestweb2 2.2.2.2:55552
frontend mytest3_frontend
bind 5.5.5.5:443
mode tcp
use_backend mytest_webssl3
backend mytest_webssl3
mode tcp
balance roundrobin
option ssl-hello-chk
server mytestweb2 2.2.2.2:55553
И конфигурация HAProxy3:
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
acl is_mytest3 hdr_end(host) -i mytest3.loc
use_backend mytest3_web if is_mytest3
frontend mytest1_frontend
bind 2.2.2.2:55551 ssl crt /etc/ssl/mytest1.loc.pem
mode http
option httpclose
option forwardfor
reqadd X-Forwarded-Proto:\ https
use_backend mytest1_web
frontend mytest2_frontend
bind 2.2.2.2:55552 ssl crt /etc/ssl/mytest2.loc.pem
mode http
option httpclose
option forwardfor
reqadd X-Forwarded-Proto:\ https
use_backend mytest2_web
frontend mytest3_frontend
bind 2.2.2.2:55553 ssl crt /etc/ssl/mytest3.loc.pem
mode http
option httpclose
option forwardfor
reqadd X-Forwarded-Proto:\ https
use_backend mytest3_web
backend mytest1_web
mode http
balance roundrobin
stats enable
cookie SERVERID insert indirect nocache
server mytestweb1 192.168.1.5:80 check cookie mytestweb1
backend mytest2_web
mode http
balance roundrobin
stats enable
cookie SERVERID insert indirect nocache
server mytestweb2 192.168.1.10:80 check cookie mytestweb2
backend mytest3_web
mode http
balance roundrobin
stats enable
cookie SERVERID insert indirect nocache
server mytestweb3 192.168.1.15:80 check cookie mytestweb3
Есть в нашей компании ряд веб-серверов. Для экономии адресов доступ к ним организован через HAProxy. Примерно вот так:
![](https://habrastorage.org/files/232/45e/dda/23245edda6984e41a8b0cae9bfaa3139.jpg)
При этом конфигурация самого HAProxy крайне простая (пример №1):
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
backend mytest1_web
mode http
cookie SERVERID insert indirect nocache
server mytestweb1 192.168.1.5:80 check cookie mytestweb1
backend mytest2_web
mode http
cookie SERVERID insert indirect nocache
server mytestweb2 192.168.1.10:80 check cookie mytestweb2
Здесь и далее я буду приводить не полные примеры конфиг-файла, а только интересующие нас куски.
Предельно просто — слушаем 80 порт и разбираем весь входящий траффик. Если запрашивается mytest1.loc, то он попадает в access-list is_mytest1, в этом случае используется бэкенд mytest1_web, в котором мы перенаправляем траффик на внутренний хост 192.168.1.5, где у нас и находится данный сайт. Аналогично и для mytest2.loc. Все предельно просто и при этом мы экономим реальные IP адреса.
Встал вопрос отказоустойчивости, тем более что в соседнем городе у нас тоже есть сервера, где мы можем поднять данные веб-сайты. Ну и есть виртуалка с линуксом в облаке Amazon, которая делает тоже самое, но для сайтов, расположенных в облаке. Можем ли мы использовать 2 HAProxy подряд? Поднимаем примерно такую тестовую схему и смотрим:
![](https://habrastorage.org/files/eb1/948/673/eb1948673dd74e9e8442dbd44484de8c.jpg)
Конфигурации HAProxy2 и HAProxy3 не изменились, однако в HAProxy1 добавился параметр балансировки (пример №2):
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
backend mytest1_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server HAProxy1 1.1.1.1:80 check cookie haproxy1_1
server HAProxy2 3.3.3.3:80 check cookie haproxy2_1
backend mytest2_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server HAProxy1 1.1.1.1:80 check cookie haproxy1_3
server HAProxy2 3.3.3.3:80 check cookie haproxy2_3
Все отлично заработало. Казалось бы, можно радоваться, но тут сайты решено было переделать под работу через SSL. И начались проблемы.
Вернемся к началу и рассмотрим все с начала. Первое допущение — нам не нужно шифровать траффик между прокси-сервером и самим сайтом. Второе — нам не нужно заботиться о привязке сертификата к сайту, то есть у нас везде используются самоподписанные сертификаты.
![](https://habrastorage.org/files/de5/883/010/de588301089741e396acec9c53a27112.jpg)
Что нам нужно сделать? Сгенерировать и установить на нашем HAProxy сервере самоподписанный сертификат, тогда клиент, обращаясь на сайт, будет попадать на наш прокси-сервер, брать его сертификат, устанавливать защищенное соединение с сервером и дальше перенаправляться на веб-сайт. Причем для всех сайтов, находящихся за прокси-сервером, будет использоваться один сертификат.
Итак, приступим. Генерируем:
openssl req -new -x509 -nodes -out server.crt -keyout server.key
Записываем в один файл:
cat server.key > /etc/ssl/mytest.loc.pem
cat server.crt >> /etc/ssl/mytest.loc.pem
И редактируем конфигурацию HAProxy(пример №3):
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
backend mytest1_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb1 192.168.1.5:80 check cookie mytestweb1
backend mytest2_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb2 192.168.1.10:80 check cookie mytestweb2
frontend https_frontend
bind *:443 ssl crt /etc/ssl/mytest.loc.pem
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
Кстати, проверять конфигурацию перед перезапуском — это очень полезная привычка:
haproxy -c -f /etc/haproxy/haproxy.cfg
Configuration file is valid
Проверяем и видим, что все отлично работает.
Что ж, а теперь возьмем случай, когда на каждом сайте свой сертификат, причем не самоподписанный, а купленный. И в нем есть строгая привязка к имени сайта. В этом случае мы можем решить вопрос двумя способами: разместить сертификаты для сайтов на HAProxy сервере или проксировать TCP вместо HTTP. Но в обоих случаях мы не сможем обойтись одним IP адресом для двух наших сайтов.
Рассмотрим первый случай:
![](https://habrastorage.org/files/9a0/608/2fe/9a06082fe0c646999ad0d2f9575578cb.jpg)
Все отличие данного случая от предыдущего(с самоподписанными сертификатами) только в том, что здесь нам придется слушать отдельные интерфейсы и выдавать сертификат в зависимости от интерфейса (пример №4):
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
backend mytest1_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb1 192.168.1.5:80 check cookie mytestweb1
backend mytest2_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb2 192.168.1.10:80 check cookie mytestweb2
frontend https_frontend_site1
bind 1.1.1.1:443 ssl crt /etc/ssl/mytest.loc1.pem
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
frontend https_frontend_site2
bind 9.9.9.9:443 ssl crt /etc/ssl/mytest.loc2.pem
mode http
option httpclose
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
Вроде все понятно, если траффик пришел на интерфейс с адресом 1.1.1.1, значит, клиент запрашивает сайт mytest1.loc. Значит, мы выдаем ему сертификат этого сайта и дальше проксируем на backend mytest1_web.
Во-втором случае мы пробрасываем полностью весь TCP-траффик, который пришел к нам на 443 порт. Это стоит сделать, например, тогда, когда вы по каким-либо причинам не хотите, чтоб сертификаты сайтов хранились на прокси сервере. Или, например, не доверяете внутренней сети между прокси и веб серверами.
![](https://habrastorage.org/files/f80/d55/6a8/f80d556a8b384e729ae25fb8b5756d8b.jpg)
Конфигурация HAProxy будет примерно следующая(пример №5):
frontend mytest1_frontend
bind 1.1.1.1:443
mode tcp
use_backend mytest1_webssl
backend mytest1_webssl
mode tcp
option ssl-hello-chk
server mytestweb 192.168.1.5:443
frontend mytest2_frontend
bind 9.9.9.9:443
mode tcp
use_backend mytest2_webssl
backend mytest2_webssl
mode tcp
option ssl-hello-chk
server mytestweb 192.168.1.10:443
Вроде вполне понятная конфигурация. Наверно, стоит сказать, что поскольку мы прокидываем весь TCP траффик, мы не можем анализировать его, и поэтому наличие любых access-lists в frontend части будет выдавать ошибку.
Настало время вернуться к нашей задаче с разделением web сайтов по разным городам. Для начала рассмотрим более простой случай:
![](https://habrastorage.org/files/c65/e7b/fcb/c65e7bfcb48b4088abfd51afdc1c831b.jpg)
Поскольку между HAProxy1 и HAProxy2 у нас интернет, то даже при использовании самоподписанных сертификатов мы не можем использовать HTTP PROXY MODE на HAProxy1, иначе теряется весь смысл в шифровании такого соединения. Будем использовать на HAProxy1 tcp mode, а на HAProxy2 http mode.
Конфигурация для HAProxy1 (пример №6):
frontend https_frontend
bind *:443
mode tcp
use_backend https_web
backend https_web
mode tcp
option ssl-hello-chk
server haproxy2 1.1.1.1:443
Конфигурация для HAProxy2 будет идентична конфигурации в примере №3ю
Настало время добавить вторую часть серверов:
![](https://habrastorage.org/files/be5/21a/134/be521a1348f54c15a3fc43049e81bf8e.jpg)
Конфигурация для HAProxy1 (пример №7):
frontend https_frontend
bind *:443
mode tcp
use_backend https_web
backend https_web
mode tcp
balance roundrobin
option ssl-hello-chk
server haproxy2 1.1.1.1:443 check
server haproxy3 3.3.3.3:443 check
Все отличие данного примера от предыдущего — наличие балансировки и отказоустойчивости между HAProxy2 и HAProxy3, которые по нашему условию должны находиться в разных городах.
Что ж, последний пример будет в случае наличия несамоподписанных сертификатов. Предположим, что они установлены на HAProxy серверах — как в примере №4:
![](https://habrastorage.org/files/d11/27a/0cc/d1127a0cce9c407194e8428af9ccb9f9.jpg)
Конфигурация для HAProxy1 будет как в предыдущем примере, а для HAProxy2 — как в примере №4. Такая же для HAProxy3 с небольшими изменениями реальных адресов а frontend части.
Также стоит сказать, что можно все 3 HAProxy сервера настроить в TCP MODE — и это тоже будет работоспособное решение.
Ну и напоследок хотелось бы сказать: если кто-то знает какие-то принципиально отличающиеся решения для данной задачи, буду признателен, если вы поделитесь ими.
Небольшой апдейт. Мне тут подумалось, что если мы пробрасываем трафик, то нам незачем использовать на HAProxy2 и HAProxy3 набор различных IP адресов, гораздо проще просто использовать разные порты.
Давайте рассмотрим вот такую схему:
![](https://habrastorage.org/files/27a/58f/2ae/27a58f2aea614193927140c8123d1741.jpg)
У нас есть две разные хост площадки в разных городах. Одна находится за HAProxy2 и вторая за HAProxy3. И центральный прокси сервер, на котором лежит задача балансировки, при этом сайты www.mytest1.loc и www.mytest2.loc должны балансироваться, а сайт www.mytest3.loc существует только лишь на одной площадке, поэтому доступ к нему должен только пробрасываться через прокси сервер.Все сайты должны быть доступны как по HTTP, так и по HTTPS с несамоподписанными сертификатами.
Конфигурация HAProxy1:
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
acl is_mytest3 hdr_end(host) -i mytest3.loc
use_backend mytest3_web if is_mytest3
backend mytest1_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb1 1.1.1.1:80 check cookie mytestweb1
server mytestweb1 2.2.2.2:80 check cookie mytestweb1
backend mytest2_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb2 1.1.1.1:80 check cookie mytestweb2
server mytestweb2 2.2.2.2:80 check cookie mytestweb2
backend mytest3_web
mode http
balance roundrobin
cookie SERVERID insert indirect nocache
server mytestweb3 2.2.2.2:80 check cookie mytestweb3
frontend mytest1_frontend
bind 3.3.3.3:443
mode tcp
use_backend mytest_webssl1
backend mytest_webssl1
mode tcp
balance roundrobin
option ssl-hello-chk
server mytestweb1 1.1.1.1:55551
server mytestweb2 2.2.2.2:55551
frontend mytest2_frontend
bind 4.4.4.4:443
mode tcp
use_backend mytest_webssl2
backend mytest_webssl2
mode tcp
balance roundrobin
option ssl-hello-chk
server mytestweb1 1.1.1.1:55552
server mytestweb2 2.2.2.2:55552
frontend mytest3_frontend
bind 5.5.5.5:443
mode tcp
use_backend mytest_webssl3
backend mytest_webssl3
mode tcp
balance roundrobin
option ssl-hello-chk
server mytestweb2 2.2.2.2:55553
И конфигурация HAProxy3:
frontend http_frontend
bind *:80
mode http
option httpclose
acl is_mytest1 hdr_end(host) -i mytest1.loc
use_backend mytest1_web if is_mytest1
acl is_mytest2 hdr_end(host) -i mytest2.loc
use_backend mytest2_web if is_mytest2
acl is_mytest3 hdr_end(host) -i mytest3.loc
use_backend mytest3_web if is_mytest3
frontend mytest1_frontend
bind 2.2.2.2:55551 ssl crt /etc/ssl/mytest1.loc.pem
mode http
option httpclose
option forwardfor
reqadd X-Forwarded-Proto:\ https
use_backend mytest1_web
frontend mytest2_frontend
bind 2.2.2.2:55552 ssl crt /etc/ssl/mytest2.loc.pem
mode http
option httpclose
option forwardfor
reqadd X-Forwarded-Proto:\ https
use_backend mytest2_web
frontend mytest3_frontend
bind 2.2.2.2:55553 ssl crt /etc/ssl/mytest3.loc.pem
mode http
option httpclose
option forwardfor
reqadd X-Forwarded-Proto:\ https
use_backend mytest3_web
backend mytest1_web
mode http
balance roundrobin
stats enable
cookie SERVERID insert indirect nocache
server mytestweb1 192.168.1.5:80 check cookie mytestweb1
backend mytest2_web
mode http
balance roundrobin
stats enable
cookie SERVERID insert indirect nocache
server mytestweb2 192.168.1.10:80 check cookie mytestweb2
backend mytest3_web
mode http
balance roundrobin
stats enable
cookie SERVERID insert indirect nocache
server mytestweb3 192.168.1.15:80 check cookie mytestweb3