Это продолжение статьи про совмещение Vless, WebSocket и ssh на порту 443 силами HAProxy. В данном продолжении полностью перепишем конфигурацию HAProxy, добавим GeoIP списки для блокировки доступа, развернем личный DOH силами AdGuardHome на одном домене с WebSocket и сайтами и добавим openconnect vpn.

Начнем с базовой информации, нам потребуется 3 доменных имени например основной домен mydomain.com или my.domain.com и два дополнительных для VLESS и OCServ, допустим 1.mydomain.com ( my1.domain.com ) и 2.mydomain.com ( my2.domain.com ) соответственно, домены могут быть и бесплатными или техдомены хостера, не важно нам нужна лишь А запись на IP сервера.

HAProxy будет маршрутизировать трафик в режиме TCP для 443 порта на основе SNI, дополнительные домены пойдут на свои backend сервисы, а весь остальной или только основой уйдет на http frontend, где будут размещены защищенные сервисы на основе пути (статистика HAProxy, XUI панель, WebSocket's в лице wstunnel и DOH про него позже) а все остальное уйдет на default_backend на котором было бы неплохо разместить какой нибудь сайт.

Приступим к подготовке сервера, в данной статье я буду работать от root, так будет проще настроить методом ctrl+c ctrl+v, для начала обновим список пакетов, установим необходимые пакеты и выполним базовую настройку:
Обновляем систему apt update && apt upgrade -y
Устанавливаем пакеты apt install ocserv haproxy unzip netcat-traditional socat htop unbound unbound-anchor seccomp

Проведем базовую защиту сервера, отключим IPv6 и внесем правки в sysctl.conf, применим после внесения командой sysctl -p
nano /etc/sysctl.conf 

# Защита от IP-спуфинга
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1

# Игнорировать широковещательные запросы ICMP
net.ipv4.icmp_echo_ignore_broadcasts = 1

# Защита от плохих сообщений об ошибках icmp
net.ipv4.icmp_ignore_bogus_error_responses = 1

# Отключить маршрутизацию исходных пакетов
net.ipv4.conf.all.accept_source_route = 0
net.ipv6.conf.all.accept_source_route = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv6.conf.default.accept_source_route = 0

# Включить exec shield ядра
kernel.randomize_va_space = 1

# Блокировать SYN атаки
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 2048
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 5

# Игнорировать марсианские пакеты
net.ipv4.conf.all.log_martians = 1
net.ipv4.icmp_ignore_bogus_error_responses = 1

# Игнорировать перенаправления отправки
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0

# Игнорировать перенаправления ICMP
net.ipv4.conf.all.accept_redirects = 0
net.ipv6.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv6.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0

# Disabled IPv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

Разрешим подключения на ssh и http/s
ufw allow 22/tcp
ufw allow 80,443/tcp
Активируем фаервол
ufw enable

Теперь настроим unbound в качестве локального резолвера (шаг не обязательный и можно пропустить)
Остановим systemd resolved
systemctl stop systemd-resolved.service
Отключим DNSStubListener
sh -c 'echo DNSStubListener=no' >> /etc/systemd/resolved.conf
Удалим resolv.conf
rm -f /etc/resolv.conf
Пропишем localhost в качестве ответчика DNS
echo 'nameserver 127.0.0.1' >> /etc/resolv.conf
Запустим systemd resoved
systemctl start systemd-resolved.service
Подготовим unbound:
Скачаем список корневых DNS серверов
curl -o /etc/unbound/root.hints https://www.internic.net/domain/named.cache
Теперь создадим скрипт для автоматического обновления корневых DNS

echo '#!/bin/sh
curl -o /etc/unbound/root.hints https://www.internic.net/domain/named.cache' > /etc/cron.daily/root_hints

Сделаем его исполняемым
chmod 700 /etc/cron.daily/root_hints
Сгенерируем ключ DNSSEC для валидации
unbound-anchor -a /etc/unbound/root.key
Поменяем владельца для root.hints root.key
chown unbound:unbound /etc/unbound/root.hints
chown unbound:unbound /etc/unbound/root.key
Теперь создадим файл конфигурации
nano /etc/unbound/unbound.conf.d/dns.conf и внесем следующий код

Скрытый текст
server:
port: 53
verbosity: 0
num-threads: 1
outgoing-range: 512
num-queries-per-thread: 1024
msg-cache-size: 512m

rrset-cache-size: 64m
cache-max-ttl: 21600
cache-min-ttl: 2600
infra-host-ttl: 60
infra-lame-ttl: 120

interface: 127.0.0.1

outgoing-interface: $IP

access-control: 127.0.0.1/8 allow_snoop

root-hints: "/etc/unbound/root.hints"

username: unbound

directory: "/etc/unbound"
logfile: "/var/log/unbound.log"
log-time-ascii: yes
use-syslog: no

do-not-query-localhost: no
qname-minimisation: yes
minimal-responses: yes
prefetch: yes
use-caps-for-id: yes
rrset-roundrobin: yes

hide-identity: yes
hide-version: yes

so-rcvbuf: 4m
so-sndbuf: 4m

do-ip4: yes
do-ip6: no
do-udp: yes
do-tcp: yes
deny-any: yes

В конфигурации do-not-query-localhost: no позволит нам работать на localhost и отвечать на запросы, num-threads: 1 отвечает за кол-во потоков (по ядрам), interface: 127.0.0.1 включит прослушивание только на localhost с портом 53, outgoing-interface: $IP где $IP это IPv4 вашего сервера полученный командой ip a или панели хостера, а access-control: 127.0.0.1/8 allow_snoop разрешит трафик с localhost и позволит делать диагностику запросов.

Теперь настройка HAProxy

Сначала установим и создадим аккаунт acme для получения сертификатов
Добавим пользователя root в группу haproxy
adduser root haproxy
Создадим директорию для acme
mkdir /usr/local/share/acme.sh/
Скачаем acme.sh
git clone https://github.com/acmesh-official/acme.sh.git
Перейдем в каталог с acme
cd acme.sh/
Выполним установку в созданную директорию
./acme.sh --install --no-cron --no-profile --home /usr/local/share/acme.sh
Сделаем симлинк для удобства
ln -s /usr/local/share/acme.sh/acme.sh /usr/local/bin/
Дадим права на запуск
chmod 755 /usr/local/share/acme.sh/
Создадим директорию для хранения сертификатов HAProxy
mkdir /etc/haproxy/certs
Поменяем создателя
chown haproxy:haproxy /etc/haproxy/certs
Установим права
chmod 770 /etc/haproxy/certs
Выполним инициализацию acme зарегистрируем аккаунт и поменяем default сервер выдачи youremail@example.com замените на свою почту
acme.sh --set-default-ca --server letsencrypt --register-account -m youremail@example.com
На выходе у вас должна быть строка вида "ACCOUNT_THUMBPRINT 'diosrg8siojgiodsjhosdijhoisdfjsd' " сохраняем ее она потребуется дальше.

Создадим базовую конфигурацию HAProxy для первого запуска и получения сертификатов.
Создадим ключи DH, процедура генерации ключа может занять продолжительное время!
openssl dhparam -out /etc/haproxy/dh4096.pem 4096
Очистим дефолтую конфигурацию
echo '' > /etc/haproxy/haproxy.cfg
Откроем конфиг
nano /etc/haproxy/haproxy.cfg
и вставим следующие содержимое:

Скрытый текст
global
        log /dev/log    local0
        log /dev/log    local1 notice
        chroot /var/lib/haproxy
        stats socket /var/run/haproxy/admin.sock level admin mode 660
        setenv ACCOUNT_THUMBPRINT 'diosrg8siojgiodsjhosdijhoisdfjsd' # поменять на полученный из acme
        stats timeout 30s
        user    haproxy
        group   haproxy
        daemon
        ssl-default-bind-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305
        ssl-default-bind-options prefer-client-ciphers no-tls-tickets ssl-min-ver TLSv1.2
        ssl-default-server-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305
        ssl-default-server-options no-tls-tickets ssl-min-ver TLSv1.2
        ssl-dh-param-file /etc/haproxy/dh4096.pem
      # Тюнинг http/2 для WebSocket
        tune.h2.initial-window-size 536870912 # Увеличиваем начальный размер окна для входящих и исходящих соединений.
        tune.h2.fe.max-concurrent-streams 512 # Установим кол-во одновременных потоков на входящие соединений.
        tune.h2.fe.glitches-threshold 1024 # Установим порог автоматического завершения соединения при превышении заданного кол-ва ошибок.
        tune.h2.be.max-concurrent-streams 512 # Установим кол-во одновременных потоков на исходящие соединений.
        tune.h2.be.glitches-threshold 1024 # Установим порог автоматического завершения соединения при превышении заданного кол-ва ошибок в backend соединениях.
        
defaults
       log global
       mode http
       option httplog
       option dontlognull
       timeout connect 40s
       timeout client  1m
       timeout server  1m
       timeout tunnel 1h
       timeout http-request 30s
       errorfile 400 /etc/haproxy/errors/400.http
       errorfile 403 /etc/haproxy/errors/403.http
       errorfile 408 /etc/haproxy/errors/408.http
       errorfile 500 /etc/haproxy/errors/500.http
       errorfile 502 /etc/haproxy/errors/502.http
       errorfile 503 /etc/haproxy/errors/503.http
       errorfile 504 /etc/haproxy/errors/504.http
#-------------------------------------------
resolvers dnsserver
        nameserver ns1 127.0.0.1:53
        nameserver ns2 127.0.0.53:53
        parse-resolv-conf
        resolve_retries       3
        timeout resolve       1s
        timeout retry         1s
        hold other           30s
        hold refused         30s
        hold nx              30s
        hold timeout         30s
        hold valid           10s
        hold obsolete        30s
#------------------------------------------
frontend stats
        mode http
        bind 127.0.0.1:58080
        stats enable
        stats uri /stats
        stats realm Haproxy\ Statistics
        stats refresh 10s
        stats auth sdvhsis3w:opsdiv90-ikps
        stats show-legends
        stats hide-version
#------------------------------------------
frontend http
        bind *:80
        mode http
        http-request reject if { req.hdr(user-agent) -m len le 32 }
        http-request reject if { req.hdr(user-agent) -m sub evil }

        http-request return status 200 content-type text/plain lf-string "%[path,field(-1,/)].${ACCOUNT_THUMBPRINT}\n" if { path_beg '/.well-known/acme-challenge/' }

        http-request redirect scheme https unless { ssl_fc }

frontend tcp
        bind *:443 # ssl passthrough
        mode tcp
        option tcplog
        tcp-request inspect-delay 6s

      # Защитим от перегрузки, если с одного IP за 10сек открыто более 30 соедиенний, отклоним все запросы и закроем все соединения
      # Нужно учитывать что WsTunnel с активным параметром --connection-min-idle <n> будет занимать указанное колличество при старте
      # У VLESS так же есть мультилексор, тоже нужно учитывать при настройке
      # Может так случиться если несколько клиентов в одно и тоже время с одного IP решат подключиться, все они потеряют доступ к серверу. 
      # Для себя я вывел что 30 одновременных подключений с одного IP на случай если например дома выключат свет
        stick-table type ip size 1m expire 10s store conn_cur
        tcp-request content track-sc0 src
        tcp-request content reject if { sc_conn_cur(0) gt 30 }

        tcp-request content capture req.ssl_sni len 10
        tcp-request content accept if { req_ssl_hello_type 1 } or !{ req_ssl_hello_type 1 }

        use_backend tcp-ssh if !{ req.ssl_hello_type 1 } { payload(0,7) -m bin 5353482d322e30 } or !{ req.ssl_hello_type 1 } { req.len 0 } # Я бы не рекомендовал, вы лешитесь доступа если haproxy упадет

        default_backend tcp_to_https

frontend https
        bind 127.0.0.1:444 accept-proxy ssl crt /etc/haproxy/certs alpn h2,http/1.1 strict-sni
        http-request reject if { req.hdr(user-agent) -m sub evil }
        http-request reject if { path -m sub /. }

        http-response set-header Strict-Transport-Security "max-age=16000000; includeSubDomains; preload;" # Устанавливаем HSTS

        use_backend http_stats if { ssl_fc_sni -i mydomain.com } { path_beg /ha-stats-secret-path/ }

#->-----tcp-backend--------------------------
backend tcp_to_https
        mode tcp
        server https 127.0.0.1:444 send-proxy-v2-ssl-cn check port 444
backend tcp-ssh
        mode tcp
        option http-keep-alive
        timeout http-keep-alive 30s
        server ssh 127.0.0.1:22 check port 22
#->->---http-backend-------------------------
backend http_stats
        mode http
        http-request replace-path /ha-stats-secret-path(/)?(.*) /\2
        server stats 127.0.0.1:58080

Теперь можно проверить конфигурацию на ошибки
haproxy -f /etc/haproxy/haproxy.cfg -c
Если ошибок нет, запускаем
systemctl start haproxy

Теперь приступим к получению первого сертификата для основного домена, для это выполним следующее:
acme.sh --issue -d mydomain.com --stateless
Если все настроено было правильно, HAProxy ответ на запрос LE и вы увидите полученный сертификат, и путь к нему, но это еще не все, теперь установим сертификат на "горячую"

DEPLOY_HAPROXY_HOT_UPDATE=yes \
DEPLOY_HAPROXY_STATS_SOCKET=/var/run/haproxy/admin.sock \
DEPLOY_HAPROXY_PEM_PATH=/etc/haproxy/certs \
acme.sh --deploy -d mydomain.com --deploy-hook haproxy

Теперь можем перейти по адресу mydomain.com, если сайт открылся как https все сделано правильно, в любом случае можно для верности перезапустить сервис если сайт не открылся как https, при данном переходе на сайт у вас будет 503 ошибка, это нормально.
systemctl restart haproxy

Теперь подготовим GeoIP списки для фильтрации стран и континентов.
На просторах интернета нашел на github списки GeoIP, скажем автору Loyalsoldier спасибо за поддержание списков в актуальном состоянии.

Написал скрипт для выгрузки с репозитория актуального списка преобразования его в continent_code и country_iso_code.
Создадим директории для скрипта и хранения GeoIP списков
mkdir /etc/haproxy/geoip .
mkdir /etc/haproxy/acl .
mkdir /etc/haproxy/script .
Создадим скрипт в каталоге /etc/haproxy/script
nano /etc/haproxy/script/geoip.sh
Со следующим содержимым:

#!/bin/bash
# https://github.com/Loyalsoldier/geoip/blob/release/GeoLite2-Country-Locations-en.csv

GEOIP_ACL="/etc/haproxy/geoip"
GEOIP_TEMP="/tmp"


function DownloadDB () {
        # Очистим старые файлы:
        rm -rf  $GEOIP_TEMP/{*.csv,*.zip}

        curl -o $GEOIP_TEMP/geip_csv.zip https://raw.githubusercontent.com/Loyalsoldier/geoip/release/GeoLite2-Country-CSV.zip && \
        unzip -j $GEOIP_TEMP/geip_csv.zip -d $GEOIP_TEMP "*IPv4.csv" "*en.csv"

        # Переименуем csv:
        find $GEOIP_TEMP -depth -type f -name '*IPv4.csv' -exec mv {} $GEOIP_TEMP/ips.csv \;
        find $GEOIP_TEMP -depth -type f -name '*en.csv' -exec mv {} $GEOIP_TEMP/countres.csv \;
}

function CreateAcl () {
        if [ ! -d $GEOIP_ACL ]; then
                mkdir -p $GEOIP_ACL
        fi

        while read line; do
                COUNTRY_CODE=$(echo $line | cut -d, -f5)
                COUNTRY_ID=$(echo $line | cut -d, -f1)

                CONTINENT_CODE=$(echo $line | cut -d, -f3)
                CONTINENT_ID=$(echo $line | cut -d, -f1)

                # Создадим списки
                cat $GEOIP_TEMP/ips.csv | grep $COUNTRY_ID | cut -d, -f1 > $GEOIP_ACL/$COUNTRY_CODE.list
                cat $GEOIP_TEMP/ips.csv | grep $CONTINENT_ID | cut -d, -f1 > $GEOIP_ACL/$CONTINENT_CODE.acl
        done <$GEOIP_TEMP/countres.csv
}

DownloadDB
CreateAcl
systemctl restart haproxy

Теперь имея списки в директории /etc/haproxy/geoip можем настраивать региональные блокировки, прошу учесть что списки GeoIP не точные, вы можете случайно заблокировать себя!

Используя оператор 'или' добавим в http frontend следующие содержимое после
http-request reject if { req.hdr(user-agent) -m sub evil } 

     # Заблочим Африку, Азию, Южную Америку, Океанию, Европу и Северную Америку не блочим для запросов ACME
        http-request reject if { src -f /etc/haproxy/geoip/AF.acl } || { src -f /etc/haproxy/geoip/AS.acl } || { src -f /etc/haproxy/geoip/AN.acl } || { src -f /etc/haproxy/geoip/OC.acl } || { src -f /etc/haproxy/geoip/SA.acl }

Теперь добавим в секцию TCP frontend после tcp-request inspect-delay 6s 

      # Заблочим Африку, Азию, Южную/Северную Америку, Океанию и Антарктику
        tcp-request connection reject if { src -f /etc/haproxy/geoip/AF.acl } || { src -f /etc/haproxy/geoip/AS.acl } || { src -f /etc/haproxy/geoip/AN.acl } || { src -f /etc/haproxy/geoip/OC.acl } || { src -f /etc/haproxy/geoip/SA.acl } || { src -f /etc/haproxy/geoip/NA.acl }

Настало время добавить в https frontend после http-request reject if { path -m sub /. }

http-request deny deny_status 403 if !{ src -f /etc/haproxy/geoip/RU.list }

Учтите что вашего IP адреса может не оказаться и вы потеряете доступ к https, по этому в разделах выше нет данных правил, вы можете составить свои правила для своих подсетей назвать их mylist.acl разместить в /etc/haproxy/acl и добавить их в списки на разрешение

http-request deny deny_status 403 if !{ src -f /etc/haproxy/geoip/RU.list } || !{ src -f /etc/haproxy/mylist.acl }

Оператор || он же или, т.е. если ваш IP будет присутствовать хотя-бы в одном из правил, вы получите доступ. Использовать с осторожностью при работе с белым списком.


Параметр connection в TCP frontend работает с соединением на самой ранней точке, в случае правила запрета будет сбрасывает соединение без уведомления клиента и записи в журнал, можно изменить на content который в свою очередь запишет в журнал и сбросит соединение без ответа клиенту, в статистике HAProxy можно будет отслеживать сброшенные соединения. Правила connection  должны быть над правилами content.
Применяется для разрыва соединения с нежелательных IP-адресов.

Параметр silent-drop в http frontend отвечает за тихое отключение клиента без уведомления, можно заменить на deny который отправит ответ клиенту о закрытии соединения. Как говорит документация "тихое отбрасывание повлияет на любые брандмауэры с отслеживанием состояния или прокси-серверы между балансировщиком нагрузки и клиентом, поскольку они часто будут удерживать соединение, не зная, что оно было отключено." эффективнее использовать deny, я же комбинирую правила, для IP-адресов deny, а для user-agent и скрытых файлой "/." silent-drop.

Если установить http-request reject if { req.hdr(user-agent) -m len le 32 } в секции frontend https - перестанет работать DOH.

Конфигурация после добавления GeoIP

Скрытый текст
global
        log /dev/log    local0
        log /dev/log    local1 notice
        chroot /var/lib/haproxy
        stats socket /var/run/haproxy/admin.sock level admin mode 660
        setenv ACCOUNT_THUMBPRINT 'diosrg8siojgiodsjhosdijhoisdfjsd' # поменять на полученный из acme
        stats timeout 30s
        user    haproxy
        group   haproxy
        daemon
        ssl-default-bind-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305
        ssl-default-bind-options prefer-client-ciphers no-tls-tickets ssl-min-ver TLSv1.2
        ssl-default-server-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305
        ssl-default-server-options no-tls-tickets ssl-min-ver TLSv1.2
        ssl-dh-param-file /etc/haproxy/dh4096.pem
      # Тюнинг http/2 для WebSocket
        tune.h2.initial-window-size 536870912 # Увеличиваем начальный размер окна для входящих и исходящих соединений.
        tune.h2.fe.max-concurrent-streams 512 # Установим кол-во одновременных потоков на входящие соединений.
        tune.h2.fe.glitches-threshold 1024 # Установим порог автоматического завершения соединения при превышении заданного кол-ва ошибок.
        tune.h2.be.max-concurrent-streams 512 # Установим кол-во одновременных потоков на исходящие соединений.
        tune.h2.be.glitches-threshold 1024 # Установим порог автоматического завершения соединения при превышении заданного кол-ва ошибок в backend соединениях.
        
defaults
       log global
       mode http
       option httplog
       option dontlognull
       timeout connect 40s
       timeout client  1m
       timeout server  1m
       timeout tunnel 1h
       timeout http-request 30s
       errorfile 400 /etc/haproxy/errors/400.http
       errorfile 403 /etc/haproxy/errors/403.http
       errorfile 408 /etc/haproxy/errors/408.http
       errorfile 500 /etc/haproxy/errors/500.http
       errorfile 502 /etc/haproxy/errors/502.http
       errorfile 503 /etc/haproxy/errors/503.http
       errorfile 504 /etc/haproxy/errors/504.http
#-------------------------------------------
resolvers dnsserver
        nameserver ns1 127.0.0.1:53
        nameserver ns2 127.0.0.53:53
        parse-resolv-conf
        resolve_retries       3
        timeout resolve       1s
        timeout retry         1s
        hold other           30s
        hold refused         30s
        hold nx              30s
        hold timeout         30s
        hold valid           10s
        hold obsolete        30s
#------------------------------------------
frontend stats
        mode http
        bind 127.0.0.1:58080
        stats enable
        stats uri /stats
        stats realm Haproxy\ Statistics
        stats refresh 10s
        stats auth sdvhsis3w:opsdiv90-ikps
        stats show-legends
        stats hide-version
#------------------------------------------
frontend http
        bind *:80
        mode http
        http-request reject if { req.hdr(user-agent) -m len le 32 }
        http-request reject if { req.hdr(user-agent) -m sub evil }
        # Защитим от перегрузки
        # Если в течении 1m будет выполнено более 10 запросов отклоним ответом 429 Too Many Requests
        stick-table type ip size 100k expire 2m store http_req_rate(30s)
        http-request track-sc0 src
        # Отклоним с ответом
        http-request deny deny_status content-type text/html lf-string "<p>Per our policy, you are limited to 10 requests per minute, but you have exceeded that limit with %[sc_http_req_rate(0)] requests per minute.</p>" if { sc_http_req_rate(0) gt 30 }

      # Заблочим Африку, Азию, Южную Америку, Океанию, Европу и Северную Америку не блочим для запросов ACME
        http-request deny deny_status 403 if { src -f /etc/haproxy/geoip/AF.acl } || { src -f /etc/haproxy/geoip/AS.acl } || { src -f /etc/haproxy/geoip/AN.acl } || { src -f /etc/haproxy/geoip/OC.acl } || { src -f /etc/haproxy/geoip/SA.acl }
 
        http-request return status 200 content-type text/plain lf-string "%[path,field(-1,/)].${ACCOUNT_THUMBPRINT}\n" if { path_beg '/.well-known/acme-challenge/' }
        http-request redirect scheme https unless { ssl_fc }

frontend tcp
        bind *:443 # ssl passthrough
        mode tcp
        option tcplog
        tcp-request inspect-delay 6s

      # Заблочим Африку, Азию, Южную/Северную Америку, Океанию и Антарктику
        tcp-request connection reject if { src -f /etc/haproxy/geoip/AF.acl } || { src -f /etc/haproxy/geoip/AS.acl } || { src -f /etc/haproxy/geoip/AN.acl } || { src -f /etc/haproxy/geoip/OC.acl } || { src -f /etc/haproxy/geoip/SA.acl } || { src -f /etc/haproxy/geoip/NA.acl }

     # Защитим от перегрузки, если с одного IP за 10сек открыто более 30 соедиенний, отклоним все запросы и закроем все соединения
     # Нужно учитывать что WsTunnel с активным параметром --connection-min-idle <n> будет занимать указанное колличество при старте
     # У VLESS так же есть мультилексор, тоже нужно учитывать при настройке
     # Может так случиться если несколько клиентов в одно и тоже время с одного IP решат подключиться, все они потеряют доступ к серверу. 
     # Для себя я вывел что 30 одновременных подключений с одного IP на случай если например дома выключат свет
        stick-table type ip size 1m expire 10s store conn_cur
        tcp-request content track-sc0 src
        tcp-request content reject if { sc_conn_cur(0) gt 30 }

        tcp-request content capture req.ssl_sni len 10
        tcp-request content accept if { req_ssl_hello_type 1 } or !{ req_ssl_hello_type 1 }

        use_backend tcp-ssh if !{ req.ssl_hello_type 1 } { payload(0,7) -m bin 5353482d322e30 } or !{ req.ssl_hello_type 1 } { req.len 0 } # Я бы не рекомендовал, вы лешитесь доступа если haproxy упадет

        default_backend tcp_to_https

frontend https
        bind 127.0.0.1:444 accept-proxy ssl crt /etc/haproxy/certs alpn h2,http/1.1 strict-sni
        http-request reject if { req.hdr(user-agent) -m sub evil }
        http-request reject if { path -m sub /. }

     # Защитим от перегрузки, если перестанет работать WsTunnel (чем больше клиентов тем выше установить счетчик)
     # Если в течении 30с будет выполнено более 30 запросов отклоним ответом 429 Too Many Requests
        stick-table type ip size 100k expire 2m store http_req_rate(30s)
        http-request track-sc0 src
     # Отклоним с ответом о превышенном кол-ве запросов
        http-request deny deny_status content-type text/html lf-string "<p>Per our policy, you are limited to 30 requests per 30s, but you have exceeded that limit with %[sc_http_req_rate(0)] requests per 30s.</p>" if { sc_http_req_rate(0) gt 30 }
     # GeoIP блокировка всех кроме RU и белого списка (можете воспользоваться content-type из примера выше, сообщить о запрете доступа с их IP вывести IP адрес.)
     # Добавьте свой IP перед использованием в белый список
        http-request deny deny_status 403 if !{ src -f /etc/haproxy/geoip/RU.list } || !{ src -f /etc/haproxy/mylist.acl }

        http-response set-header Strict-Transport-Security "max-age=16000000; includeSubDomains; preload;" # Устанавливаем HSTS

        use_backend http_stats if { ssl_fc_sni -i mydomain.com } { path_beg /ha-stats-secret-path/ }

#->-----tcp-backend--------------------------
backend tcp_to_https
        mode tcp
        server https 127.0.0.1:444 send-proxy-v2-ssl-cn check port 444
backend tcp-ssh
        mode tcp
        option http-keep-alive
        timeout http-keep-alive 30s
        server ssh 127.0.0.1:22 check port 22
#->->---http-backend-------------------------
backend http_stats
        mode http
        http-request replace-path /ha-stats-secret-path(/)?(.*) /\2
        server stats 127.0.0.1:58080

Переходим к настройке сервисов

Начнем добавлять сервисы с OpenConnect
Для начала нужно получить сертификаты, для этого сделаем пару скриптов, начнем с post-hook-oc.sh
Разместим скрипты рядом с acme.sh в директории .acme.sh
находясь в домашней директории root выполняем
nano .acme.sh/post-hook-oc.sh

#!/bin/sh
cp /root/.acme.sh/1.mydomain.com_ecc/fullchan.cer /etc/ocserv/fullchan.cer
cp /root/.acme.sh/1.mydomain.com_ecc/1.mydomain.com.key /etc/ocserv/key.pem
systemctl restart ocserv

И второй hook-renew с идентичным содержимым первому
nano .acme.sh/hook-renew-oc.sh

Теперь сделаем их исполняемыми
chmod 700 .acme.sh/post-hook-oc.sh && chmod 700 .acme.sh/hook-renew-oc.sh

Подготовим запрос
acme.sh --issue -d 1.mydomain.com --stateless --post-hook /root/.acme.sh/post-hook-oc.sh --renew-hook /root/.acme.sh/hook-renew-oc.sh
Данный запрос после успешного выполнения создаст сертификаты для ocserv в /etc/ocserv, при успешном обновлении он обновит сертификат /etc/ocserv и перезапустит сервис.

Подготовим конфигурацию OCServ

Скрытый текст
# адрес подкл: https://1.mydomain.com/?my-secret-path
# cd /etc/ocserv > ocpasswd username
# имя tun
device = ocserv
socket-file = ocserv.sock
chroot-dir = /var/lib/ocserv
#pid-file = /var/run/ocserv.pid

#mtu = 1420
#буфер mtu
#output-buffer = 10

# глобальное ограничение скорости, байт/сек
#rx-data-per-sec = 40000
#tx-data-per-sec = 40000

# уровень логгирования, 1 basic, 2 info, 3 debug, 4 http, 8 sensitive, 9 TLS, default 0 он же 2
log-level = 2

# Включаем прокси протокол
listen-proxy-proto = true

# изоляция процессов, по умолчанию выкл, для включения прописать 'true' и установить apt install seccomp, снижает производительность ~2% (ocserv должен быть собран с данной опцией)
isolate-workers = false

# ограничение кол-ва входящих соединений, для предотвращения перегруза
rate-limit-ms = 100

# keepalive должен быть меньше чем timeout server и timeout client на haproxy, у меня 1 минута, уст в 40 сек
keepalive = 40

# Авторизация через PAM с gid выше 3000
#auth = "pam[gid-min=3000]"

# Авторизация через файл
auth = "plain[passwd=/etc/ocserv/ocpasswd]"

# таймаут авторизации
auth-timeout = 240

# время  запрета авторизации после не удачной попытки
min-reauth-time = 300

# Блок клиентов после не удачной авторизации, по умолчанию 10баллов = 1 попытка
max-ban-score = 80
# время сбороса баллов
ban-reset-time = 1200

# Уст время жизни куки, для повторой авторизации без пароля, в случае отвала, например для роуминга между сетями
cookie-timeout = 600
# разрешим роуминг
deny-roaming = false

# Постоянные куки, ввод пароля 1 раз
#persistent-cookies = true

# время переподключения, запроса ключа
rekey-time = 172800

# метод переключения, ssl бесшовное, new-tunnel использовать только есть проблемы с ssl
rekey-method = ssl

# Слушаем на localhost
listen-host = 127.0.0.1

# То же самое, но для UDP. Но открывать мы его не будем на firewall
#udp-listen-host = $IPADDR

# Номер порта для входящих подключений
tcp-port = 29999

# То же самое для UDP
#udp-port = 443

run-as-user = ocserv
run-as-group = ocserv

# LE сертификат вашего сервера.
#server-cert = /etc/letsencrypt/live/my.domain.ru/fullchain.pem
#server-key = /etc/letsencrypt/live/my.domain.ru/privkey.pem

# acme сертификат вашего сервера.
server-cert = /etc/ocserv/fullchain.cer
server-key = /etc/ocserv/1.mydomain.com.key

# banner = "Server"
#pre-login-banner = "Welcome"

# Можно ограничить количество одновременно подключенных клиентов
max-clients = 32

# И одновременно подключенных одинаковых клиентов (с одинаковым логином), 0 - безлимитно
max-same-clients = 2

# ваш домен например: 1.mydomain.com
default-domain = 1.mydomain.com

# диапазон IP-адресов, которые вы будете выдавать подключенным клиентам
ipv4-network = 10.12.14.0
ipv4-netmask = 255.255.255.0
# альтернативно
#ipv4-network = 10.12.14.0/24

# предотвращает утечку DNS, должно быть true
# включать при если будет использоваться для выхода в интернет
tunnel-all-dns = false

# DNS-сервер, которые будут использовать ваши клиенты.
# Их может быть несколько
dns = 8.8.8.8
dns = 1.1.1.1

# маршруты, которые будут переданы клиентам: какие диапазоны IP нужно будет отправлять через VPN
route = 10.12.14.0/255.255.255.0
# route = 192.168.0.0/255.255.0.0
# route = fef4:db8:1000:1001::/64

# default = все
# route = default

# маршруты которые не должны маршрутизироваться
# no-route = 192.168.5.0/255.255.255.0

# сохранение ip пользователя когда это возможно
predictable-ips = true

# файлы для переопределения параметров конфигурации для отдельных юзеров или групп
#config-per-user = /etc/ocserv/config-per-user/
#config-per-group = /etc/ocserv/config-per-group/

# должно быть true если мы подключаемся клиентами от Cisco
cisco-client-compat = true

# Включаем маскировку
camouflage = true

camouflage_secret = "my-secret-path"
camouflage_realm = "Admin Panel"

# для выгрузки в Prometheus
#use-occtl = true

# Скрипт при подключении и отключении пользователя, можно вывести в ТГ или log файл
#connect-script = /usr/bin/myscript
#disconnect-script = /usr/bin/myscript

# host-update от клиента
#host-update-script = /usr/bin/myhostnamescript

# Для DTLS
#Dead peer detection in seconds
#dpd = 90

# Dead peer detection for mobile clients
#mobile-dpd = 1800

# DTLS если не пришел UDP в течении (сек) перейти на tls
#switch-to-tcp-timeout = 25

# обнаружение mtu
#try-mtu-discovery = false

# HTTP headers
included-http-headers = Strict-Transport-Security: max-age=31536000 ; includeSubDomains
included-http-headers = X-Frame-Options: deny
included-http-headers = X-Content-Type-Options: nosniff
included-http-headers = Content-Security-Policy: default-src 'none'
included-http-headers = X-Permitted-Cross-Domain-Policies: none
included-http-headers = Referrer-Policy: no-referrer
included-http-headers = Clear-Site-Data: "cache","cookies","storage"
included-http-headers = Cross-Origin-Embedder-Policy: require-corp
included-http-headers = Cross-Origin-Opener-Policy: same-origin
included-http-headers = Cross-Origin-Resource-Policy: same-origin
included-http-headers = X-XSS-Protection: 0
included-http-headers = Pragma: no-cache
included-http-headers = Cache-control: no-store, no-cache

Теперь можно запустить сервис
systemctl start ocserv
И проверим его
systemctl status ocserv
Если ошибок нет создадим первого пользователя
Перейдем в /etc/ocserv cd /etc/ocserv
Выполним ocpasswd nameuser дважды введем пароль и перезапустим сервис
systemctl restart ocserv
Сервис будет слушать localhost и порт 29999 для входящих tcp соединений с поддержкой прокси протокола, udp и DTLS мы не используем.

При данных настройках внешнего подключения не будет, это только для внутренней сети, для доступа в интернет нужно разрешить форвард трафика. Как это сделать будет в конце.

Настало время добавить ocserv в HAProxy для этого в секции TCP frontend добавить следующую строку после tcp-request content accept if { req_ssl_hello_type 1 } or !{ req_ssl_hello_type 1 }
use_backend ocserv { req.ssl_sni -i 1.mydomain.com }
И добавим backend 

backend ocserv
        mode tcp
        server s1 127.0.0.1:29999 send-proxy check port 29999

И перезапустим HAProxy командой systemctl restart haproxy
Проверим что HAProxy запущен systemctl status haproxy

Теперь можно проверить подключение, адрес будет выглядеть так (я заменил : на [:] что бы не считалось ссылкой) https[:]//1.mydomain.com/?my-secret-path
Переходим в браузер вбиваем наш домен если все работает как должно, появится basic авторизация http, можем подключать клиентов.

На очереди X-UI
Развернем docker
Самый простой способ использовать официальный скрипт
curl -fsSL https://get.docker.com -o get-docker.sh && sh get-docker.sh
Проверим запуск docker командой docker ps

Теперь развернем X-UI
Создадим директорию с именем x-ui mkdir /root/x-ui
Создадим docker compose файл со следующим содержимым
nano /root/x-ui/docker-compose.yml

---
services:
  xui:
    image: alireza7/x-ui
    container_name: x-ui
    hostname: $yourhostname
    volumes:
      - $PWD/db/:/etc/x-ui/
      - $PWD/cert/:/root/cert/
    environment:
      XRAY_VMESS_AEAD_FORCED: "false"
    tty: true
    network_mode: host
    restart: unless-stopped

Теперь запустим наш контейнер
docker compose up -d
По умолчанию панель запускается на порту 54321 запомним это

Получим сертификаты для панели
Для начала создадим post и renew скрипты все шаги повторить из ocserv, отличается только содержимое
nano .acme.sh/post-hook-xui.sh 

#!/bin/sh
cp /root/.acme.sh/2.mydomain.com_ecc/fullchain.cer /root/x-ui/cert/cert.pem
cp /root/.acme.sh/2.mydomain.com_ecc/2.mydomain.com.key /root/x-ui/cert/key.pem
cd /root/x-ui && docker compose down && docker compose up -d

Подготовим запрос
acme.sh --issue -d 2.mydomain.com --stateless --post-hook /root/.acme.sh/post-hook-xui.sh --renew-hook /root/.acme.sh/hook-renew-xui.sh

Подготовим HAProxy добавим админ панель в https frontend после use_backend http_stats
use_backend http_xui if { ssl_fc_sni -i 2.mydomain.com } { path_beg /xui/ } || { path /xui }
Напишем backend

backend http_xui
        mode http
        option httpchk GET /xui/
        option forwardfor if-none
        http-response set-header X-Content-Type-Options nosniff
        http-response set-header X-XSS-Protection 1;mode=block
        http-response set-header X-Frame-Options SAMEORIGIN
        http-request add-header X-Real-Ip %[src]
        http-request set-header Host %[req.hdr(Host)]
        http-request set-header X-Forwarded-For %[src]
        http-request set-header X-Forwarded-Host %[req.hdr(host)]
        server s1 127.0.0.1:54321 check

Сохраняем и перезапускаем haproxy.
Переходим mydomain.com/xui в браузере открылась панель, все ок значит, панель ругается на дефолтый порт, поменяем его на 50000 и самое главное добавим панели путь на /my-secret-path2/ и обновим конфигурацию HAProxy.

Изменим use_backend http_xui if { ssl_fc_sni -i 2.mydomain.com } на use_backend http_xui if { ssl_fc_sni -i 2.mydomain.com } { path_beg /my-secret-path2/ }

И отредактируем backend 

backend http_xui
        mode http
        option httpchk GET /my-secret-path2/xui/
        option forwardfor if-none
        http-response set-header X-Content-Type-Options nosniff
        http-response set-header X-XSS-Protection 1;mode=block
        http-response set-header X-Frame-Options SAMEORIGIN
        http-request add-header X-Real-Ip %[src]
        http-request set-header Host %[req.hdr(Host)]
        http-request set-header X-Forwarded-For %[src]
        http-request set-header X-Forwarded-Host %[req.hdr(host)]
        server s1 127.0.0.1:50000 check

После перезапустим haproxy и проверим доступность X-UI перейдя по адресу mydomain.com/my-secret-path2/xui если открылась админ панель значит все ок.
Настроим VLESS, дефолтый логин и пароль от панели admin

Переходим в подключения создаем подключение, протокол VLESS устанавливаем ему порт 50001, протокол передачи TCP (RAW), включаете PROXY Protocol, активируете External Proxy, безопасность TLS, указываете sni сертификата 2.mydomain.com, шифры auto, указывайте uTLS я использую firefox, пропишем путь для сертификата /root/cert/cert.pem и для ключа /root/cert/key.pem , активируем Sniffing, оставляем по дефолту, теперь добавим в HAProxy

В разделе TCP frontend добавляем под ocserv
use_backend vless if { req.ssl_sni -i 2.mydomain.com}
Добавим backend vless

backend vless
        mode tcp
        timeout tunnel 1h
        server s1 127.0.0.1:50001 send-proxy check port 50001

Перезапустим HAProxy, и попробуем подключиться для этого с панели по QR коду и скопировав данные добавляете в приложение (я пользуюсь nekobox) и активируете его, сайты открываются, трафик идет, а в панели клиент горит как подключенный, значит все ок.

Добавим поддержку DNS over HTTPS
Создаем директорию
mkdir /root/adh/
Напишем docker compose 

---
services:
  adguardhome:
    image: adguard/adguardhome
    container_name: adguardhome
    volumes:
      - ./cert:/opt/adguardhome/cert
      - ./conf:/opt/adguardhome/conf
      - ./work:/opt/adguardhome/work
      - ./log:/var/log/AdGuardHome
    restart: unless-stopped
    network_mode: host

Добавим конфигурацию
mkdir /root/adh/conf
nano /root/adh/conf/AdGuardHome.yaml

Скрытый текст
http:
  pprof:
    port: 6060
    enabled: false
  address: 0.0.0.0:30000
  session_ttl: 720h
users:
  - name: demo
    password: $2y$10$9ho8XPNKtOBVRlfgQV8CFOVCOsFVpjXAHZRzICh0PDBA.dsaCbioO
auth_attempts: 5
block_auth_min: 15
http_proxy: ""
language: ""
theme: auto
dns:
  bind_hosts:
    - 127.0.0.2
  port: 53
  anonymize_client_ip: false
  ratelimit: 20
  ratelimit_subnet_len_ipv4: 24
  ratelimit_subnet_len_ipv6: 56
  ratelimit_whitelist: []
  refuse_any: true
  upstream_dns:
    - 127.0.0.1
  upstream_dns_file: ""
  bootstrap_dns:
    - 9.9.9.10
    - 149.112.112.10
    - 2620:fe::10
    - 2620:fe::fe:10
  fallback_dns: []
  upstream_mode: load_balance
  fastest_timeout: 1s
  allowed_clients: []
  disallowed_clients: []
  blocked_hosts:
    - version.bind
    - id.server
    - hostname.bind
  trusted_proxies:
    - 127.0.0.0/8
    - ::1/128
  cache_size: 4194304
  cache_ttl_min: 0
  cache_ttl_max: 0
  cache_optimistic: false
  bogus_nxdomain: []
  aaaa_disabled: false
  enable_dnssec: false
  edns_client_subnet:
    custom_ip: ""
    enabled: false
    use_custom: false
  max_goroutines: 300
  handle_ddr: true
  ipset: []
  ipset_file: ""
  bootstrap_prefer_ipv6: false
  upstream_timeout: 10s
  private_networks: []
  use_private_ptr_resolvers: true
  local_ptr_upstreams: []
  use_dns64: false
  dns64_prefixes: []
  serve_http3: false
  use_http3_upstreams: false
  serve_plain_dns: true
  hostsfile_enabled: true
tls:
  enabled: false
  server_name: ""
  force_https: false
  port_https: 0
  port_dns_over_tls: 0
  port_dns_over_quic: 0
  port_dnscrypt: 0
  dnscrypt_config_file: ""
  allow_unencrypted_doh: true
  certificate_chain: ""
  private_key: ""
  certificate_path: ""
  private_key_path: ""
  strict_sni_check: false
querylog:
  dir_path: ""
  ignored: []
  interval: 2160h
  size_memory: 1000
  enabled: true
  file_enabled: true
statistics:
  dir_path: ""
  ignored: []
  interval: 24h
  enabled: true
filters:
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_1_Russian/filter.txt
    name: Ru filter
    id: 1736931102
  - enabled: false
    url: https://raw.githubusercontent.com/rebelion76/bankiru_plus_adblock_list/master/bankiru_plus.txt
    name: bankiru_plus
    id: 1736931124
  - enabled: false
    url: https://raw.githubusercontent.com/deathbybandaid/piholeparser/master/Subscribable-Lists/CountryCodesLists/Russia.txt
    name: Подписки RU
    id: 1736931125
  - enabled: false
    url: https://easylist-downloads.adblockplus.org/ruadlist.txt
    name: ruadlist
    id: 1736931126
  - enabled: false
    url: https://raw.githubusercontent.com/deathbybandaid/piholeparser/master/Subscribable-Lists/ParsedBlacklists/RU-AdList.txt
    name: RU-AdList
    id: 1736931127
  - enabled: false
    url: https://easylist-downloads.adblockplus.org/cntblock.txt
    name: RU Adlist Counters
    id: 1736931128
  - enabled: false
    url: https://gist.githubusercontent.com/drewpayment/4a316423f7ff7df9dce63a041c478486/raw/6a509d262d7dd687c645349be3fc6217c0764768/AdGuard%2520Russian%2520filter%2520-%2520Rules.txt
    name: AdGuard Russian filter
    id: 1736931118
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_1.txt
    name: AdGuard DNS filter
    id: 1
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_2.txt
    name: AdAway Default Blocklist
    id: 2
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_4.txt
    name: Dan Pollock's List
    id: 1736931097
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_30.txt
    name: Phishing URL Blocklist (PhishTank and OpenPhish)
    id: 1736931098
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_50.txt
    name: uBlock₀ filters – Badware risks
    id: 1736931099
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_33.txt
    name: Steven Black's List
    id: 1736931100
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_59.txt
    name: AdGuard DNS Popup Hosts filter
    id: 1736931101
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_3_Spyware/filter.txt
    name: Spyware
    id: 1736931103
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_17_TrackParam/filter.txt
    name: Trackers
    id: 1736931104
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_15_DnsFilter/filter.txt
    name: Ad Guard filter
    id: 1736931107
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_11_Mobile/filter.txt
    name: Mobile
    id: 1736931108
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_21_Annoyances_Other/filter.txt
    name: Раздражающие элементы
    id: 1736931109
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_22_Annoyances_Widgets/filter.txt
    name: Widgets
    id: 1736931110
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_20_Annoyances_MobileApp/filter.txt
    name: Widgets_Mobile
    id: 1736931111
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_19_Annoyances_Popups/filter.txt
    name: Всплывайки сайты
    id: 1736931112
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_23.txt
    name: Windows Spy list
    id: 1736931113
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_8.txt
    name: nocoin
    id: 1736931114
  - enabled: false
    url: https://blocklistproject.github.io/Lists/smart-tv.txt
    name: smart-tv
    id: 1736931115
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_49.txt
    name: HaGeZi's Ultimate Blocklist
    id: 1736931116
  - enabled: false
    url: https://adguardteam.github.io/HostlistsRegistry/assets/filter_27.txt
    name: OISD Blocklist Big
    id: 1736931117
  - enabled: false
    url: https://raw.githubusercontent.com/hant0508/uBlock-filters/master/filters.txt
    name: uBlock-filters
    id: 1736931119
  - enabled: false
    url: https://raw.githubusercontent.com/AdguardTeam/FiltersRegistry/master/filters/filter_10_Useful/filter.txt
    name: AdguardTeam
    id: 1736931120
  - enabled: false
    url: https://filters.adtidy.org/extension/chromium-mv3/filters/24.txt
    name: AdGuard Quick Fixes filter MV3
    id: 1736931121
  - enabled: false
    url: https://gitlab.com/eyeo/anti-cv/abp-filters-anti-cv/-/raw/master/russian.txt
    name: Russian anti-cv
    id: 1736931122
  - enabled: false
    url: https://filters.adtidy.org/extension/ublock/filters/1_optimized.txt
    name: ublock optimized
    id: 1736931123
whitelist_filters: []
user_rules: []
dhcp:
  enabled: false
  interface_name: ""
  local_domain_name: lan
  dhcpv4:
    gateway_ip: ""
    subnet_mask: ""
    range_start: ""
    range_end: ""
    lease_duration: 86400
    icmp_timeout_msec: 1000
    options: []
  dhcpv6:
    range_start: ""
    lease_duration: 86400
    ra_slaac_only: false
    ra_allow_slaac: false
filtering:
  blocking_ipv4: ""
  blocking_ipv6: ""
  blocked_services:
    schedule:
      time_zone: Local
    ids: []
  protection_disabled_until: null
  safe_search:
    enabled: false
    bing: true
    duckduckgo: true
    ecosia: true
    google: true
    pixabay: true
    yandex: true
    youtube: true
  blocking_mode: default
  parental_block_host: family-block.dns.adguard.com
  safebrowsing_block_host: standard-block.dns.adguard.com
  rewrites: []
  safe_fs_patterns:
    - /opt/AdGuardHome/userfilters/*
  safebrowsing_cache_size: 1048576
  safesearch_cache_size: 1048576
  parental_cache_size: 1048576
  cache_time: 30
  filters_update_interval: 24
  blocked_response_ttl: 10
  filtering_enabled: true
  parental_enabled: false
  safebrowsing_enabled: false
  protection_enabled: true
clients:
  runtime_sources:
    whois: true
    arp: true
    rdns: true
    dhcp: true
    hosts: true
  persistent: []
log:
  enabled: true
  file: ""
  max_backups: 0
  max_size: 100
  max_age: 3
  compress: false
  local_time: false
  verbose: false
os:
  group: ""
  user: ""
  rlimit_nofile: 0
schema_version: 29

Прямого доступа к панели нет, логин и пароль demo
Добавим dns-query в HAProxy
Под use_backend http_xui добавим
use_backend dns_query if { ssl_fc_sni -i mydomain.com } { path_beg /dns-query/ } || { path /dns-query }
Теперь добавим backend

backend dns_query
        mode http
        option httpchk
        option forwardfor if-none
        http-response set-header X-Content-Type-Options nosniff
        http-response set-header X-XSS-Protection 1;mode=block
        http-response set-header X-Frame-Options SAMEORIGIN
        http-request add-header X-Real-Ip %[src]
        http-request set-header Host %[req.hdr(Host)]
        http-request set-header X-Forwarded-For %[src]
        http-request set-header X-Forwarded-Host %[req.hdr(host)]
        server doh 127.0.0.1:30000

И перезапустим haproxy
Добавляем в любой клиент с поддержкой DoH адрес htpps[:]//mydomain.com/dns-query и проверяем проходят ли запросы, если да приступим к защите сервиса

Под use_backend добавим default_backend http_adh
И добавим backend под backend dns_query

backend http_adh
        mode http
        server adh 127.0.0.1:30000

Перезапускаем, переходим по нашему домену mydomain.com и у нас должна открыться панель, логин и пароль demo, настроим клиентов, создадим клиента например mydevice на вкладке клиенты, теперь добавим его во вкладке DNS внизу в раздел разрешенные клиенты.

Проверим работоспособность клиента https[:]//mydomain.com/dns-query/mydevice и проверяем проходят ли запросы, если да закончим настройку клиентов, позже можно добавить еще. Уберем default_backend http_adh и полностью закомментируем backend http_adh , перезапустим haproxy.

Настроим Wstunnel я подыму один сервис socks5, вы можете масштабировать под нужное кол-во.
Создадим директорию в etc:mkdir /etc/wstunnelПерейдем в нее:cd /etc/wstunnelЗагрузим релиз wstunnel:wget https://github.com/erebe/wstunnel/releases/download/v10.1.8/wstunnel_10.1.8_linux_amd64.tar.gz

Создадим пользователя под которым будем запускать на wstunnel:
adduser --system wstunnel
Теперь добавим группу:
addgroup wstunnel
Теперь добавим нашего пользователя в группу:
usermod -aG wstunnel wstunnel

Распакуем tar -xvf wstunnel_10.1.8_linux_amd64.tar.gz
У нас в директории появились файл нас интересует только файл wstunnel, поменяем владельца файла на созданного пользователя
chown wstunnel:wstunnel ./wstunnel
Сделаем его исполняемым
chmod 700 ./wstunnel

Теперь напишем systemd-юнит для запуска наших скриптовСоздадим файл командойsudo nano /etc/systemd/system/wstunnel-socks.service со следующим содержимым: 

[Unit]
Description=Start & Check Wstunnel socks5
After=network.target
After=haproxy.service

[Service]
WorkingDirectory=/etc/wstunnel
PIDFile=/etc/wstunnel/wstunnel-socks5.pid
ExecStart=/etc/wstunnel/wstunnel server -r ws-socks-secret-path ws://127.0.0.1:40001 --websocket-ping-frequency-sec 20
Restart=always
RestartSec=10
User=wstunnel
Group=wstunnel

[Install]
WantedBy=multi-user.target

Дополнительно но не обязательно, напишем скрипт проверки туннеля, порты добавляются через пробел, сервисы через пробел с кавычками.
nano /etc/wstunnel/check-all-wstunnel.sh
и сделаем его исполняемым
chmod 700 /etc/wstunnel/check-all-wstunnel.sh

#!/bin/bash

# Установим часовой пояс для правильного отображения времени в логе
export TZ=Europe/Moscow
# Цель для пинга
TARGET="127.0.0.1"
# Массив портов
PORTS=(40001)
# Массив сервисов
SERVICES=("wstunnel-socks5-run.service")
# Для добавления добавить порт и сервис в последовательности 

# Проверка работоспособности
check_tunnel() {
    local port=$1
    local service=$2
    # Проверка открытого порта через netcat
    if ! nc -z $TARGET $port; then
        echo "$(date '+%Y-%m-%d %H:%M:%S') Сервис на порту $port не работает... Перезапуск $service" >> /var/log/wstunnel-chk.log
        systemctl restart $service
    else
        echo "$(date '+%Y-%m-%d %H:%M:%S') Сервис на порту $port работает."
    fi
}

# Запуск проверки массива портов
for i in "${!PORTS[@]}"; do
    check_tunnel ${PORTS[$i]} ${SERVICES[$i]}
done

Добавим его в cron на проверку каждые 5 мин
crontab -e
*/5 * * * * /etc/wstunnel/check-*.sh

Добавим в HAProxy
use_backend ws-socks if { ssl_fc_sni -i mydomain.com } { path /ws-socks-secret-path } || { path_beg /ws-socks-secret-path/ }

И раздел backend

backend ws-socks
        mode http
        option http-keep-alive
        timeout http-keep-alive 25s
        timeout tunnel 1h
        server s1 127.0.0.1:40001 check

Перезапускаем HAProxy.

На клиента скачиваем Wstunnel, распаковываем для примера будет windows
В папке с файлом wstunnel создаете файл start.cmd со следующим содержимым
wstunnel client -P ws-socks-secret-path -L socks5://127.0.0.1:1080 wss://mydomain.com:443 -с 7 --tls-verify-certificate --websocket-ping-frequency-sec 20

Настраиваете браузер на использование socks5 сервера 127.0.0.1 и порта 1080 включите перенаправление dns.

Остается только добавить какой нибудь безобидный сайт с котиками для этого добавьте под use_backend в разделе https backend
default_backend cats

И секцию backend

backend cats
        mode http
        option httpchk
        option forwardfor if-none
        http-response set-header X-Content-Type-Options nosniff
        http-response set-header X-XSS-Protection 1;mode=block
        http-response set-header X-Frame-Options SAMEORIGIN
        http-request add-header X-Real-Ip %[src]
        http-request set-header Host %[req.hdr(Host)]
        http-request set-header X-Forwarded-For %[src]
        http-request set-header X-Forwarded-Host %[req.hdr(host)]
        server s1 127.0.0.1:[ваш порт сайта]

Заключение

В статье мы разобрали работу с GeoIP в HAProxy, сформировали списки, защитили наши сервисы от определенного кол-ва ботов через отсечение континентов от наших frontend 'ов, показал пример как можно маршрутизировать OCServ, VLESS, и основной домен с сайтами и добавил ssh на 443 порт.

Полная конфигурация HAProxy

Скрытый текст
global
        log /dev/log    local0
        log /dev/log    local1 notice
        chroot /var/lib/haproxy
        stats socket /var/run/haproxy/admin.sock level admin mode 660
        setenv ACCOUNT_THUMBPRINT 'diosrg8siojgiodsjhosdijhoisdfjsd' # поменять на полученный из acme
        stats timeout 30s
        user    haproxy
        group   haproxy
        daemon
        ssl-default-bind-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305
        ssl-default-bind-options prefer-client-ciphers no-tls-tickets ssl-min-ver TLSv1.2
        ssl-default-server-ciphers ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305
        ssl-default-server-options no-tls-tickets ssl-min-ver TLSv1.2
        ssl-dh-param-file /etc/haproxy/dh4096.pem
      # Тюнинг http/2 для WebSocket
        tune.h2.initial-window-size 536870912 # Увеличиваем начальный размер окна для входящих и исходящих соединений.
        tune.h2.fe.max-concurrent-streams 512 # Установим кол-во одновременных потоков на входящие соединений.
        tune.h2.fe.glitches-threshold 1024 # Установим порог автоматического завершения соединения при превышении заданного кол-ва ошибок.
        tune.h2.be.max-concurrent-streams 512 # Установим кол-во одновременных потоков на исходящие соединений.
        tune.h2.be.glitches-threshold 1024 # Установим порог автоматического завершения соединения при превышении заданного кол-ва ошибок в backend соединениях.
        
defaults
       log global
       mode http
       option httplog
       option dontlognull
       timeout connect 40s
       timeout client  1m
       timeout server  1m
       timeout tunnel 1h
       timeout http-request 30s
       errorfile 400 /etc/haproxy/errors/400.http
       errorfile 403 /etc/haproxy/errors/403.http
       errorfile 408 /etc/haproxy/errors/408.http
       errorfile 500 /etc/haproxy/errors/500.http
       errorfile 502 /etc/haproxy/errors/502.http
       errorfile 503 /etc/haproxy/errors/503.http
       errorfile 504 /etc/haproxy/errors/504.http
#-------------------------------------------
resolvers dnsserver
        nameserver ns1 127.0.0.1:53
        nameserver ns2 127.0.0.53:53
        parse-resolv-conf
        resolve_retries       3
        timeout resolve       1s
        timeout retry         1s
        hold other           30s
        hold refused         30s
        hold nx              30s
        hold timeout         30s
        hold valid           10s
        hold obsolete        30s
#------------------------------------------
frontend stats
        mode http
        bind 127.0.0.1:58080
        stats enable
        stats uri /stats
        stats realm Haproxy\ Statistics
        stats refresh 10s
        stats auth sdvhsis3w:opsdiv90-ikps
        stats show-legends
        stats hide-version
#------------------------------------------
frontend http
        bind *:80
        mode http
        http-request reject if { req.hdr(user-agent) -m len le 32 }
        http-request reject if { req.hdr(user-agent) -m sub evil }
        # Защитим от перегрузки
        # Если в течении 1m б��дет выполнено более 10 запросов отклоним ответом 429 Too Many Requests
        stick-table type ip size 100k expire 2m store http_req_rate(30s)
        http-request track-sc0 src
        # Отклоним с ответом
        http-request deny deny_status content-type text/html lf-string "<p>Per our policy, you are limited to 10 requests per minute, but you have exceeded that limit with %[sc_http_req_rate(0)] requests per minute.</p>" if { sc_http_req_rate(0) gt 30 }

      # Заблочим Африку, Азию, Южную Америку, Океанию, Европу и Северную Америку не блочим для запросов ACME
        http-request deny deny_status 403 if { src -f /etc/haproxy/geoip/AF.acl } || { src -f /etc/haproxy/geoip/AS.acl } || { src -f /etc/haproxy/geoip/AN.acl } || { src -f /etc/haproxy/geoip/OC.acl } || { src -f /etc/haproxy/geoip/SA.acl }
 
        http-request return status 200 content-type text/plain lf-string "%[path,field(-1,/)].${ACCOUNT_THUMBPRINT}\n" if { path_beg '/.well-known/acme-challenge/' }
        http-request redirect scheme https unless { ssl_fc }

frontend tcp
        bind *:443 # ssl passthrough
        mode tcp
        option tcplog
        tcp-request inspect-delay 6s

      # Заблочим Африку, Азию, Южную/Северную Америку, Океанию и Антарктику
        tcp-request connection reject if { src -f /etc/haproxy/geoip/AF.acl } || { src -f /etc/haproxy/geoip/AS.acl } || { src -f /etc/haproxy/geoip/AN.acl } || { src -f /etc/haproxy/geoip/OC.acl } || { src -f /etc/haproxy/geoip/SA.acl } || { src -f /etc/haproxy/geoip/NA.acl }

     # Защитим от перегрузки, если с одного IP за 10сек открыто более 30 соедиенний, отклоним все запросы и закроем все соединения
     # Нужно учитывать что WsTunnel с активным параметром --connection-min-idle <n> будет занимать указанное колличество при старте
     # У VLESS так же есть мультилексор, тоже нужно учитывать при настройке
     # Может так случиться если несколько клиентов в одно и тоже время с одного IP решат подключиться, все они потеряют доступ к серверу. 
     # Для себя я вывел что 30 одновременных подключений с одного IP на случай если например дома выключат свет
        stick-table type ip size 1m expire 10s store conn_cur
        tcp-request content track-sc0 src
        tcp-request content reject if { sc_conn_cur(0) gt 30 }

        tcp-request content capture req.ssl_sni len 10
        tcp-request content accept if { req_ssl_hello_type 1 } or !{ req_ssl_hello_type 1 }

        use_backend tcp-ssh if !{ req.ssl_hello_type 1 } { payload(0,7) -m bin 5353482d322e30 } or !{ req.ssl_hello_type 1 } { req.len 0 } # Я бы не рекомендовал, вы лешитесь доступа если haproxy упадет
        use_backend ocserv if { req.ssl_sni -i 1.mydomain.com } 
        use_backend vless if { req.ssl_sni -i 2.mydomain.com } 

        default_backend tcp_to_https

frontend https
        bind 127.0.0.1:444 accept-proxy ssl crt /etc/haproxy/certs alpn h2,http/1.1 strict-sni
        http-request reject if { req.hdr(user-agent) -m sub evil }
        http-request reject if { path -m sub /. }

     # Защитим от перегрузки, если перестанет работать WsTunnel (чем больше клиентов тем выше установить счетчик)
     # Если в течении 30с будет выполнено более 30 запросов отклоним ответом 429 Too Many Requests
        stick-table type ip size 100k expire 2m store http_req_rate(30s)
        http-request track-sc0 src
     # Отклоним с ответом о превышенном кол-ве запросов
        http-request deny deny_status content-type text/html lf-string "<p>Per our policy, you are limited to 30 requests per 30s, but you have exceeded that limit with %[sc_http_req_rate(0)] requests per 30s.</p>" if { sc_http_req_rate(0) gt 30 }
     # GeoIP блокировка всех кроме RU и белого списка (можете воспользоваться content-type из примера выше, сообщить о запрете доступа с их IP вывести IP адрес.)
     # Добавьте свой IP перед использованием в белый список, применять осторожно
       # http-request deny deny_status 403 if !{ src -f /etc/haproxy/geoip/RU.list } || !{ src -f /etc/haproxy/mylist.acl }

        http-response set-header Strict-Transport-Security "max-age=16000000; includeSubDomains; preload;" # Устанавливаем HSTS

        use_backend http_stats if { ssl_fc_sni -i mydomain.com } { path_beg /ha-stats-secret-path/ }
        use_backend http_xui if { ssl_fc_sni -i 2.mydomain.com } { path_beg /my-secret-path2/ }
        use_backend dns_query if { ssl_fc_sni -i mydomain.com } { path_beg /dns-query/ } || { path /dns-query }
        use_backend ws-socks if { ssl_fc_sni -i mydomain.com } { path /ws-socks-secret-path } || { path_beg /ws-socks-secret-path/ }
       # default_backend http_adh # панель настройки AdGuardHome
       # default_backend cats # раскомментируйте после добавления сайта обманки
#->-----tcp-backend--------------------------
backend tcp_to_https
        mode tcp
        server https 127.0.0.1:444 send-proxy-v2-ssl-cn check port 444
backend tcp-ssh
        mode tcp
        option http-keep-alive
        timeout http-keep-alive 30s
        server ssh 127.0.0.1:22 check port 22
backend ocserv
        mode tcp
        server s1 127.0.0.1:29999 send-proxy check port 29999
backend vless
        mode tcp
        timeout tunnel 1h
        server s1 127.0.0.1:50001 send-proxy check port 50001
#->->---http-backend-------------------------
backend http_stats
        mode http
        http-request replace-path /ha-stats-secret-path(/)?(.*) /\2
        server stats 127.0.0.1:58080
backend http_xui
        mode http
        option httpchk GET /xui/
        option forwardfor if-none
        http-response set-header X-Content-Type-Options nosniff
        http-response set-header X-XSS-Protection 1;mode=block
        http-response set-header X-Frame-Options SAMEORIGIN
        http-request add-header X-Real-Ip %[src]
        http-request set-header Host %[req.hdr(Host)]
        http-request set-header X-Forwarded-For %[src]
        http-request set-header X-Forwarded-Host %[req.hdr(host)]
        server s1 127.0.0.1:54321 check
backend dns_query
        mode http
        option httpchk
        option forwardfor if-none
        http-response set-header X-Content-Type-Options nosniff
        http-response set-header X-XSS-Protection 1;mode=block
        http-response set-header X-Frame-Options SAMEORIGIN
        http-request add-header X-Real-Ip %[src]
        http-request set-header Host %[req.hdr(Host)]
        http-request set-header X-Forwarded-For %[src]
        http-request set-header X-Forwarded-Host %[req.hdr(host)]
        server doh 127.0.0.1:30000
#backend http_adh
#        mode http
#        server adh 127.0.0.1:30000
backend ws-socks
        mode http
        option http-keep-alive
        timeout http-keep-alive 25s
        timeout tunnel 1h
        server s1 127.0.0.1:40001 check

#Здесь вы добавите секцию backend cats для маскировки

Дополнение по OCServ для доступа в интернет

Скрытый текст

Необходимо добавить в /etc/sysctl.conf следующую строку
net.ipv4.ip_forward = 1
и применить конфигурацию sysctl -p

Внесем изменения в /etc/default/ufw
Изменим DEFAULT_FORWARD_POLICY="DROP" на DEFAULT_FORWARD_POLICY="ACCEPT"

Добавим NAT в /etc/ufw/before.rules перед *filter

*nat
:POSTROUTING ACCEPT [0:0]
-A POSTROUTING -s 10.13.14.0/24 -o eth0 -j MASQUERADE
COMMIT

После выполнить ufw disable и ufw enable

Upd. Реализовал reality за haproxy, в дальнейшем с данной конфигурацией можно будет перейти на cdn, +добавлю вариант vless-ws. Продолжение скоро.