backend torproxies
mode tcp
balance roundrobin
server proxy1 127.0.0.1:9050
server proxy2 127.0.0.1:9051
server proxy3 127.0.0.1:9052
server proxy4 127.0.0.1:9053
server proxy5 127.0.0.1:9054
…
Ребята, у вас бэкендеры, случайно, не пхпшники? Как-то все очень сложно и костыль на костыле.
Вы работаете с не самыми маленькими данными. В вашем случае полагаться на БД — не лучшее решение.
Как вариант — отправляйте входящие данные в текстовый лог (желательно хранимый отдельно). В случае падения будет намного проще синхронизировать Хранилище (DWH) c последними апдейтами с помощью BigQuery или Spark
SOCKSPort 9050 # Default: Bind to localhost:9050 for local connections.
SOCKSPort 9051
SOCKSPort 9052
SOCKSPort 9053
SOCKSPort 9054
…
Для балансировки использовать haproxy с директивой roundrobin:
…
frontend rotatingproxies
mode tcp
bind *:10101
default_backend torproxies
backend torproxies
mode tcp
balance roundrobin
server proxy1 127.0.0.1:9050
server proxy2 127.0.0.1:9051
server proxy3 127.0.0.1:9052
server proxy4 127.0.0.1:9053
server proxy5 127.0.0.1:9054
…
Вы работаете с не самыми маленькими данными. В вашем случае полагаться на БД — не лучшее решение.
Как вариант — отправляйте входящие данные в текстовый лог (желательно хранимый отдельно). В случае падения будет намного проще синхронизировать Хранилище (DWH) c последними апдейтами с помощью BigQuery или Spark