Прокси-сервер с помощью Tor. Основа для многопоточного парсинга

[igor_suhorukov]

Вас сервисы к которым вы обращаетесь не блокируют из-за обращения с IP узлов TOR?

[Scherbakov]

Блокируют, еще как))) А IP узлов TOR очень много! Поэтому в случае блокировки — обновляем IP и работаем дальше

[igor_suhorukov]

Тема дня на linkedin перед предстоящей блокировки сети по решению суда: «Как выгрузить ваши контакты, как научиться работать с прокси серверами и tor»

[simpleadmin]

Не так то их и много
$ grep -cF " Exit " consensus.z
914

из них прилично работающих процентов 30.

[Scherbakov]

Многие порталы специально не блокируют эти узлы что бы не потерять аудиторию

[Andrey_Volk]

Довольно-таки простое решение, спасибо, схоронил!)

[Scherbakov]

Нет ничего проще забыть что-то, чем сохранить в избраное)))

[ValdikSS]

Довольно топорное, некрасивое решение. Для запуска нескольких Tor достаточно было одного измененного systemd .service-файла с шаблоном, и можно было бы запускать как-то так:

systemctl start tor@1
systemctl start tor@2
…

Непонятно, зачем нужен privoxy, если Tor сам делает Socks5-прокси. Только если приложение не поддерживает Socks, наверное, но тогда удобней было бы использовать какой-нибудь «проксификатор», перехватывающий сетевые вызовы, вроде proxychains.

И причем здесь хаб «Спам и антиспам»? Вероятно, такие задачи только у спамеров бывают.

[Scherbakov]

Возможно Вам данная тема очень знакома. Были причины использования именно данной связки. Что то вообще не захотело работать. Я ваше решение посмотрю, как говорится, любое мнение бывает полезным. А хаб этот я добавил по сугубо тонким соображениям)

[simpleadmin]

Вероятно, такие задачи только у спамеров бывают.

Если к спамерам и парсерам добавить ddos'еров, то, пожалуй, получим полный перечень пользователей такого решения :)

[ValdikSS]

DDoS через медленные публичные прокси будет делать только глупый, а через Tor — самый отчаявшийся человек, т.к. ему заблокируют доступ уже через несколько часов.

[simpleadmin]

Разумеется борьба с ними не составляет проблем, но при этом всём такие атаки наблюдаю раз в неделю минимум. Причиной именно бесплатность решения, которая нивелирует остальные недостатки.

[Demogor]

Хорошая статья, спасибо.
А еще тор вполне неплохо контролируется программно+есть готовые решения для http/s трафика поверх тора(по крайней мере, для шарпа и ноды делал такие штуки).

Еще есть небольшой фокус: сам тор поддерживает смену IP без перезапуска(под виндой управление осуществляется через телнет, на остальных ОС — не в курсе), но, если не ошибаюсь, есть ограничение в 15 секунд между сменой. Обходится простым перезапуском.

[Scherbakov]

Все решения для Unix, которые я нашел, ведут к выполнению команд на контрольном порту. В любом случае можно ведь решить этот вопрос через cron

[Scherbakov]

del

[simpleadmin]

2. PRIVOXY для проксирования запросов (Можно взять nginx, varnish — я взял Privoxy)

Если парсится курлом, то это лишнее ресурсоёмкое звено. К tor'у можно напрямую цепляться через socks.

[kumbr_87]

Есть еще такая штука как Whonix, скачивается готовая виртуальная машина, запускается, на ПК адрес машины прописывается в качестве шлюза и всё :) Удобство такого решения — можно всю домашнюю сеть без труда направить через тор. Ну или мешок виртуальных машин занимающихся парсингом или еще чего :)

[Scherbakov]

Спасибо, обязательно посмотрю.

[epicf4il]

Если вы везде открывает ControlPort, то не надо ли включать аутентификацию для него? HashedControlPassword или CookieAuthentication.

## If you enable the controlport, be sure to enable one of these
## authentication methods, to prevent attackers from accessing it.
#HashedControlPassword
#CookieAuthentication

[Scherbakov]

Прослушивание только с внутреннего IP адреса. Думаю это лишнее

[epicf4il]

Печально будет, если будет скомпрометирован любой локальный хост, у которого есть доступ к управляющим портам tor.

Кстати, еще момент. Если ставить tor на Ubuntu, то лучше прописать официальные репы и добавить ключи, да бы получить последнюю стабильную версию. Для Debian вроде и так все должно быть ок, хотя репы и для него есть.

[Rakshas]

Можно сделать проще. Достаточно добавить в /etc/tor/torrc необходимое количество портов:

SOCKSPort 9050 # Default: Bind to localhost:9050 for local connections.
SOCKSPort 9051
SOCKSPort 9052
SOCKSPort 9053
SOCKSPort 9054
…

Для балансировки использовать haproxy с директивой roundrobin:

…
frontend rotatingproxies
mode tcp
bind *:10101
default_backend torproxies

backend torproxies
mode tcp
balance roundrobin
server proxy1 127.0.0.1:9050
server proxy2 127.0.0.1:9051
server proxy3 127.0.0.1:9052
server proxy4 127.0.0.1:9053
server proxy5 127.0.0.1:9054
…


[Scherbakov]

Дописал скрипт, добавил меню, добавил очистку