Ох уж эти скрытные ботнеты

Правило: если услуга предоставляется бесплатно, значит товар это ты! Посмотрите на размер инсталяшки примитивных приложений типа фонарика - пара байт полезного функционала и сто мегабайт показывателей рекламы, а то и чего похуже!

Не вижу никакого смысла их блокировать, особенно с учётом того что с одного адреса приходит не больше 1-3 запросов и эти адреса в основном динамические, то есть в следующий раз это приложение выйдет на связь с нового айпи.

И, справедливости ради, через эти библиотеки необязательно пускают "грязный" траффик для взлома и атак, вполне могут и что-то нейтральное делать. Так что эти библиотеки это необязательно плохо.

Общего решения этой проблемы не вижу. Раньше предлагалась идея, что-то типа удорожания подключения. То есть для входа надо не только пароль предъявить, но и провести некоторое дорогостоящее вычисление, которое вполне под силу рядовому пользователю, но спамеру будет стоить слишком много из-за объёмов. Однако такого рода библиотеки обнуляют эту идею - пользователю это не будет стоить дорого, а пользователей миллионы...

Сейчас я считаю, что любая форма веб-скрейпинга должна рассматриваться как абьюзивное поведение, и серверы должны их все блокировать.

На GoDaddy если уберёшь из адресной строки путь к национальной версии сайта, которую он предлагает по IP, чтобы попасть на английскую, сразу блокирует.

Резидентные прокси не особо и серый рынок. В основном их используют для парсинга результатов поиска Гугла, парсинга Амазона. Некоторые просто на собственные сайты заходят, чтобы проверить, как они с мобильника в какой-нибудь Колумбии работают.

Установленная на моём сервере задача cron проверяет журналы на предмет атак, используя скрипт оболочки, и каждое утро присылает мне письмо с командами скопировать/вставить для добавления этих гадких живностей в список фаервола.

Есть вариант "обучить" фаирвол самостоятельно обрабатывать подобные адреса, если достаточно защиты SSH. Ну и не забываем об "PasswordAuthentication no" и аутентификации по ключам.

table inet filter {

  set ssh_accept {
    typeof ip saddr
    timeout 8h
    flags timeout, dynamic
    policy memory
  }

  set ssh_stage1 {
    typeof ip saddr
    timeout 15m
    flags timeout, dynamic
    policy memory
  }

  set ssh_stage2 {
    typeof ip saddr
    timeout 35m
    flags timeout, dynamic
    policy memory
  }

  set black_hole {
    typeof ip saddr
    timeout 14d
    flags timeout, dynamic
    policy memory
  }

  chain input {
    type filter hook input priority filter; policy drop;
    ct state vmap { established: accept, related: accept, new: continue, invalid: drop }
    iif lo accept
    ip saddr @ssh_accept tcp dport 22 accept comment "SSH Login Success"
    ip saddr @black_hole drop comment "Drop bruteforce"
    ip saddr @ssh_stage2 tcp dport 22 add @black_hole { ip saddr } accept
    ip saddr @ssh_stage1 tcp dport 22 add @ssh_stage2 { ip saddr } accept
    tcp dport 22 add @ssh_stage1 { ip saddr } accept
    icmp type echo-request limit rate 5/second accept
  }
}

Не забываем себе подстелить соломку:

nft add element "inet filter ssh_accept { ${SSH_CLIENT%% *} }" 2>/dev/null || true
nft delete element "inet filter ssh_stage1 { ${SSH_CLIENT%% *} }" 2>/dev/null || true

Скриптами можно подключить сервисы для обмена адресами:

https://www.blocklist.de/
https://www.projecthoneypot.org/

[root@msk0-mlbc:~]# uptime 
 04:23:39  up 5 days  4:31,  1 user,  load average: 0.00, 0.00, 0.00

[root@msk0-mlbc:~]# nft list set inet filter black_hole | grep 'expires' | wc -l
335

Конечно, эту часть можно и автоматизировать.

Мы это давно сделали: https://diswall.stream

Такие ботнеты довольно умны. Обладая ресурсом в десятки тысяч обычно резидентных или мобильных IP-адресов, они ежедневно используют каждый из них ровно для одной попытки авторизоваться на почтовом сервере или установить SMTP-соединение.

У меня ботнет постоянно пытается найти уязвимость Wordpress, сканируя папки wp-admin/ wp-includes/ и тп. хотя у меня drupal.

Тоже сначала банил, каждый день айпи меняют. Думал сделать скрипт для автобана, но потом забил. Не могут даже определить, что за админка - школота какая-то в хакеров играет, стоит ли напрягаться.

50к адресов /32 в блэклисте - интересно, оно не тормозит у автора?

Сейчас я считаю, что любая форма веб-скрейпинга должна рассматриваться как абьюзивное поведение, и серверы должны их все блокировать.

А я считаю, что борцы с веб-скрейпингом - небольшое зло. Хотелось бы больше свободы информации.