Подозреваю, что изучение и анализ логов на сервере даст ответы на любые вопросы. По-моему мнению паразитный трафик чаще состоит из: роботов-паразитов (AI), сканеров уязвимостей они приходят и тупо перебирают по своим паттернам (причем некоторые могут ввалить в секунду десятки запросов), поведенческих ботов, парсеров, скреперов, ддосеров. Там кого только нету, это же все делается не вручную, а софтом. И все они потребляют Ваши ресурсы (почему и называется этот трафик паразитным). Поскольку софт этот массовый, то обнаружив или узнав его паттерны и слабые места его можно вполне себе так резать без затрат на cloudflare. Еще вся эта аудитория очень любит запускать свои игрушки из Google Cloud, чтобы пугать первым словом неосведомленных. Мол заблокируешь и не будет тебе Гугла. Но для этого нужно раз и навсегда сделать белые списки на сервере, а диапазоны из Google Cloud подвергать или проверке или отправить сразу в черный список.
Ага, в тетрадке))) Все эти условия конечно в коде прописываются. Потому что если банить всех подряд, то ничего хорошего не будет. Есть признаки по которым надо банить сразу (например старые версии хрома или переход по honeypot), но с другой стороны и есть признаки по которым надо чтобы набирался антирейтинг ip (например заход на сайт без действия или количество обращений к 404). И потом лучше разделять: какие признаки отдать на бан серверу без траты ресурсов например nginx отдающий 444 (отфильтровывающий трафик) или ipsets через iptables (черные списки), а на какие все-таки немного тратить их. Но там бан и по времени лучше делать на час. Какой смысл те же ip адреса или ip-диапазоны блокировать навсегда? Бот зашел с мобильного оператора, Ваша автоматика ему на час кислород перекрыла. Всё. Опыт показывает, что они потом с этого ip в ближайшие недели/месяцы не возвращаются. А если заблокировать такой ip или диапазон, то можно со временем лишиться мобильного трафика. Поэтому нет смысла такие ip банить на всегда. Ну и потом есть замечательные бесплатные инструменты для серверов как CrowdSec, настройки в nginx (где чуть ли не половина функционала Cloudflare помещается в несколько строк и бесплатно) ну и Fail2ban наконец (если настраивать через ipsets).
На nginx 99% паразитного трафика вырезаются в несколько строк. Например запретом chrome от 1 до 125 версии (гуглите почему сами). И сервер вообще ничего не тратит отдавая 444 паразитам. Конечно этот список можно пошаманить и черным списком краулеров, паттернами доступа. Вы поймите одно: ботнеты работают определенными довольно тупыми паттернами. Там нет цели сделать что то эксклюзивно. А раз это массовая история, то значит можно изучить ее особенности и их учесть. Но самый распромтраненный паттерн на сегодня - это версия хрома. Смело режьте от 1 до 125. На мой взгляд автор не до конца понимает предмет, но на верном пути. Даже поведенческие и те вычисляются например несколько заходов холостых на десятый блок на час например (чтобы не заблочить ip мобильных операторов). Также рекомендую создать блокировки по признакам cdp, webdriver и тому подобное
Подозреваю, что изучение и анализ логов на сервере даст ответы на любые вопросы. По-моему мнению паразитный трафик чаще состоит из: роботов-паразитов (AI), сканеров уязвимостей они приходят и тупо перебирают по своим паттернам (причем некоторые могут ввалить в секунду десятки запросов), поведенческих ботов, парсеров, скреперов, ддосеров. Там кого только нету, это же все делается не вручную, а софтом. И все они потребляют Ваши ресурсы (почему и называется этот трафик паразитным). Поскольку софт этот массовый, то обнаружив или узнав его паттерны и слабые места его можно вполне себе так резать без затрат на cloudflare. Еще вся эта аудитория очень любит запускать свои игрушки из Google Cloud, чтобы пугать первым словом неосведомленных. Мол заблокируешь и не будет тебе Гугла. Но для этого нужно раз и навсегда сделать белые списки на сервере, а диапазоны из Google Cloud подвергать или проверке или отправить сразу в черный список.
Ага, в тетрадке))) Все эти условия конечно в коде прописываются. Потому что если банить всех подряд, то ничего хорошего не будет. Есть признаки по которым надо банить сразу (например старые версии хрома или переход по honeypot), но с другой стороны и есть признаки по которым надо чтобы набирался антирейтинг ip (например заход на сайт без действия или количество обращений к 404). И потом лучше разделять: какие признаки отдать на бан серверу без траты ресурсов например nginx отдающий 444 (отфильтровывающий трафик) или ipsets через iptables (черные списки), а на какие все-таки немного тратить их. Но там бан и по времени лучше делать на час. Какой смысл те же ip адреса или ip-диапазоны блокировать навсегда? Бот зашел с мобильного оператора, Ваша автоматика ему на час кислород перекрыла. Всё. Опыт показывает, что они потом с этого ip в ближайшие недели/месяцы не возвращаются. А если заблокировать такой ip или диапазон, то можно со временем лишиться мобильного трафика. Поэтому нет смысла такие ip банить на всегда. Ну и потом есть замечательные бесплатные инструменты для серверов как CrowdSec, настройки в nginx (где чуть ли не половина функционала Cloudflare помещается в несколько строк и бесплатно) ну и Fail2ban наконец (если настраивать через ipsets).
На nginx 99% паразитного трафика вырезаются в несколько строк. Например запретом chrome от 1 до 125 версии (гуглите почему сами). И сервер вообще ничего не тратит отдавая 444 паразитам. Конечно этот список можно пошаманить и черным списком краулеров, паттернами доступа. Вы поймите одно: ботнеты работают определенными довольно тупыми паттернами. Там нет цели сделать что то эксклюзивно. А раз это массовая история, то значит можно изучить ее особенности и их учесть. Но самый распромтраненный паттерн на сегодня - это версия хрома. Смело режьте от 1 до 125. На мой взгляд автор не до конца понимает предмет, но на верном пути. Даже поведенческие и те вычисляются например несколько заходов холостых на десятый блок на час например (чтобы не заблочить ip мобильных операторов). Также рекомендую создать блокировки по признакам cdp, webdriver и тому подобное