Комментарии 5
парсеры vs cloudflare
мммммм
Веб же на 99% инфомусор
Что то мне подсказывает, что на нужных ботов фильтр будет случайно пропускать.
Cloudflare автоматически врубил эту функцию. Ботов в статистике свёл почти до нуля, однако посыпались все кампании в Adwords. Не знаю, связано или нет, но объявления все стали отклоняться через какое-то время. Возможно блокирует ботов, которые следят за изменениями в сайтах.
Вот так просто, AI не будет заходить на страницу? 😂 в то время, как Яндекс и Гугл индексируют даже закрытые от индексации страницы и залезают во все дыры
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Cloudflare открыла доступ своим клиентам к опции бесплатной блокировки веб-сканеров поисковых ботов с ИИ