Cloudflare изменил доступ ИИ-ботов к сайтам: как проверить настройки и не закрыть поиск

[gotham_engineer]

Доброго времени суток) Гипотеза насчет проверки подлинности краулеров выглядит наиболее правдоподобно..сloudflare уже давно умеет валидировать оригинальные ip и обратные DNS для крупных игроков так сказать ( вроде OpenAI или google). Тот факт, что в тесте Seensure просели именно поисковые и агентские боты, которые отправлялись обычным curl с подмененным User-Agenт = доказывает что WAF начал жестче отсекать самозванцев. Настоящих ботов эти изменения, скорее всего, вообще не затронули. Скрипт полезный ваш, спасибо, наглядно показывает, как сайт выглядит для простейших парсеров)

[ig_novvv]

Спасибо за замечание! Да, Cloudflare умеет проверять подлинность ботов, и одной строки User-Agent для этого недостаточно.

Гипотеза правдоподобная, но сам результат теста ещё не доказывает, что сработала именно проверка подлинности. Причину блокировки нужно смотреть в Security Events. Утверждать, что настоящих краулеров изменения не затронули, по этому тесту тоже нельзя.

Вы точно обозначили разницу: скрипт показывает реакцию сайта на запросы с разными User-Agent с нашего IP. Для проверки доступа настоящих ботов нужны их подтверждённые запросы в логах и сведения о сработавших правилах