Комментарии 8
Поставить, что-ли, на свой сайт генератор текстового мусора, на который по невидимым людьми ссылкам отправлять роботов. Или отдавать им весь архив SU.KASCHENKO.LOCAL )))
Глядишь, получится не допустить восстание Скайнета...
Сара Коннор?
Меня больше всего выбесил робот от OpenAI, который мало того, что напрочь игнорировал лимиты скорости запросов из robots.txt, так они еще и запретили доступ к своей же странице с документацией, куда эти роботы в запросах шлют. При этом сканировать русские сайты им это совершенно не помешало - тут, значит, запретов у них нет...
Угадайте, куда пошли вообще все боты этой компании в итоге?
И ведь она такая далеко не одна - и все эти работы ломятся на сервера так, будто там бесконечные мощности есть, готовые их обслуживать...
Цифровая война за ресурсы.Начало.
1)если я захожу на сайт perplexity и что-нибудь ищу там, то почему по мнению Cloudflare он не может переиспользовать user-agent моего браузера?
2)Perplexity бесплатный, а perplexity pro неофициально стоит копейки в сравнении с другими провайдерами нейросетей. Причем один из таких провайдеров... сам Cloudflare. Напоминает историю c DNS, которого не устривают "избыточные скидки" на Ozon и Wildberries.
Потому что странички этого сайта предназначены только для людей, а не для ботов. И это явно прописано в каком-нибудь robots и стоит капча от ботов.
Есть соглашение для роботов. И надо бы ему соответствовать.
Интересно, описанное поведение не означает ли, что они занимаются краулингом с браузеров посетителей?
Вспомнил историю одного парня из США. Выложил описание, уже не помню чего. Да еще приложил файлы к этим описаниям в разных вариантах. Пришел такой бот и чек ему на 3000 вечно зеленых накрутил за Амазон.
Cloudflare утверждает, что ИИ‑боты Perplexity «скрыто сканируют» заблокированные от ИИ сайты