Pull to refresh

Как остановить Рамблер?

Habr
Самая устаревшая поисковая система русского интернета, похоже, не на шутку нас полюбила.

Рамблер запрашивает документы с хабрахабра со скоростью до 170 запросов в секунду, что нас несколько не устраивает и по нашим наблюдениям является абсолютным рекордом среди всех индексаторов, посещающих наш проект.

От службы технической поддержки поисковой системы получено несколько несвязных параноидальных ответов, советующих почитать страницу с описанием файла robots.txt или «поставить задержку на ответ роботу».

Судя по всему, Рамблер не поддерживает директиву Crawl-delay и найти решение проблемы, не блокируя доступ Рамблеру, будет не так просто, как хотелось бы (nginx в шаге от того, чтобы решить эту проблему для нужного значения user-agent).

Интересно, есть ли среди читателей те, кто может похвастаться ещё большей степенью внимания со стороны Рамблера?
Tags:
Hubs:
Total votes 139: ↑119 and ↓20 +99
Views 963
Comments 95
Comments Comments 95

Posts