Как стать автором
Обновить

Как остановить Рамблер?

Время на прочтение 1 мин
Количество просмотров 1.1K
Самая устаревшая поисковая система русского интернета, похоже, не на шутку нас полюбила.

Рамблер запрашивает документы с хабрахабра со скоростью до 170 запросов в секунду, что нас несколько не устраивает и по нашим наблюдениям является абсолютным рекордом среди всех индексаторов, посещающих наш проект.

От службы технической поддержки поисковой системы получено несколько несвязных параноидальных ответов, советующих почитать страницу с описанием файла robots.txt или «поставить задержку на ответ роботу».

Судя по всему, Рамблер не поддерживает директиву Crawl-delay и найти решение проблемы, не блокируя доступ Рамблеру, будет не так просто, как хотелось бы (nginx в шаге от того, чтобы решить эту проблему для нужного значения user-agent).

Интересно, есть ли среди читателей те, кто может похвастаться ещё большей степенью внимания со стороны Рамблера?
Теги:
Хабы:
+99
Комментарии 95
Комментарии Комментарии 95

Публикации

Истории

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн
Геймтон «DatsEdenSpace» от DatsTeam
Дата 5 – 6 апреля
Время 17:00 – 20:00
Место
Онлайн
PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн
EvaConf 2024
Дата 16 апреля
Время 11:00 – 16:00
Место
Москва Онлайн