Как стать автором
Поиск
Написать публикацию
Обновить

Как остановить Рамблер?

Время на прочтение1 мин
Количество просмотров1.1K
Самая устаревшая поисковая система русского интернета, похоже, не на шутку нас полюбила.

Рамблер запрашивает документы с хабрахабра со скоростью до 170 запросов в секунду, что нас несколько не устраивает и по нашим наблюдениям является абсолютным рекордом среди всех индексаторов, посещающих наш проект.

От службы технической поддержки поисковой системы получено несколько несвязных параноидальных ответов, советующих почитать страницу с описанием файла robots.txt или «поставить задержку на ответ роботу».

Судя по всему, Рамблер не поддерживает директиву Crawl-delay и найти решение проблемы, не блокируя доступ Рамблеру, будет не так просто, как хотелось бы (nginx в шаге от того, чтобы решить эту проблему для нужного значения user-agent).

Интересно, есть ли среди читателей те, кто может похвастаться ещё большей степенью внимания со стороны Рамблера?
Теги:
Хабы:
Всего голосов 137: ↑118 и ↓19+99
Комментарии95

Публикации

Ближайшие события