По сути, у паучков есть проверка по загруженности, и если появляются страницы, которые способны наплодить себе подобные в геометрической прогрессии, должна срабатывать отсечка по использованию ресурсов. Но соль в том, что до этого всегда всё было нормальны. Данный фильтр существует 3 года.
p.s. Как оказалось, чеснок протух, серебро окислилось. В общем, роботс не отсекает роботов от индексации. Всё закрыли через отдачу 404 ошибки ботам при обращении к адресу с вхождением filter.
p.s. Как оказалось, чеснок протух, серебро окислилось. В общем, роботс не отсекает роботов от индексации. Всё закрыли через отдачу 404 ошибки ботам при обращении к адресу с вхождением filter.