Я не представляю кол-во и размер хостящихся у вас сайтов.
Если это мало крупных - то можно обойтись тюнингом и консультациями... Судя по вашей реакции - много всяких)))
P. S. Читнул первый пост с комментами в вашем жж - а какой должен быть правильный ответ?
1. Некоторые поисковые боты поддерживают ограничение числа пинков сайта(айпи) через robots.txt, я точно знаю, что это делает яха, т. к. у нас была проблема с досом сервера её ботом.
2. Буквально на днях один из коллег обратил мое внимание на управление кешем браузера через http-заголовки (304 хттп-статус и т. п.), которое многие современные динамические сайты не поддерживают, в то время как боты эти заголовки понимают - им гонять тонны необновившихся страниц неинтересно. Я бы рекомедовал вести разъяснительную работу на эту тему и оказать тех. поддержку, если это, конечно, возможно и оправдано.
3. Банить всякую шушеру - libwww-боты, неизвестные боты, referer-спамеров, всякую неинтересную клиенту экзотику, типа Baidu, и т. п.
Т. е., в-принципе, методы по умерению аппетитов ботов существуют.
Я тоже пробежался тут же по педофилу - удивился - откуда это взяли. Как обычно - выдутый из пальца сайт, там еще и в угоду фанам веб2.0 сделаны RSS, камменты и теги.
Я полагаю, schors имел в виду возросшую нагрузку от различных поисковых ботов на виртуальном хостинге и нежелание понимать это клиентами (а, соотв., и нежелание переходить на выделенные сервера).
Если это мало крупных - то можно обойтись тюнингом и консультациями... Судя по вашей реакции - много всяких)))
P. S. Читнул первый пост с комментами в вашем жж - а какой должен быть правильный ответ?
2. Буквально на днях один из коллег обратил мое внимание на управление кешем браузера через http-заголовки (304 хттп-статус и т. п.), которое многие современные динамические сайты не поддерживают, в то время как боты эти заголовки понимают - им гонять тонны необновившихся страниц неинтересно. Я бы рекомедовал вести разъяснительную работу на эту тему и оказать тех. поддержку, если это, конечно, возможно и оправдано.
3. Банить всякую шушеру - libwww-боты, неизвестные боты, referer-спамеров, всякую неинтересную клиенту экзотику, типа Baidu, и т. п.
Т. е., в-принципе, методы по умерению аппетитов ботов существуют.