Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 11
> Активность яндекса равна активности всех остальных вместе взятых
Верно замечено, активность яндекса порой сравнима с активностью недорогой DDoS-атаки ;)
Верно замечено, активность яндекса порой сравнима с активностью недорогой DDoS-атаки ;)
Это плохо? Вам бы не нравилось активное посещение Яндексом вашей страницы?
Я не говорил, что это плохо. Всё зависит от того, с чьей позиции это рассматривать.
Для владельца сайта частое индексирование - признак того, что "яндекс его любит", а это, наверное, хорошо.
Для самого Яндекса тот факт, что он ходит на сайты чаще других, наверное, безразличен.
Для хостера, который размещает этот сайт, частое нашествие яндекса, как правило, безразлично. Но случаются исключения. Эти исключения - сайты горе-кодеров, которые даже не знают, как правильно расставлять индексы на базах, но которые, тем не менее, собрали на своих сайтов достаточное количество контента, так любимого всеми поисковиками.
И вот, когда случается очередной крупный апдейт базы на Яндексе, можно наблюдать такую картину: роботы Яндекса, обнаружив лакомый кусочек жирного контента, небольшими, по 2-3 бота, стайками, окружают несчастный сайт и начинают долбить его запросами с частотой, недоступной биологическому существу. Сайт, не ожидавший такой нагрузки (обычно такие сайты ориентируются на посещаемость 5-10 человек в сутки, и "летают" исключительно на localhost'е), начинает медленно умирать. Смерть его не тиха и печальна, а сопровождается огрушительным ревом запросов в MySQL: "Сделай мне select по декартовому произведению из 5 таблиц".
Глядя на рев десятка таких сайтов, администратор, ответственный за работоспособность сервера, понимает - вот он, апдейт!
Конечно, яндекс в этой ситуации не первый, кого нужно обвинять, однако почему-то никогда не наблюдал я, чтобы сайт таким же образом ложился под натиском роботов гугля или другого поисковика - они всегда ведут себя более этично по отношению к своим подопечным.
Для владельца сайта частое индексирование - признак того, что "яндекс его любит", а это, наверное, хорошо.
Для самого Яндекса тот факт, что он ходит на сайты чаще других, наверное, безразличен.
Для хостера, который размещает этот сайт, частое нашествие яндекса, как правило, безразлично. Но случаются исключения. Эти исключения - сайты горе-кодеров, которые даже не знают, как правильно расставлять индексы на базах, но которые, тем не менее, собрали на своих сайтов достаточное количество контента, так любимого всеми поисковиками.
И вот, когда случается очередной крупный апдейт базы на Яндексе, можно наблюдать такую картину: роботы Яндекса, обнаружив лакомый кусочек жирного контента, небольшими, по 2-3 бота, стайками, окружают несчастный сайт и начинают долбить его запросами с частотой, недоступной биологическому существу. Сайт, не ожидавший такой нагрузки (обычно такие сайты ориентируются на посещаемость 5-10 человек в сутки, и "летают" исключительно на localhost'е), начинает медленно умирать. Смерть его не тиха и печальна, а сопровождается огрушительным ревом запросов в MySQL: "Сделай мне select по декартовому произведению из 5 таблиц".
Глядя на рев десятка таких сайтов, администратор, ответственный за работоспособность сервера, понимает - вот он, апдейт!
Конечно, яндекс в этой ситуации не первый, кого нужно обвинять, однако почему-то никогда не наблюдал я, чтобы сайт таким же образом ложился под натиском роботов гугля или другого поисковика - они всегда ведут себя более этично по отношению к своим подопечным.
Оригинал статьи? Где тут статья?
Чем не мини-статья? это просто наблюдение, в соответствующем блоге
в целом интересно, но мне кажется цифры в таком виде ни о чем кроме процентного соотношения не говрят. Может лучше привести по конкретным старницам, например сколько раз боты кушали голову сайта за месяц?
В Google Sitemap (https://www.google.com/webmasters/tools/…) есть возможность увеличить скорость сканирования сайта.
Для этого нужно зайти в добавленный сайт в Sitemap и далее "Инструменты" >> "Задать скорость сканирования".
P.S.
- Скорость увеличить или уменьшить можно на 90 дней, после этого сканирование вернется в нормальный режим.
- Новые сайты и редко-обновляемые сайты не могут увеличить скорость сканирования :)
Для этого нужно зайти в добавленный сайт в Sitemap и далее "Инструменты" >> "Задать скорость сканирования".
P.S.
- Скорость увеличить или уменьшить можно на 90 дней, после этого сканирование вернется в нормальный режим.
- Новые сайты и редко-обновляемые сайты не могут увеличить скорость сканирования :)
Не знаю, на пару моих сайтов чаще гугл ходит...
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Активность поисковых ботов: 110 дней наблюдений