Топ 20 ботов которые постоянно сканируют ваши сайты. Не все из них одинаково полезны

[SHOROOP]

Разумеется Yandex Bot подчиняется указаниям файла robots.txt.

Вообще, судя по документации (и по опыту), подчиняется не всегда.

Если открыть доку Вебмастера, то сразу же в глаза попадет вот такое примечание:

Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса.

Думаю, Вы согласитесь, что "разумеется, подчиняется" - уже не слишком соответствует реальности.

Плюс, насколько я помню, боты Яндекса игнорируют Crawl-delay и ориентируются только на настройки в Вебмастере, несмотря на то, что сейчас в документации поддержка директивы заявлена.

[atoster]

Никакого противоречия не вижу. robots.txt запрещает роботам сканировать сайт, но не запрещает поисковикам показывать страницы. Если поисковик ранее просканировал разрешенную в robots.txt страницу, то он ее может показывать даже после того как вы отредактируете robots.txt.

[SHOROOP]

Вот из доки Яндекса как раз и не очевидно, касается это ранее просканированных страниц или нет. Я от худшего варианта отталкиваюсь.

[Pogan]

Дорогой автор, Вы явно перепутали конец предложения и конец абзаца. Рябит в глазах, как тельняшка. Ну и милые повторные пассажи про то, как необходимы боты, чуть ли не в каждом разделе. Оцениваю тошноту текста примерно в 8 баллов из 10.