Sadovsky 24 июл 2008 в 15:33

Поисковый робот Яндекса поддерживает Crawl-delay и GZIP

1 мин

+11

Комментарии 1

hsw 25 июл 2008 в 07:19

Crawl-delay заимствован у Yahoo: http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html

Gzip давно используют краулеры Google.

Теперь осталось дождаться когда реализуют нормальный class="robots-nocontent" от Yahoo вместо нестандартного тега noindex и rel="nofollow".

Зарегистрируйтесь на Хабре, чтобы оставить комментарий