Pull to refresh

Comments 1

Crawl-delay заимствован у Yahoo: http://help.yahoo.com/l/us/yahoo/search/webcrawler/slurp-03.html

Gzip давно используют краулеры Google.

Теперь осталось дождаться когда реализуют нормальный class="robots-nocontent" от Yahoo вместо нестандартного тега noindex и rel="nofollow".
Only those users with full accounts are able to leave comments. Log in, please.