Нашёл такую шутку юмора (возможно и ретро, так что сильно не пинайте):

Возможно кто-нибудь не в курсе что это за такой robots.txt и где зарыта лопата, то вот ссылка в тему: http://www.robotstxt.org/

Возможно кто-нибудь не в курсе что это за такой robots.txt и где зарыта лопата, то вот ссылка в тему: http://www.robotstxt.org/