Господа, может ли кто-нибудь объяснить, зачем полностью закрывать от индексации контент-проект? Обнаружил пример такого на Drive.ru:

User-agent: *
Disallow: /

Разве что они хотят по каким-то причинам сначала накопить контент, а потом устроить себе «взлет ракеты», разом все загнав в индекс.