Господа, может ли кто-нибудь объяснить, зачем полностью закрывать от индексации контент-проект? Обнаружил пример такого на Drive.ru:
User-agent : *
Disallow: /
Разве что они хотят по каким-то причинам сначала накопить контент, а потом устроить себе «взлет ракеты», разом все загнав в индекс.
Disallow: /
Разве что они хотят по каким-то причинам сначала накопить контент, а потом устроить себе «взлет ракеты», разом все загнав в индекс.