Обновить

Комментарии 4

Это не блокировка. Это рекомендация.

Бинг при необходимости может игнорировать robots.txt

Большие публичные компании обычно следуют рекомендациям как своих юридических отделов, так и PR отделов.

Зачем такой сложный robots.txt. Вот же правильный:

User-Agent: *

Disallow: *

Что мешает Бингу забить робо-болт на robots?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации