Comments 5
Это интересно.
Хочется уточнить: в случае, когда робот, не поддерживающий расширенную спецификацию, натыкается на подобные инструкции как он отреагирует?
Проигнорирует? Либо отклонит весь robots.txt?
Не хочется, чтобы это стало ещё одним Яндексовским нововведением, как noindex, который теперь делает страницы невалидными.
Хочется уточнить: в случае, когда робот, не поддерживающий расширенную спецификацию, натыкается на подобные инструкции как он отреагирует?
Проигнорирует? Либо отклонит весь robots.txt?
Не хочется, чтобы это стало ещё одним Яндексовским нововведением, как noindex, который теперь делает страницы невалидными.
User-agent: Yandex
...и всё будет хорошо.
...и всё будет хорошо.
Отлично!
А какие-нибудь ещё поисковые машины поддерживают расширенный синтаксис?
А какие-нибудь ещё поисковые машины поддерживают расширенный синтаксис?
http://www.google.ru/support/webmasters/bin/answer.py?answer=40367&topic=8846
...и робот Yahoo:
help.yahoo.com/l/us/yahoo/search/…
help.yahoo.com/l/us/yahoo/search/…
Sign up to leave a comment.
Яндекс поддержал расширенный формат robots.txt