Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 5
Это интересно.
Хочется уточнить: в случае, когда робот, не поддерживающий расширенную спецификацию, натыкается на подобные инструкции — как он отреагирует?
Проигнорирует? Либо отклонит весь robots.txt?
Не хочется, чтобы это стало ещё одним Яндексовским нововведением, как noindex, который теперь делает страницы невалидными.
Хочется уточнить: в случае, когда робот, не поддерживающий расширенную спецификацию, натыкается на подобные инструкции — как он отреагирует?
Проигнорирует? Либо отклонит весь robots.txt?
Не хочется, чтобы это стало ещё одним Яндексовским нововведением, как noindex, который теперь делает страницы невалидными.
User-agent: Yandex
...и всё будет хорошо.
...и всё будет хорошо.
Отлично!
А какие-нибудь ещё поисковые машины поддерживают расширенный синтаксис?
А какие-нибудь ещё поисковые машины поддерживают расширенный синтаксис?
http://www.google.ru/support/webmasters/bin/answer.py?answer=40367&topic=8846
...и робот Yahoo:
help.yahoo.com/l/us/yahoo/search/…
help.yahoo.com/l/us/yahoo/search/…
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Яндекс поддержал расширенный формат robots.txt