Sadovsky22 дек 2007 в 10:45

Яндекс поддержал расширенный формат robots.txt

1 мин

+15

Комментарии 5

wiktar 22 дек 2007 в 21:48

Это интересно.

Хочется уточнить: в случае, когда робот, не поддерживающий расширенную спецификацию, натыкается на подобные инструкции — как он отреагирует?

Проигнорирует? Либо отклонит весь robots.txt?

Не хочется, чтобы это стало ещё одним Яндексовским нововведением, как noindex, который теперь делает страницы невалидными.

nihilanth 23 дек 2007 в 00:02

User-agent: Yandex

...и всё будет хорошо.

wiktar 23 дек 2007 в 00:09

Отлично!

А какие-нибудь ещё поисковые машины поддерживают расширенный синтаксис?

nihilanth 23 дек 2007 в 00:18

http://www.google.ru/support/webmasters/bin/answer.py?answer=40367&topic=8846

Sadovsky 23 дек 2007 в 08:39

...и робот Yahoo:
help.yahoo.com/l/us/yahoo/search/…

Зарегистрируйтесь на Хабре, чтобы оставить комментарий