Робот Яндекса поддержал в robots.txt директиву Allow, спецсимволы "*" и "$". В Помощи рассказано (help.yandex.ru/webmaster/?id=996567), как интерпретируется robots.txt и приведены примеры.
Файл robots.txt используется веб-мастерами, чтобы объяснить роботу поисковой системы, какие страницы и разделы сайта нельзя индексировать, а какие можно. Стандарт предусматривает небольшой набор директив, поэтому написание правил индексации для крупных сайтов является сложной задачей. Новые директивы могут существенно облегчить задачу веб-мастеров.
Файл robots.txt используется веб-мастерами, чтобы объяснить роботу поисковой системы, какие страницы и разделы сайта нельзя индексировать, а какие можно. Стандарт предусматривает небольшой набор директив, поэтому написание правил индексации для крупных сайтов является сложной задачей. Новые директивы могут существенно облегчить задачу веб-мастеров.
