Комментарии 8
не понимаю:
— зачем запрещать индексировать системные папки, куда кроулер и так не придет, а если каким-то чудом и придет — не будет индексировать Error 403 страницы
— зачем дублировать половину общих правил специально для яндекса
— "# запрещаем индексацию постраничных комментариев" — тоесть шпаргалка только для WordPress?
— да и «Disallow: /*?*» и «Disallow: /*?» не только комментарии могут закрыть
— зачем запрещать индексировать системные папки, куда кроулер и так не придет, а если каким-то чудом и придет — не будет индексировать Error 403 страницы
— зачем дублировать половину общих правил специально для яндекса
— "# запрещаем индексацию постраничных комментариев" — тоесть шпаргалка только для WordPress?
— да и «Disallow: /*?*» и «Disallow: /*?» не только комментарии могут закрыть
1. Для того чтобы и не ходили. Насколько знаю — хороший тон — закрывать системные папки. Я не прав?
2. Эмм. Может и не зачем, но при проверке в панели веб-мастера общие правила не срабатывали. Возможно дело в порядке описания.
3. Естественно для WP. Если вы сомневаетесь в наличии такой конструкции в урлах: встречал при пагинации комментов, поэтому и запретил. (просто перенес топик из тематического блога в личный ввиду общего неодобрения, подправлю заголовок)
4. Комментарий про комментарии просто не «отбит». «Disallow: /*?*» и «Disallow: /*?» — в основном закрывает поиск
2. Эмм. Может и не зачем, но при проверке в панели веб-мастера общие правила не срабатывали. Возможно дело в порядке описания.
3. Естественно для WP. Если вы сомневаетесь в наличии такой конструкции в урлах: встречал при пагинации комментов, поэтому и запретил. (просто перенес топик из тематического блога в личный ввиду общего неодобрения, подправлю заголовок)
4. Комментарий про комментарии просто не «отбит». «Disallow: /*?*» и «Disallow: /*?» — в основном закрывает поиск
НЛО прилетело и опубликовало эту надпись здесь
Вообще, тут у вас немного все перепутано:
User-agent: Yandex — секция для яндекса
User-agent: * — секция для всех кроме гугла
User-agent: Google — секция для гугла
И это именно так… Гугл не матчит звездочку в поле юзер агента…
И важная штука про Disallow — в значении этого поля не может быть символов подстановки
И директивы Allow не существует…
User-agent: Yandex — секция для яндекса
User-agent: * — секция для всех кроме гугла
User-agent: Google — секция для гугла
И это именно так… Гугл не матчит звездочку в поле юзер агента…
И важная штука про Disallow — в значении этого поля не может быть символов подстановки
И директивы Allow не существует…
1. Спасибо — уточню.
2. «Disallow — в значении этого поля не может быть символов подстановки» — теоретически так. Практически насколько я знаю и Гугл и Яндекс — прекрасно понимают подстановку. По крайней мере такой роботс реально работает и реально запрещает указанные урлы.
3. «Allow не существует» — опять, теоретически да. Практически и Гугл и Яндекс — прекрасно ее понимают.
п.2 и п.3 — просто и реально проверить на практике.
2. «Disallow — в значении этого поля не может быть символов подстановки» — теоретически так. Практически насколько я знаю и Гугл и Яндекс — прекрасно понимают подстановку. По крайней мере такой роботс реально работает и реально запрещает указанные урлы.
3. «Allow не существует» — опять, теоретически да. Практически и Гугл и Яндекс — прекрасно ее понимают.
п.2 и п.3 — просто и реально проверить на практике.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
И снова про robots.txt для WordPress (шпаргалка начинающим)