mishamx Feb 21 2008 at 23:16

Запрет индексации сайта поисковыми ботами при помощи.htaccess

1 min

6.6K

Lumber room

+24

Comments 23

abiruba Feb 21 2008 at 23:52

Спасибо автору.
Большое уважение у меня вызывают те люди, которые решив определенные вопросы для себя не ленятся выложить решение в общий доступ.
Примером такого благородного поступка служит эта статья.
Радует то, что на хабре такие статьи всречаются все чаще.

Alaska Feb 22 2008 at 00:23

А чем robots.txt плох?

unno Feb 22 2008 at 00:27

А чем плох iptables? Открыли доступ для своего IP адреса, и никто не пройдет: ни бот, ни человек. А вы сидите и работаете. Правда возможность есть только при использовании VPS/VDS или Dedicated. :)

Alaska Feb 22 2008 at 03:57

В таком случаи можно просто забанить всех кроме своего ip и работать...

Кстати в представленном варианте все равно ведь не все боты указаны

Striker Feb 22 2008 at 00:43

robots.txt нехорошие поисковики могут игнорировать :)

UFO landed and left these words here

TiGR Feb 22 2008 at 21:07

Назовите конкретный пример поисковика, игнорирующего robots.txt? И какова аудитория этого поисковика?

quard Feb 22 2008 at 00:52

а мы на другой домен переехали :) хотя там ещё была одна причина

exoundeeq Feb 22 2008 at 08:58

А как робот попадет на экспериментальную страницу проекта, если он не знает её адреса?

mishamx Feb 22 2008 at 09:29

да вот это вопрос уже интереснее, но практика показывает, что роботы находят даже если проект нигде не светили...

exoundeeq Feb 22 2008 at 09:32

Моя практика показывает обратное. :) Заказчику/друзьям светили?

UFO landed and left these words here

Gram Feb 22 2008 at 10:22

А еще сайт светится через многочисленные тулбары, установленные к примеру в FireFox.

exoundeeq Feb 22 2008 at 17:27

Спрашивается, за ким хером прибегать к услугам SEO, ежели всё и так светицо? :)

Gram Feb 22 2008 at 17:31

Цель у SEO поднять в выдаче сайт, а не сделать его доступным для посиковиков.

rybnadzorro Feb 22 2008 at 16:56

Достаточно одного запроса на PageRank, чтобы гугля навестила сайт.

mishamx Feb 22 2008 at 09:49

Вот наткнулся на стартап в тему http://www.htaccesseditor.com/

romy4 Feb 22 2008 at 15:57

не хватает там Rewrite конструктора. Вот где иногда руками лень писать много строк.

mcm69 Feb 22 2008 at 15:59

я обычно банально закрываю под .htpasswd
просто и действенно)

EugeneDest Feb 22 2008 at 21:36

И я так делаю! Закрыл по .htpasswd и раздал тестерам пароли. НО! в данном случае доступ нужен всем кроме поисковиков, и это отличное решение! В избранное.

romy4 Feb 22 2008 at 16:02

Единственный маленький минус этого метода - это небольшое увеличение времени отдачи контента. Хотя, по сравнению с количеством реврайтов, которое обычно присутствует в .htaccess, этим можно принебречь.

jrip Feb 22 2008 at 18:56

А почему бы просто не закрыть сайт для всех, кроме конкретных ip?

NukerF Feb 25 2008 at 18:34

1. Robots.txt - более чем достаточно
2. Можно закрыть доступ к сайту через .htpasswd. Логин и Пароль для доступа можно написать непосредственно в комментарии к авторизации, чтобы обычные пользователи смогли авторизироваться, а поисковик - нет.

В общем неплохой примерчик, но не для практического применения.