Запрет индексации сайта поисковыми ботами при помощи.htaccess

[abiruba]

Спасибо автору.
Большое уважение у меня вызывают те люди, которые решив определенные вопросы для себя не ленятся выложить решение в общий доступ.
Примером такого благородного поступка служит эта статья.
Радует то, что на хабре такие статьи всречаются все чаще.

[Alaska]

А чем robots.txt плох?

[unno]

А чем плох iptables? Открыли доступ для своего IP адреса, и никто не пройдет: ни бот, ни человек. А вы сидите и работаете. Правда возможность есть только при использовании VPS/VDS или Dedicated. :)

[Alaska]

В таком случаи можно просто забанить всех кроме своего ip и работать...

Кстати в представленном варианте все равно ведь не все боты указаны

[Striker]

robots.txt нехорошие поисковики могут игнорировать :)

[TiGR]

Назовите конкретный пример поисковика, игнорирующего robots.txt? И какова аудитория этого поисковика?

[quard]

а мы на другой домен переехали :) хотя там ещё была одна причина

[exoundeeq]

А как робот попадет на экспериментальную страницу проекта, если он не знает её адреса?

[mishamx]

да вот это вопрос уже интереснее, но практика показывает, что роботы находят даже если проект нигде не светили...

[exoundeeq]

Моя практика показывает обратное. :) Заказчику/друзьям светили?

[Gram]

А еще сайт светится через многочисленные тулбары, установленные к примеру в FireFox.

[exoundeeq]

Спрашивается, за ким хером прибегать к услугам SEO, ежели всё и так светицо? :)

[Gram]

Цель у SEO — поднять в выдаче сайт, а не сделать его доступным для посиковиков.

[rybnadzorro]

Достаточно одного запроса на PageRank, чтобы гугля навестила сайт.

[mishamx]

Вот наткнулся на стартап в тему http://www.htaccesseditor.com/

[romy4]

не хватает там Rewrite конструктора. Вот где иногда руками лень писать много строк.

[mcm69]

я обычно банально закрываю под .htpasswd
просто и действенно)

[EugeneDest]

И я так делаю! Закрыл по .htpasswd и раздал тестерам пароли. НО! в данном случае доступ нужен всем кроме поисковиков, и это отличное решение! В избранное.

[romy4]

Единственный маленький минус этого метода - это небольшое увеличение времени отдачи контента. Хотя, по сравнению с количеством реврайтов, которое обычно присутствует в .htaccess, этим можно принебречь.

[jrip]

А почему бы просто не закрыть сайт для всех, кроме конкретных ip?

[NukerF]

1. Robots.txt - более чем достаточно
2. Можно закрыть доступ к сайту через .htpasswd. Логин и Пароль для доступа можно написать непосредственно в комментарии к авторизации, чтобы обычные пользователи смогли авторизироваться, а поисковик - нет.

В общем неплохой примерчик, но не для практического применения.