Запрет индексации сайта поисковыми ботами при помощи.htaccess

[@abiruba]

Спасибо автору.
Большое уважение у меня вызывают те люди, которые решив определенные вопросы для себя не ленятся выложить решение в общий доступ.
Примером такого благородного поступка служит эта статья.
Радует то, что на хабре такие статьи всречаются все чаще.

[@Alaska]

А чем robots.txt плох?

[@unno]

А чем плох iptables? Открыли доступ для своего IP адреса, и никто не пройдет: ни бот, ни человек. А вы сидите и работаете. Правда возможность есть только при использовании VPS/VDS или Dedicated. :)

[@Alaska]

В таком случаи можно просто забанить всех кроме своего ip и работать...

Кстати в представленном варианте все равно ведь не все боты указаны

[@Striker]

robots.txt нехорошие поисковики могут игнорировать :)

[@TiGR]

Назовите конкретный пример поисковика, игнорирующего robots.txt? И какова аудитория этого поисковика?

[@quard]

а мы на другой домен переехали :) хотя там ещё была одна причина

[@exoundeeq]

А как робот попадет на экспериментальную страницу проекта, если он не знает её адреса?

[@mishamx]

да вот это вопрос уже интереснее, но практика показывает, что роботы находят даже если проект нигде не светили...

[@exoundeeq]

Моя практика показывает обратное. :) Заказчику/друзьям светили?

[@Gram]

А еще сайт светится через многочисленные тулбары, установленные к примеру в FireFox.

[@exoundeeq]

Спрашивается, за ким хером прибегать к услугам SEO, ежели всё и так светицо? :)

[@Gram]

Цель у SEO — поднять в выдаче сайт, а не сделать его доступным для посиковиков.

[@rybnadzorro]

Достаточно одного запроса на PageRank, чтобы гугля навестила сайт.

[@mishamx]

Вот наткнулся на стартап в тему http://www.htaccesseditor.com/

[@romy4]

не хватает там Rewrite конструктора. Вот где иногда руками лень писать много строк.

[@mcm69]

я обычно банально закрываю под .htpasswd
просто и действенно)

[@EugeneDest]

И я так делаю! Закрыл по .htpasswd и раздал тестерам пароли. НО! в данном случае доступ нужен всем кроме поисковиков, и это отличное решение! В избранное.

[@romy4]

Единственный маленький минус этого метода - это небольшое увеличение времени отдачи контента. Хотя, по сравнению с количеством реврайтов, которое обычно присутствует в .htaccess, этим можно принебречь.

[@jrip]

А почему бы просто не закрыть сайт для всех, кроме конкретных ip?

[@NukerF]

1. Robots.txt - более чем достаточно
2. Можно закрыть доступ к сайту через .htpasswd. Логин и Пароль для доступа можно написать непосредственно в комментарии к авторизации, чтобы обычные пользователи смогли авторизироваться, а поисковик - нет.

В общем неплохой примерчик, но не для практического применения.