Комментарии 23
Спасибо автору.
Большое уважение у меня вызывают те люди, которые решив определенные вопросы для себя не ленятся выложить решение в общий доступ.
Примером такого благородного поступка служит эта статья.
Радует то, что на хабре такие статьи всречаются все чаще.
Большое уважение у меня вызывают те люди, которые решив определенные вопросы для себя не ленятся выложить решение в общий доступ.
Примером такого благородного поступка служит эта статья.
Радует то, что на хабре такие статьи всречаются все чаще.
+1
А чем robots.txt плох?
+5
А чем плох iptables? Открыли доступ для своего IP адреса, и никто не пройдет: ни бот, ни человек. А вы сидите и работаете. Правда возможность есть только при использовании VPS/VDS или Dedicated. :)
+2
robots.txt нехорошие поисковики могут игнорировать :)
+1
а мы на другой домен переехали :) хотя там ещё была одна причина
0
А как робот попадет на экспериментальную страницу проекта, если он не знает её адреса?
+1
Вот наткнулся на стартап в тему http://www.htaccesseditor.com/
0
я обычно банально закрываю под .htpasswd
просто и действенно)
просто и действенно)
0
Единственный маленький минус этого метода - это небольшое увеличение времени отдачи контента. Хотя, по сравнению с количеством реврайтов, которое обычно присутствует в .htaccess, этим можно принебречь.
0
А почему бы просто не закрыть сайт для всех, кроме конкретных ip?
0
1. Robots.txt - более чем достаточно
2. Можно закрыть доступ к сайту через .htpasswd. Логин и Пароль для доступа можно написать непосредственно в комментарии к авторизации, чтобы обычные пользователи смогли авторизироваться, а поисковик - нет.
В общем неплохой примерчик, но не для практического применения.
2. Можно закрыть доступ к сайту через .htpasswd. Логин и Пароль для доступа можно написать непосредственно в комментарии к авторизации, чтобы обычные пользователи смогли авторизироваться, а поисковик - нет.
В общем неплохой примерчик, но не для практического применения.
0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Запрет индексации сайта поисковыми ботами при помощи.htaccess