Чтобы потом не обсуждали как Яндекс проиндексировал приватные страницы вашего сайта, есть простое решение — вывести на таких страницах метатег:
Удобно добавить его в базовый шаблон страниц приватной части сайта.
И даже если по какой-то причине поисковая система не прочитала robots.txt (или в нем не оказалось нужного запрета индексации) и все-таки получила HTML приватной страницы, то этот тег запретит индексацию.
Методы управления поведением Яндекс-робота
Гугл тоже анализирует этот метатег.
<meta name="robots" content="noindex"/>
Удобно добавить его в базовый шаблон страниц приватной части сайта.
И даже если по какой-то причине поисковая система не прочитала robots.txt (или в нем не оказалось нужного запрета индексации) и все-таки получила HTML приватной страницы, то этот тег запретит индексацию.
Методы управления поведением Яндекс-робота
Гугл тоже анализирует этот метатег.