Это немного сокращенный перевод статьи из блога Google Operating System о том, как работает индексация закрытого контента. Возможно, данная вещь давно известна, тогда считайте эту заметку ненужной.
Некоторые сайты выдают различный контент в зависимости от того, с какой страницы посетитель осуществил переход. Новостные сайты, такие как New York Times, открывают многие статьи только своим подписчикам, но делают исключение, если посетитель перешел со страницы поиска Google и других популярных поисковиков.
У Google есть фича, которая называется
first click free для сайтов, требующих подписку. Она разработана для защиты вашего контента и одновременно предоставления возможности индексации. Чтобы реализовать First Click Free, веб-мастер должен позволить всем пользователям, кто нашел вашу страничку через Google, видеть полный текст документа без необходимости регистрации или подписки.
Однако, несмотря на то, что первичный вход на сайт свободный, когда пользователь переходит по внутренним ссылкам, сайт потребует регистрацию. Это особенно неудобно для ресурсов вроде nytimes.com, которые разбивают большую статью на страницы для увеличения числа просмотров.
Обойти это можно очень просто – скопировать ссылку на страницу, к которой у вас нет доступа, в поисковую строку Google и затем перейти по первому результату поиска. Если Google не проиндексировал эту страницу можно использовать SearchWiki для добавления страницы в список результатов поиска: убедитесь, что вы залогинены в свой Google-аккаунт и щелкните «Add a result» внизу страницы с результатами поиска:
В комментариях к оригинальной статье указывается более простое решение — использовать расширения RefSpoof или RefControl для Firefox и указывать в качестве реферера www.google.com 
В связи с началом 
