Pull to refresh

Инструкция Google по правильному отключению сайтов 18 января

Website development *
Википедия (en), Reddit, Minecraft.net и другие сайты завтра уходят в офлайн в знак протеста против SOPA. Таким способом они надеются привлечь внимание аудитории к этому законопроекту, который фактически вводит цензуру в интернете. SOPA позволяет американским властям в досудебном порядке изымать доменные имена, удалять сайты из поисковой выдачи и блокировать их финансовые счета, в том числе в партнёрских программах вроде Google AdSense, а также фильтровать контент на уровне ISP-провайдеров.

Сотрудник Google Пьер Фар (Pierre Far) опубликовал рекомендации, как лучше отключать сайт, чтобы это не повредило ресурсу в поисковой выдаче Google.

Он пояснил, что сайт будет оштрафован, если вернёт поисковому боту другой контент вместо главной страницы. А ведь некоторые сайты собираются поставить заглушку на главную страницу с информацией о причинах бойкота, окошком прямой видеотрансляции из Палаты представителей США, где будут проходить слушания по SOPA. Именно так собирается сделать Reddit. По словам Пьера Фара, такой вариант приведёт к потере позиций в поисковой выдаче.

1. Самый главный совет бойкотирующим сайтам — возвращать корректный заголовок 503 Service Unavailable для всех URL, которые участвуют в бойкоте. Таким образом, робот Google не будет индексировать контент, при этом предыдущая версия сайта сохранится в кэше, и сайт не потеряет свои позиции в поисковой выдаче.

2. Периодичность индексации сайта снизится, если Googlebot увидит большое количество заголовков 503, но затем постепенно вернётся на прежний уровень.

3. В нынешней конфигурации Googlebot не индексирует сайт вообще, если получает статус 503 для robots.txt. таким образом, если в бойкоте участвует только часть сайта, убедитесь, что файл robots.txt не возвращает статус 503. Не рекомендуется также использовать в robots.txt инструкцию "Disallow: /", потому что это приведёт к длительной паузе в индексации сайта.

В целом, представитель Google рекомендует не усложнять ситуацию, не менять настройки DNS и не трогать robots.txt.

Хотя представитель Пьер Фар напрямую не упоминает о такой возможности, напомним, что можно выдавать разный контент для поискового бота (503 Service Unavailable) и для пользователей (заглушка с информацией о SOPA). Хотя есть риск, что сайт будет оштрафован за клоакинг, но известно много случаев, когда Google за это не штрафует. Например, тот же NY Times уже давно выдаёт людям и роботам разные версии своего сайта.

Добавим, что инструкция Пьера Фара не потеряет свою актуальность, даже если Google присоединится к бойкоту 18 января. К сожалению, вряд ли коммерческая компания сможет пойти на это, несмотря на всё желание, ведь у неё есть юридические обязательства перед своими клиентами. Но даже в случае бойкота Google нет смысла отключать бэкенд и поискового бота.
Tags: SOPAбойкотGooglebotSEOrobots.txt503 Service Unavailable
Hubs: Website development
Total votes 78: ↑68 and ↓10 +58
Comments 45
Comments Comments 45

Popular right now

Top of the last 24 hours