Википедия (en), Reddit, Minecraft.net и другие сайты завтра уходят в офлайн в знак протеста против SOPA. Таким способом они надеются привлечь внимание аудитории к этому законопроекту, который фактически вводит цензуру в интернете. SOPA позволяет американским властям в досудебном порядке изымать доменные имена, удалять сайты из поисковой выдачи и блокировать их финансовые счета, в том числе в партнёрских программах вроде Google AdSense, а также фильтровать контент на уровне ISP-провайдеров.
Сотрудник Google Пьер Фар (Pierre Far) опубликовал рекомендации, как лучше отключать сайт, чтобы это не повредило ресурсу в поисковой выдаче Google.
Он пояснил, что сайт будет оштрафован, если вернёт поисковому боту другой контент вместо главной страницы. А ведь некоторые сайты собираются поставить заглушку на главную страницу с информацией о причинах бойкота, окошком прямой видеотрансляции из Палаты представителей США, где будут проходить слушания по SOPA. Именно так собирается сделать Reddit. По словам Пьера Фара, такой вариант приведёт к потере позиций в поисковой выдаче.
1. Самый главный совет бойкотирующим сайтам — возвращать корректный заголовок 503 Service Unavailable для всех URL, которые участвуют в бойкоте. Таким образом, робот Google не будет индексировать контент, при этом предыдущая версия сайта сохранится в кэше, и сайт не потеряет свои позиции в поисковой выдаче.
2. Периодичность индексации сайта снизится, если Googlebot увидит большое количество заголовков 503, но затем постепенно вернётся на прежний уровень.
3. В нынешней конфигурации Googlebot не индексирует сайт вообще, если получает статус 503 для robots.txt. таким образом, если в бойкоте участвует только часть сайта, убедитесь, что файл robots.txt не возвращает статус 503. Не рекомендуется также использовать в robots.txt инструкцию "Disallow: /", потому что это приведёт к длительной паузе в индексации сайта.
В целом, представитель Google рекомендует не усложнять ситуацию, не менять настройки DNS и не трогать robots.txt.
Хотя представитель Пьер Фар напрямую не упоминает о такой возможности, напомним, что можно выдавать разный контент для поискового бота (503 Service Unavailable) и для пользователей (заглушка с информацией о SOPA). Хотя есть риск, что сайт будет оштрафован за клоакинг, но известно много случаев, когда Google за это не штрафует. Например, тот же NY Times уже давно выдаёт людям и роботам разные версии своего сайта.
Добавим, что инструкция Пьера Фара не потеряет свою актуальность, даже если Google присоединится к бойкоту 18 января. К сожалению, вряд ли коммерческая компания сможет пойти на это, несмотря на всё желание, ведь у неё есть юридические обязательства перед своими клиентами. Но даже в случае бойкота Google нет смысла отключать бэкенд и поискового бота.
Сотрудник Google Пьер Фар (Pierre Far) опубликовал рекомендации, как лучше отключать сайт, чтобы это не повредило ресурсу в поисковой выдаче Google.
Он пояснил, что сайт будет оштрафован, если вернёт поисковому боту другой контент вместо главной страницы. А ведь некоторые сайты собираются поставить заглушку на главную страницу с информацией о причинах бойкота, окошком прямой видеотрансляции из Палаты представителей США, где будут проходить слушания по SOPA. Именно так собирается сделать Reddit. По словам Пьера Фара, такой вариант приведёт к потере позиций в поисковой выдаче.
1. Самый главный совет бойкотирующим сайтам — возвращать корректный заголовок 503 Service Unavailable для всех URL, которые участвуют в бойкоте. Таким образом, робот Google не будет индексировать контент, при этом предыдущая версия сайта сохранится в кэше, и сайт не потеряет свои позиции в поисковой выдаче.
2. Периодичность индексации сайта снизится, если Googlebot увидит большое количество заголовков 503, но затем постепенно вернётся на прежний уровень.
3. В нынешней конфигурации Googlebot не индексирует сайт вообще, если получает статус 503 для robots.txt. таким образом, если в бойкоте участвует только часть сайта, убедитесь, что файл robots.txt не возвращает статус 503. Не рекомендуется также использовать в robots.txt инструкцию "Disallow: /", потому что это приведёт к длительной паузе в индексации сайта.
В целом, представитель Google рекомендует не усложнять ситуацию, не менять настройки DNS и не трогать robots.txt.
Хотя представитель Пьер Фар напрямую не упоминает о такой возможности, напомним, что можно выдавать разный контент для поискового бота (503 Service Unavailable) и для пользователей (заглушка с информацией о SOPA). Хотя есть риск, что сайт будет оштрафован за клоакинг, но известно много случаев, когда Google за это не штрафует. Например, тот же NY Times уже давно выдаёт людям и роботам разные версии своего сайта.
Добавим, что инструкция Пьера Фара не потеряет свою актуальность, даже если Google присоединится к бойкоту 18 января. К сожалению, вряд ли коммерческая компания сможет пойти на это, несмотря на всё желание, ведь у неё есть юридические обязательства перед своими клиентами. Но даже в случае бойкота Google нет смысла отключать бэкенд и поискового бота.
