Новый сайт «Сколково» попал под АГС

    Прекрасно понимая общую нелюбовь Хабравчан ко всему, где есть слово «SEO», отмечу, что правильная поисковая оптимизация является необходимой частью процесса создания и поддержания сайта, что отражено в соответствующих рекомендациях по созданию сайтов от Яндекса и Гугла.

    Всем, кто хочет разрабатывать действительно качественные сайты и не краснеть перед заказчиками и коллегами, предлагаю эти рекомендации прочитать, а под катом расскажу про печальные последствия неосведомленности на примере многострадального сайта «Сколково».

    Перенос сайта на другой домен


    Руководство поставило задачу: перенести сайт с одного домена на другой.

    Сделать это можно двумя путями:
    • Сайт будет доступен и по старому, и по новому домену
    • При заходе на старый домен, будет происходить редирект на новый домен
    И в том, и в другом случае можно совершить ошибки, которые могут привести к значительному падению поискового трафика на сайт.

    Сайт будет доступен и по старому, и по новому домену

    При доступности одного сайта с разных доменов, первостепенной задачей является помочь поисковой системе определить главное зеркало сайта.

    Директива Host для Яндекса

    Если вы хотите совершить переезд безболезненно, и по адресу old-site.ru/robots.txt, и по адресу new-site.ru/robots.txt должен быть файл robots.txt с одинаковым содержимым, с указанием главного зеркала в директиве Host, например:

    User-Agent: * # http://help.yandex.ru/webmaster/?id=996567#996568
    Disallow: # http://help.yandex.ru/webmaster/?id=996567#996571
    Host: new-site.ru # домен new-site.ru будет в поиске по запросам, домен old-site.ru - нет

    Подробнее об этом можно почитать здесь.

    Эта директива нужна только для Яндекса. Гугл директиву Host не учитывает, но с задачей определения главного зеркала справляется достаточно хорошо.

    Вообще, наличие файла robots.txt необходимо для любого сайта, даже если домен один. Причина в том, что с точки зрения поисковика домен с www. и без www. — разные сайты. У Гугла, как я писал выше, с этим проблем меньше, а вот Яндекс может месяцы индексировать как домен с www. и без www., как отдельные сайты (со всеми вытекающими).

    301 серверный редирект

    В тоже время, иногда бывает, что и Гугл начинает индексировать сайт с www. и без www или один сайт, доступный по нескольким доменам. Решением в этом случае будет серверный 301 редирект с одного из вариантов на другой.

    Инструменты вебмастера

    Так же проблему с главным зеркалом можно решить с помощью панелей вебмастера и в Яндексе, и в Гугле.

    Последствия индексации разных доменов одного сайта

    Что будет, если не помочь поисковой системе определить главное зеркало?

    В лучшем случае: поисковик сам определит главное зеркало, и проблем не будет.

    Хуже, если главное зеркало поисковик не определит и начнет индексировать оба сайта параллельно. Молодой сайт (один из доменов) может легко попасть под фильтр Яндекса. У сайта постарше страницы будут то входить в индекс, то выпадать из него. И то, и другое приведет к падению поискового трафика.

    Редирект на новый домен

    На мой взгляд, это более «приятное» решение. Реализация проще, чем написанное выше, а путаницы с тем, какой из доменов «основной», мы избегаем. Кроме того, правильно настроенный, постраничный редирект позволит избежать проблему, связанную со сменой движка сайта — падение трафика из-за переиндексации сайта, связанной с разными урлами одних и тех же страниц старого/нового сайтов.

    По этому пути пошли разработчики сайта «Сколково» — i-gorod.com, чтобы переехать на более красивый домен sk.ru и, заодно, сменить UMI CMS на ASP.

    К сожалению, в такой достаточно простой операции, как настройка корректного редиректа, они совершили две серьезные ошибки.

    Код редиректа

    Если вы хотите корректно сменить домен, код редиректа должен быть 301. Напомню, что 301 код означает, что страница перемещена окончательно, в отличие от 302 кода, который означает, что страница перемещена временно.

    Ровно так же воспринимают эти два кода и поисковые системы:

    301 — новый документ (урл) попадает в индекс, «замещая» старый.
    302 — новый документ в индекс не попадает, в индексе остается старый документ.


    В качестве редиректа с i-gorod.com на www.sk.ru установлен 302 редирект. В результате в индексе остался i-gorod.com, а на sk.ru проиндексированна одна страница:

    image

    image

    Постраничный редирект

    Не все бы было так печально, если бы редирект был постраничным, как это должно быть. Т.е. старая страница old-site.ru/some-page/ должна редиректить на соответствующую ей страницу new-site.ru/some-page.aspx. Если этого не сделать, то мы столкнемся с ситуацией, когда старые страницы из индекса выпадают, а новые не еще не проиндексированны, что ведет к падению трафика (и, к слову, к ухудшению позиций сайта в выдаче).

    Итог

    «Замечательное» сочетание этих ошибок привело в попаданию sk.ru под фильтр АГС Яндекса (1 страница в индексе, соответственно, отсутствие трафика в Яндексе) и снижению количества страниц сайта i-gorod.com до 2 270 в индексе Яндекса и до 21 в индексе Гугла (для сравнения, страниц нового sk.ru в индексе Гугла 11 900, в Яндексе 1 штука).

    Изменение трафика мы можем посмотреть по Alexa.com.

    Падение трафика на i-gorod.com:
    image

    Мизерный трафик на www.sk.ru:
    image

    Чем больше значение Alexa Traffic Rank, тем меньше трафик на сайте. Например, у Хабра он равен 798. Увеличение значения ранга для i-gorod.com говорит о падении трафика.

    Почему так?

    Разберем ситуацию подробнее.

    Что видит Яндекс, смотря на i-gorod.com?

    Яндекс видит, что i-gorod.com временно (302 редирект) переехал на домен sk.ru, поэтому страницы домена i-gorod.com из индекса не выпадают, не смотря на их фактическое отсутствие. В то же время, редирект на новые страницы на сайте sk.ru заканчивается 404 ошибкой (не правильный постраничный редирект), поэтому медленно, но верно количество страниц в индексе i-gorod.com снижается.

    Что видит Яндекс, смотря на sk.ru?

    Яндекс видит молодой сайт sk.ru, не являющийся зеркалом i-gorod.com, но весь контент которого состоит из контента с сайта i-gorod.com (его-то контент еще в индексе!) и многочисленных СМИ, цитирующих новости с сайта i-gorod.com. Такое положение дел трактуется, как воровство контента, а сайт sk.ru признается не представляющим уникальной полезной информации ГС'ом и попадает под фильтр. Занавес.

    минибонус: судя по тегам noindex в коде sk.ru, кто-то получил денег за его «поисковую оптимизацию»

    Upd: В комментариях подсказывают, что sk.ru начал индексироваться. Возможно, это реакция поисковиков на активность хабравчан, перешедших на сайт: при определении качества сайта и необходимости применения фильтра, значительную роль играет анализ поведения пользователей. Если проект действительно сделан «для людей» и люди сайт посещают и на сайт ходят, то сайт наполненный «неуником» проблем с индексацией может не испытывать вообще.

    Верно, кстати, и обратное: сайт наполненный уникальным текстом, бывает, часто попадает под АГС, если совсем не интересен посетителям (но как правило одного этого все же не достаточно, вместе с этим должны быть технические косяки на сайте, плохая история домена и т.п.).

    Комментарии 38

      +3
      Кстати, такие ошибки очень часто встречаются в студиях, от чего непонятно, про это написана уйма материалов в сети.
      И на sk.ru нет robots.txt www.sk.ru/robots.txt

      А причины ухода от UMI CMS известны?
        +2
        Им нужны были соц. фичи, большое API и т.д., которые есть у телиджента.
          0
          Говорили, что это временное решение: habrahabr.ru/blogs/examination/117202/
          +1
          А что лучше использовать для поисковиков при временной переадресации — 302 или 307 Temporary Redirect?
            0
            302 редирект. Пользователь попадет на новую страницу, а старая останется в индексе (и, соответственно, в выдаче).
            –5
            Сомневаюсь, что тут имеет место быть фильтр АГС. Яндекс просто не любит новые домены.
              +2
              Правильнее написать не «сомневаюсь», а «не разбираюсь». Если сайт на новом домене создан для людей, без грубых технических ошибок, он за месяц-два прекрасно входит в индекс.
                0
                Есть на руках дроп (похоже на ситуацию с sk.ru, который зареген много лет назад) 3 месяцев от роду, ранее принадлежал НТВ. Покупал с аукциона как сайт для американского шоу. С контентом все в порядке (уник), на другом домене уже давно висел бы в индексе. В индексе висит одна страничка уже 3 месяца.

                Собственно мой пост выше основан на этом факте. И не похоже это на АГС. При АГС в индексе обычно висит несколько страниц. Примеры:
                yandex.ru/yandsearch?site=txf.ru
                yandex.ru/yandsearch?site=pisali.ru
                  –2
                  а вы платонам напишите и у них спросите
                  webmaster.yandex.ru/site/feedback.xml
                  при нормально составленном вопросе они хорошо отвечают :)
                    0
                    Спрашивал, ответы стандартные. В последнее время не хотят они старые домены с ТИЦ индексировать после аукционов. И я даже понимаю почему… =)
                    0
                    Если сайт на новом домене создан для людей


                    Читать три раза в день.
                      –1
                      Этот домен условно новый — у него уже есть история. Про совсем новые домены всё верно, проиндексируется и попадет в индекс быстро.
                      +1
                      > Покупал с аукциона
                      С анрега? Сайт, ушедший в анрег может и попадает под бан.
                  +7
                  <script src="http://html5shiv.googlecode.com/svn/trunk/html5.js"></script>

                  Впечатляет…
                    +2
                    Фонд не контролирует интернет-сайты, ссылки на которые размещены на Интернет-сайтах, и не несет ответственности за содержание таких интернет-сайтов, а равно и за размещенные на них ссылки.

                    пользовательское соглашение

                    Не, определенно «сеошники» над сайтом поработали :)
                      0
                      Объясните плиз, чем это плохо? Только тем, что файл на стороне?
                      Спасибо.
                        +3
                        Тем, что файл берётся из транка, каким бы стабильным его не хотели видеть разработчики html5shiv.
                          +3
                          В Project home гуглокода сами авторы призывают его так использовать. Разработка, как я понял, идет на гитхабе, гугл у них что-то вроде CDN.
                      –12
                      Название поста одно, сам топик — куча воды про правильные сео редиректы…
                        +2
                        Что конкретно, на ваш взгляд, «вода»?
                          –1
                          Я немного неправильно выразился, на мой взгляд тема топика не совсем соответствует тексту. По крайней мере ожидалось немного другое содержание…
                          +10
                          Странно, мне напротив понравилась статья и я счел информацию полезной. Вроде написана человеком для людей, а не программистом для программистов. Прочитал минут за 5-7, т.е. не так и много времени для «воды» потратил.

                          Ничего личного, просто иногда поражают узкие специалисты, которые думают что все должны знать как правильно делать что-нибудь глубоко специфическое, например, переносить сайт на другие домены =)
                            0
                            Ну видимо всё таки я слишком однобоко отнесся к статье :)
                          +5
                          У меня как-то стояла задача: «Сделать сайт на определённую тему, но чтоб в поиске он сильно не поднимался.» На вопрос почему, ответ был гениальный и ожидаемый: «Всё что можно мы поделили, а сайт для отмазки. Мол сверху сказали должен быть сайт.»
                            0
                            Яндекс сам решает какой из доменов — главное зеркало. И конкретно задать «главный домен» нельзя. У меня сложилась ситуация с моим сайтом. У меня anisotropic.ru и анизотропик.рф ведут на один физический сервер. анизотропик.рф появился позже чем anisotropic.ru, и всё равно яндекс считает именно его главным зеркалом. Видимо яндекс приоритет отдаёт именно русскоязычным доменам :) В robots.txt уже менял директиву host, не помогло.
                            Кстати, а на сколково.рф что тогда сидит?
                              +2
                              О ужас, чуть не разбудил всю квартиру этот сколково.рф
                                +1
                                Посыл сайта, как я так понимаю, что в следующем году будут разворовывать не только Россию, но и из других стран всяко-разно натаскают?
                                Надо бы Михалкова на них натравить, вряд ли у них есть права на использование «Трёх белых коней».
                                0
                                Яндекс сам решает какой из доменов — главное зеркало. И конкретно задать «главный домен» нельзя.

                                Вы не правы. Когда вы меняли robots.txt?
                                  0
                                  Недели две назад.
                                  Вашу ссылку я читал. Мб яндекс такой медленный конечно.
                                    +1
                                    Да, две недели для смены главного зеркала мало. Если хотите ускорить, можете указать главное зеркало в панели вебмастера. Кроме Яндекса, рекомендую сделать это и для Гугла, т.к. сейчас он индексирует сайты как разные.
                                      +1
                                      В панели вебмастера можно выбрать главное из www. и без www, нету выбора между ru и рф. :(
                                      Насчет гугла спасибо, что подметили. Завтра буду рыть…
                                      • НЛО прилетело и опубликовало эту надпись здесь
                                          +1
                                          чушь, платоны скажут ждите зеркальшика, ничего поделать не можем.
                                +2
                                Вроде нормально индексируется, щас посмотрел в яндексе site:sk.ru
                                Уже 8 страниц в яндексе, часть добавилась 2-3 часа назад.
                                А в гугле 11000 страниц.

                                  +1
                                  Хабр умет творить чудеса.
                                  +1
                                  а был бы обычный сайт обычного обывателя — хер бы так быстро появился в индексе (если бы появился вообще)
                                    +1
                                    > Новый сайт «Сколково» попал под АГС

                                    Подумал — так ему и надо :-)
                                      +1
                                      продам домен i-gоrоd.biz :)

                                      Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                      Самое читаемое