Googlebot выполняет Javascript с трёхдневной задержкой

    Как известно, с прошлого лета Googlebot научился исполнять Javascript, чтобы парсить менюшки и заходить в разные относительно закрытые области сайта. Год назад Googlebot даже научился делать POST-запросы через Ajax.

    Googlebot исполняет скрипты не мгновенно, а с задержкой в несколько часов или даже несколько дней. Веб-мастер сайта iFixit.com обнаружил это случайно. Он убрал с фронтенда ненужную функцию по сообщению временной зоны пользователя через Ajax, удалил лишний код с бэкенда, но спустя трое суток всё ещё получал ошибки от кого-то, кто исполнял этот скрипт.

    Oct 18 23:40:40 php: |>>> [66.249.76.39] makeprojects.com {UserError} /Project/See-Thru+Potato+Cannon/5/1 Exception - All:
    Oct 18 23:40:40 php: Unknown ajax response function: setTimezone in ... <<<|>

    Блок IP-адресов принадлежит Google. Очевидно, что к бэкенду ломится Googlebot — и это спустя трое суток после изменений на сайте.

    Вероятно, в Сети стало так много Javascript’ов, что даже Google с трудом с ними справляется. Так что веб-мастерам нужно быть аккуратнее с внесением изменений. Нужно учитывать, что Googlebot может запросить с сервера страницы трёхдневной давности.
    Support the author
    Share post
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More
    Ads

    Comments 16

      +10
      Я бы скорее предположил, что у гугло-бота есть расписание для индексации. Страницы первого уровня — в первую очередь, второй уровень — во вторую, а всякие скрипты обрабатывает по остаточному принципу в «свободное время»
        +35
        Гуглобот в свободное время не читает хабр, не общается с друзьями, даже не играет в игры, а исполняет яваскрипты. Тяжела жизнь гуглобота.
          +40
          Я думаю, гуглобот читает хабр в рабочее время :-)
            +4
            Ага, только вот писать ничего не может, профайл Googlebot в RO.
              +9
              Дайте ему кто-нибудь инвайт, ужасно интересно, что напишет.
                +2
                Он все понимает, но ничего не говорит…
                  –1
                  Слава роботам! Смерть человекам!
          0
          Возможно он сливает JS-корд с сайта два раза: при первом заходе и через три дня после него. И затем уже сравнивает результат выполнения того и другого.
            +2
            Чем-то напоминает один из основных сюжетных поворотов в «True Names», о котором, впрочем, я не стану распространяться подробно, чтобы не наспойлерить.
              0
              Возможно, что собственно обработка и индексация некоторых страниц у него идет не сразу, а через некоторое время. Просто сначала повытягивал страницы, а потом через три дня парсит их.
                +24
                может просто кто то просматривал страницу с гугл кеша в гугл переводчике.
                  +11
                  вы не романтик
                  +1
                  так происходит индексация вручную))
                    0
                    Вопрос не много не по теме. Значит можно теперь не делать «статическую» версию сайта, гуглобот нормально и динамическую переварит?
                      +2
                      Напомнило баянистый код получения завтрашней даты

                      void get_tomorrow_date( struct timeval *date )
                      {
                       sleep( 86400 ); // 60 * 60 * 24
                       gettimeofday( date, 0 );
                      }
                      
                        0
                        Так и YandexBot делает то же самое, причём ходит и по url из Yandex.Direct, поэтому User Agent «Mozilla Compatible Agent» в Google Analytics нужно заносить в исключение, чтобы не рос показатель отказов (Bounce Rate) для отчётов оплачиваемой рекламы.

                        Only users with full accounts can post comments. Log in, please.