Это не очень длинная история, но усаживайтесь поудобнее, минимум 5-10 минут она у вас займет. Кому-то надеюсь она будет интересной и даже полезной.
Как практикующий SEO специалист я просто не могу пройти мимо этой темы. За 18 лет работы в сегменте разработки, поддержки и продвижения проектов, очень часто сталкивался с проблемой индексации сайтов в поисковиках. Если говорить о Яндексе (вообще не хотелось, но в контексте необходимо упомянуть), то какому-то логическому объяснению их процессы индексации слабо поддаются. Искать объяснения, корни проблемы не имеет смысла, поэтому и не будем. Bing, кстати тоже пока не трогаем - там вообще мало что понятно и еще менее это кому-то пока нужно. В куда большей степени волнует и вызывает вопросы процесс индексации именно Google.