Это не очень длинная история, но усаживайтесь поудобнее, минимум 5-10 минут она у вас займет. Кому-то надеюсь она будет интересной и даже полезной.
Как практикующий SEO специалист я просто не могу пройти мимо этой темы. За 18 лет работы в сегменте разработки, поддержки и продвижения проектов, очень часто сталкивался с проблемой индексации сайтов в поисковиках. Если говорить о Яндексе (вообще не хотелось, но в контексте необходимо упомянуть), то какому-то логическому объяснению их процессы индексации слабо поддаются. Искать объяснения, корни проблемы не имеет смысла, поэтому и не будем. Bing, кстати тоже пока не трогаем - там вообще мало что понятно и еще менее это кому-то пока нужно. В куда большей степени волнует и вызывает вопросы процесс индексации именно Google.
Хотелось бы сразу отметить, что собирать и сеошить проекты мне все же удалось научиться за почти два десятка лет. Есть как успешные, так и не очень кейсы, но базовые и не только принципы внутренней оптимизации освоены в полной мере и база этих знаний успешно прирастает ежедневно. Это я в общем к тому, что мне не нужно объяснять, что хороший контент на хорошем сайте и сам заиндексится. Конечно заиндексится, но не всегда так быстро как хочется. Опыт того или иного участия в жизни сотен клиентских проектов дает мне право это утверждать. Перейдем ближе к сути.
Индексация Google
Подавляющее большинство SEO специалистов и вебмастеров прекрасно знают значение печальной фразы из панели Google Search Console "Страница просканирована, но пока не проиндексирована". И сразу в голове пролетает что-то такое: ну что ж ты не смог, да? чего ты... что ты тянешь, принимай их давай... знакомо?
Страницы в этом статусе могут находиться неделями, месяцами, годами. Я не преувеличиваю - годами могут сидеть. А еще там есть:
Обнаружена, не проиндексирована
Ошибка сервера (5хх)
Страница с переадресацией
Не найдено (404)
Ложная ошибка (404)
Страница является копией. Канонический вариант не выбран пользователем
Страница заблокирована из-за ошибки 4xx (ошибка клиента)
Ошибка переадресации
Вот тут список всех возможных ошибок.
Есть над чем подумать, да? Часть ошибок может быть следствием не самых прямых рук вебмастера/разработчика/оптимизатора, но часть проблем точно на стороне Google.
Что вообще происходит?
В подавляющем числе случаев, можно уверенно апеллировать в сторону качества контента и проблем внутренней оптимизации. Но есть случаи, когда все вроде бы прекрасно внутри, а страница не в индексе. Знакомо?
А есть действительно случаи, когда все не идеально, но очень хочется затащить страницу в индекс. Как она там будет ранжироваться - это другой вопрос, но ведь "хочется хуже, чем болит". Тем более, что есть много случаев из практики, когда страницы проиндексированные с помощью каких-либо хитрых способов оставались там, успешно ранжировались - получали хорошие позиции в выдаче и давали трафик и где-то даже продажи.
В частности, если взять в пример интернет-магазины, то очевидно, что сделать идеальную продуктовую страницу для индексации не всегда легко или возможно. А хочется на нее и трафик и лиды.
В чем-то схожа история с владельцами PBN сеток. Контента генерируется много, как правило нейросетями, индексация его происходит весьма туго, а ссылки продавать хочется дорого и много. Чтобы попасть в ссылочную биржу, например, необходимо показывать хороший процент индексации страниц. Понятно, в общем.
Таких примеров можно привести много, тратить на это время мы конечно не будем. Перейдем еще чуть ближе к сути.
Как помочь своим страницам попасть в индекс Google
Не буду вам советовать покупать/генерировать многоуровневые ссылочные массивы на страницы - этот метод может сработать, но он мне не кажется оптимальным. Да и не люблю я такое, в общем.
В первую очередь, конечно, обязательно необходимо обратить внимание на качество контента и вообще внутреннюю оптимизацию. Пишите/генерируйте уникально, полезно, сайтмапы там всякие и роботсы корректно сформируйте. Если генерить достойный контент и правильно его подавать на сайте - все "само по себе" будет в порядке. Ну, почти всегда. К сожалению, не все в это умеют или хотят серьезно заморачиваться. Ну и да, как писал выше, бывают случаи упорного нежелания со стороны Google индексировать.
Если вы все же уверены, что у вас "всё огонь", но "гугл тупит", не спешите звать маму или выходить от горя в окно, а попробуйте еще раз проверить всю внутреннюю оптимизацию. Да, я не шучу. Семь раз отмерь... по опыту могу сказать, что иногда в спешке где-то что-то забыл и потом ругаешь других, а нужно себя. Проверьте, чтобы убедиться, что муд*к не вы.
Семь раз отмерили, а воз и ныне там. Окей, гугл, пробуем "малой кровью" победить ситуацию или хотя бы проверить теорию. На просторах интернета можно найти массу инструкций, которые рассказывают как с помощью собственной разработки Google индексировать страницы. Кстати, и на хабре я нашел инструкцию по работе с продуктом - https://habr.com/ru/articles/778512/. Этот инструмент называется Web Search Indexing API и находится он в облачном наборе инструментов Google. Приложение для работы с продуктом нужно писать самому или искать готовое, они есть, Google в помощь. Я сам лично пробовал - всё отлично, работает. Метод абсолютно бесплатный и очень эффективный, но есть одно НО. Без навыков программирования, вы сможете отправлять только 200 страниц в сутки на индексацию - квота со стороны Google. А еще каждый день нужно будет ручками добавлять/заменять листинг страниц для отправки. Кому-то это ОК, но у кого-то каталог или интернет-магазин на миллионы страниц. Тут уже в зависимости от реальных потребностей, необходимо или самому автоматизировать или пользоваться готовым. Да, такое есть и его уже много.
Для начала, я собрал всех кого смог найти за пару часов в одну таблицу. Анализировать пока не вижу смысла и не имею времени, первично собрал только цены. Таблица возможно еще прирастет новыми сервисами. Можете в комментариях написать, чем вы пользовались и что нормально работает. В некоторых сервисах прямо написано, что они используют Web Search Indexing API, т.е. если у них все действительно нормально собрано и автоматизировано, то почему бы и нет.
Я планирую на эту тему сделать отдельное исследование, но оно потребует достаточно много временных ресурсов и каких-то финансовых затрат. Когда это произойдет не берусь прогнозировать, но в этом году точно очень сильно постараюсь.
Я уже встречал детализированные и не очень обзоры некоторых сервисов ускорения индексации (тут и тут), но верить чужим исследованиям не моя стратегия. Проверю - напишу.
Какие еще есть варианты
Действительно эффективных - скорее всего никаких. Бородатые анекдоты об успехе индексации твиттером уже давно даже олды не вспоминают. Генерить или покупать многоуровневые массивы ссылок - долго и дорого с неясной перспективой. Может быть читатели подскажут?..
На этом пока всё. Был рад, если кому-то смог помочь. Всем успехов и продуктивной рабочей недели!
