Сайтам нужна поисковая индексация, они без этого просто не живут. Это все давно знают. Известно также и то, что хостинг играет большое значение. Я опишу свою странную историю, которая происходит в данный момент и кажется лишена какой-либо логики. Однако по анализу происходящего может быть связана с серверными настройками хостинга, хотя проверка непосредственно моего VPS, не показала ничего подозрительного. А чтобы не оказаться в статусе белой вороны, скажу, что о точно такой же проблеме ранее сообщал другой пользователь (из Турции кажется), но сообщество зарубежного форума только «развело руками» и дало ему унылые рекомендации проверить на ошибки файл robots.txt или на наличие тега noindex.
Речь пойдет о Google и её Search Console. Яндекс затрагивать не будем, так как его алгоритмы за последние 5-7 лет остались, на первый взгляд, стабильными, предсказуемыми и главное понятными: развиваешь сайт, наполняешь его качественным контентом и начинаешь постепенно получать благодарность за свой труд. Однако это хоть и прозрачный путь, но он в конце концов может привести к незначительным результатам. На примере одного блога, статистику которого мне показали по гостевому входу: Google — в сутки 400 000 уникальных посетителей, Яндекс — около 30 000. Сайту этому около 10 лет. Поэтому тема Google стоит в этой статье на первом месте.
А всё началось с хостинга. После того, как из DigitalOcean мне пришлось переезжать из-за невозможности оплаты счетов в качестве резидента РФ, обстановка с индексацией сайта стала меняться. На DigitalOcean у меня был только один проект и я на нём сконцентрировалась, так как в 2016 году он, буквально через две недели после запуска, хорошо выстрелил сам по себе — резко с нуля в один день пришло 800 уников с поиска Яндекса и далее всё пошло по нарастающей. Из Google тоже и капало и даже перепадало. Трафик был.
У меня было время подумать, куда перенести свой сайт или найти способ оплачивать баланс, так как мне удалось договориться с DigitalOcean на использование хостинга ещё на три месяца (бесплатно). Кто-то не поверит, но мне действительно дали этот бесплатный период, возможно из-за того, что я была их верным и, кстати, примерным клиентом в течении 6 лет. То есть, мой сервер по тарифу на тот момент за $25 реально продолжал жить и существовать.
Через 2 месяца я поняла, что способов оплатить хостинг я не найду и стала искать замену. Однако морально я готовилась к тому, что получить достаточно мощный сервер за такие же деньги у наших хостеров не получится, но главное даже не в этом. Представьте, что за 6 лет аптайм моего сайта составлял по показателям Яндекс.Метрики 100%, а про скорость отклика страниц вообще говорить не приходится.
Понимая, что какой бы я теперь хостинг не купила, того, что мне давал DigitalOcean, у меня больше не будет, я остановила свой выбор на простом Shared хостинге. Несмотря на Shared, этот хостинг был очень быстрым и стабильным (мне его рекомендовали знакомые). Мой сайт действительно очень быстро открывался и был стабилен. Но вот здесь-то всё и начинается.
Я увидела по статистике, что основной источник трафика с Яндекса стал постепенно падать. И это несмотря на то, что сайт уже имел твердые позиции, имел качественную ссылочную массу, которая никогда специально не закупалась и быстро открывался. Я стала ждать. Ситуация стала ухудшаться с каждым месяцем, трафик падал. Тогда я добавила на свой сервис проверки услуг (каких именно, не суть) новостной стек. Каждый день мы постили профильные новости. Но трафик продолжал падать. Когда трафик дошел до 600 уников в день, я решила закрыть сайт ещё и потому, что домен относился к зарубежной зоне, оплатить его было невозможно, но перенести его к российскому регистратору хоть и можно было, но оказалось по общей ситуации нерентабельно.
Я открыла два новых проекта и осталась на том же быстром и стабильном Shared хостинге. С Яндекса по поиску стали приходить пользователи. В Google Search Console страницы сайтов одна за одной стали отображаться как проиндексированные. Тогда я решила, что пришло время купить VPS, чтобы улучшить показатели сайта для поисковых систем.. Но так как на текущем хостинге невозможно было перенести на VPS домен в зоне .com, я купила VPS у другого провайдера. Я выбрала известного хостера, всё быстро настроила, всё работало отлично, хоть и не так быстро, как я ожидала по своему тарифу.
И тут началось странное. В интерфейсе Google Search Console стали постепенно меняться показатели количества проиндексированных страниц в сторону уменьшения. Через какое-то время в индексированных осталась только главная страница сайта. При этом Search Console в разделе безопасности выводил, что проблем нет, сайт ничего не нарушает. Я проверила всё, что только можно, начиная от очевидных вещей, таких как robots.txt и тег noindex.
Я стала проверять серверные настройки своего VPS, в том числе нет ли запрета в Nginx на доступ полезных поисковых ботов? Проверила на сторонних сервисах DNS-доступность, проверила запись A Record и все другие записи. Всё норм. Поисковая оптимизация и производительность сайта по данным PageSpeed Insights тоже не вызывает вопросов — ПК: 99/90/100/100, мобильные: 70/90/96/100.
Единственно, что выяснилось, что вся подсеть моего хостера, в которую и я попала, находится в чёрных списках почтовых серверов по данным mxtoolbox.com. Я связалась с хостером, они подтвердили информацию и сказали, что уже подали запрос на удаление из списков, но это процесс не быстрый.
Известно, что Blacklists не должны являться настолько критическим моментом, чтобы Google отказывался индексировать страницы сайтов, тем более, что Яндекс всё индексирует. Но Google не менее важен, поэтому я продолжила действовать. Я решила сменить хостера для теста, не удаляя, а приостановив свой текущий VPS. Я конечно могла бы купить дополнительный ip и решить проблему чёрного списка, но мне не нравился отклик страниц при текущей цене за мощность сервера.
Неделю назад купила VPS у другого известного хостера. Новый хостер с первого раза выдал мне белый айпишник (повезло). Также ping сайта улучшился и всё это при значительно меньшей цене. Я стала заливать контент на сайт, приглашая Google просканировать его, но опять столкнулась с той же проблемой — Search Console по прежнему показывал, что страницы не индексируются. Я проверила новый сервер, локейшены в Nginx, логи и не нашла очевидных ошибок. При этом интересно, что мой самописный php-скрипт, который ранее чётко фиксировал заходы ботов (на предыдущих хостингах), перестал отображать заходы поисковых систем на внутренние страницы сайта — только на основной домен.
То есть, либо заходов на внутренние страницы сейчас просто нет, либо мой php-скрипт их не записывает, хотя обработчик php на сервере установлен и работает. Проблема думаю в том, что сейчас я использую связку Nginx + PHP-FPM, а переключиться на PHP-FastCGI (Apache) система не позволяет. Но именно при связке PHP-FastCGI (Apache) мой скрипт статистики прекрасно отрабатывал и давал важную информацию, которая в метриках поисковиков отсутствует. В любом случае, это тот момент, из-за которого мне опять придется менять хостинг.
Заканчивая статью, выскажу предположение, хоть и могу быть не права. Если Яндекс индексирует, а Google нет, то возможно это связано с 152-ФЗ и размещением облачной инфраструктуры некоторых хостингов с серверами на территории РФ для соответствия закону о защите персональных данных и соответственно могут быть установлены блокировки, о которых клиентам напрямую не сообщают
Возможно Google не нравится бесплатный SSL Let's Encrypt (успокаиваю я себя). Однако многие российские сайты великолепно на нём себя чувствуют и индексируются. Почему мой скрипт не видит заходов на внутренние страницы сайтов, это тоже вызывает вопросы и лишний раз доказывает, что на каждом хостинге свои настройки и свои тонкости, которые могут оказать как позитивное, так и негативное влияние на бизнес.
Тему закончу позднее, как только вопрос с индексацией Google если и не решится, то по крайней мере станет известна точная причина происходящего. Самой интересно. Ну а пока временно вернулась на прежнее облако, так как там, по крайней мере, система позволяет выбрать связку как Nginx + PHP-FPM, так и PHP-FastCGI (Apache). Мой php-скрипт моментально заработал, заходы на внутренние страницы отображаются, да и вообще, если бы не странности с индексацией, то все меня там устраивало и в первую очередь стабильность работы сайта. По крайней мере после того, как на новом хостинге техподдержка «случайно» вырубила мой сервер на пол дня, начинаешь больше ценить то, что имел раньше.
