Почему Google не индексирует страницы, хотя технически всё в порядке

[exelens]

Покажите в личку URL сайта, постараюсь помочь.

[pae174]

Гипотеза 1. robots.txt блокирует раздел

Кроме /robots.txt могут быть заголовок ответа X-Robots-Tag: none и тег meta name=robots content=none , которые являются аналогом инструкции Disallow применительно к конкретной странице. Эти две штуки вы не проверили.

Гипотеза 2. Сервер отдаёт боту другой контент

Вы пытаетесь симулировать бот только подделав User-Agent. На самом деле кто угодно может поставить какой угодно User-Agent а писатели всяких определителей ботов об этом прекрасно знают и иногда анализируют User-Agent в паре с IP бота. Поэтому если вы тестируете чей-то чужой детектор ботов, который вы не знаете как работает внутри, то простая замена User-Agent может и не дать ничего.

PS Тема логов и мониторинга не раскрыта.

[Nexoic]

Вообще вы в 26 году, и дело не в технических моментах, просто ваш контент не нужен гугл, зачем ему индексировать ваши услуги если они уже есть на 100500 сайтах ? У которых траст больше история и на запрос юзера дают ответ ?

Больше это так не работает как работало раньше.

[wilelf]

Малополезный/некачественный контент.

[KEugene]

Просто ради проверки вы пробовали запустить индексацию страниц принудительно через консоль?

У меня была проблема с двумя страницами на сайте. Пендинг несколько дней висел. Я их добавил в индекс вручную и они были обработаны без проблем в течение нескольких минут. Больше такого не было.