SEO для сайтов на Next.js: почему страницы не попадают в индекс и что не видят Яндекс и Google

[exelens]

Хороший пост. Особенно радует, что это не пересказ справки, а проверка на Next.js 16.2.1: обычный Googlebot в список ботов не попадает, YandexBot попадает, а notFound() после loading.tsx остаётся с кодом 200. Как раз из-за этого Next часто выглядит так, будто робот «не видит» страницу. Это я понял когда делал парсер)

К фразе про SEO-аудитора с чужим User-Agent. Если он дочитывает ответ до конца и ищет title и canonical по всему документу, теги после он всё равно найдёт: браузер поднимает их в head, Google тоже.

А вот «метаданных нет» покажут те, кто смотрит только внутрь или обрывает поток. В отчёте полезнее писать «тег не в head».

Про 404 у вас уже верный вывод: noindex на таком ответе 200 убирает страницу из выдачи, а бюджет обхода не возвращает. Поэтому проверку адреса и стоит делать до начала стрима.

Отдельно аккуратно про бюджет: блог на пару сотен страниц под руководство Google не попадает, а статус Crawled — не про бюджет. Это обычно смешивают. )

[yarikai]

Спасибо за оценку!

[Saleswaveru]

Дополню строку таблицы «Как сообщить о страницах» со стороны Яндекса и молодого сайта: сейчас это особенно заметно. У нас статический HTML, 48 страниц, домену три месяца. Уже больше недели в Вебмастере часть разделов не работает: файлы Sitemap не добавить, «Обход по счётчикам» временно недоступен, через API хост отдаёт HOST_NOT_LOADED, а add-recrawl отвечает 504, хотя квота показывает 150 адресов.

Работают два канала: переобход в интерфейсе, 10 адресов в день, и IndexNow, который каждый раз отвечает 200. За эту неделю число страниц в индексе не выросло. Поэтому на новом сайте я бы не полагался только на IndexNow, а раскладывал ручной переобход по дням: сначала новые и изменённые страницы, потом остальные по кругу.

Вопрос: на ваших сайтах на Next.js вы замечали разницу по времени до появления страницы в поиске между переобходом в Вебмастере и IndexNow?