Pull to refresh

Comments 6

И снова здравствуйте)

Актуалочка ! Как раз недавно делал action на гитхабе который добавляет сборку этих файлов и статичных страниц для робота при деплое

Неплохо было бы упомянуть микроразметку и некий несогласованный аналог robots'а для ai кроулера.

Точно, для ии-краулеров есть отдельная история: JSON-LD, schema.org, Speakable-разметка… — robots.txt тут не поможет. Я как раз делал под это бесплатный инструмент — seofetcher.com/geo-aeo, проверяет техническую готовность сайта к нейросетям.

Ай как хорошо упоминание впихнул. Ставлю плюсик

Открою страшную тайну. Если их просто не создавать, при условии адекватного сайта роботы и так все найдут и проиндексируют :)

Ну пока у вас сайт 100 страниц – да, но тоже с оговорками. Если на сайте миллион страницы – надо управлять краулинговым бюджетом. Если этого-н делать – индексироваться будет все очень плохо.

Sign up to leave a comment.

Articles