Как настроить robots.txt и sitemap для правильной индексации сайта

[cmyser]

И снова здравствуйте)

Актуалочка ! Как раз недавно делал action на гитхабе который добавляет сборку этих файлов и статичных страниц для робота при деплое

[xibolba]

Неплохо было бы упомянуть микроразметку и некий несогласованный аналог robots'а для ai кроулера.

[Akuma]

Открою страшную тайну. Если их просто не создавать, при условии адекватного сайта роботы и так все найдут и проиндексируют :)

[franky_d_zoro]

Ну пока у вас сайт 100 страниц – да, но тоже с оговорками. Если на сайте миллион страницы – надо управлять краулинговым бюджетом. Если этого-н делать – индексироваться будет все очень плохо.