Как настроить robots.txt и sitemap для правильной индексации сайта

[cmyser]

И снова здравствуйте)

Актуалочка ! Как раз недавно делал action на гитхабе который добавляет сборку этих файлов и статичных страниц для робота при деплое

[xibolba]

Неплохо было бы упомянуть микроразметку и некий несогласованный аналог robots'а для ai кроулера.

[Ortyomka]

Точно, для ии-краулеров есть отдельная история: JSON-LD, schema.org, Speakable-разметка… — robots.txt тут не поможет. Я как раз делал под это бесплатный инструмент — seofetcher.com/geo-aeo, проверяет техническую готовность сайта к нейросетям.

[franky_d_zoro]

Ай как хорошо упоминание впихнул. Ставлю плюсик

[Akuma]

Открою страшную тайну. Если их просто не создавать, при условии адекватного сайта роботы и так все найдут и проиндексируют :)

[franky_d_zoro]

Ну пока у вас сайт 100 страниц – да, но тоже с оговорками. Если на сайте миллион страницы – надо управлять краулинговым бюджетом. Если этого-н делать – индексироваться будет все очень плохо.