Как настроить robots.txt и sitemap для правильной индексации сайта

Точно, для ии-краулеров есть отдельная история: JSON-LD, schema.org, Speakable-разметка… — robots.txt тут не поможет. Я как раз делал под это бесплатный инструмент — seofetcher.com/geo-aeo, проверяет техническую готовность сайта к нейросетям.

Где брать данные о видимости в нейросетях: сервисы и ключевые метрики GEO и AEO

Спасибо, классная подборка. А еще знаю простой бесплатный сервис для geo аудита https://seofetcher.com/geo-aeo (но он скорее про тех подготовленность сайта к ИИ)