Как настроить robots.txt и sitemap для правильной индексации сайта

Неплохо было бы упомянуть микроразметку и некий несогласованный аналог robots'а для ai кроулера.

Как мы автоматизировали хаос: реальный опыт внедрения 1С: Документооборот в организации с 500+ млн рублей оборота

Расскажите на чем строили тест и что за внешние задачи решали на питоне, и насколько жизнеспособен был бы проект без кролика?