franky_d_zoro Apr 2 at 02:00

Как настроить robots.txt и sitemap для правильной индексации сайта

Easy

13 min

10K

Search engine optimization * E-commerce management * Internet marketing *

Tutorial

Comments 6

cmyser Apr 2 at 07:06

И снова здравствуйте)

Актуалочка ! Как раз недавно делал action на гитхабе который добавляет сборку этих файлов и статичных страниц для робота при деплое

xibolba Apr 3 at 22:54

Неплохо было бы упомянуть микроразметку и некий несогласованный аналог robots'а для ai кроулера.

Ortyomka Apr 21 at 12:33

Точно, для ии-краулеров есть отдельная история: JSON-LD, schema.org, Speakable-разметка… — robots.txt тут не поможет. Я как раз делал под это бесплатный инструмент — seofetcher.com/geo-aeo, проверяет техническую готовность сайта к нейросетям.

franky_d_zoro Apr 22 at 18:12

Ай как хорошо упоминание впихнул. Ставлю плюсик

Akuma Apr 5 at 18:32

Открою страшную тайну. Если их просто не создавать, при условии адекватного сайта роботы и так все найдут и проиндексируют :)

franky_d_zoro Apr 5 at 22:09

Ну пока у вас сайт 100 страниц – да, но тоже с оговорками. Если на сайте миллион страницы – надо управлять краулинговым бюджетом. Если этого-н делать – индексироваться будет все очень плохо.