ИИ-боты сканируют даже логи TLS-сертификатов. Любая информация используется для обучения LLM

[egranty]

Директивы robots.txt на запрет индексирования повсеместно игнорируются ИИ-компаниями.

Для АИ ботов сайты нужно можно отдавать слоп-контент, сгенерённый ИИ, включая динамическое создание фейковых поддоменов. Пора стряхнуть пыль с забытых техник дорвестроительства.
И пусть ИИ, нарушающий авторские права, живёт в параллельной реальности, пока не свернётся в сингулярность.