Хабр Курсы для всех
РЕКЛАМА
Большая витрина: от крупнейших школ до частных авторов. Сравнивайте по цене, длительности, формату и выбирайте самый подходящий курс!

Директивы robots.txt на запрет индексирования повсеместно игнорируются ИИ-компаниями.
Для АИ ботов сайты нужно можно отдавать слоп-контент, сгенерённый ИИ, включая динамическое создание фейковых поддоменов. Пора стряхнуть пыль с забытых техник дорвестроительства.
И пусть ИИ, нарушающий авторские права, живёт в параллельной реальности, пока не свернётся в сингулярность.
ИИ-боты сканируют даже логи TLS-сертификатов. Любая информация используется для обучения LLM