Открытый стандарт лицензирования контента в интернете стал официальной спецификацией

[ProForensic]

Поздно, все что было доступно уже обработали и включили в модели.

[rsashka]

Это расширение файла robots.txt, который описывает части веб-сайта, к которым может получить доступ веб-краулер.

А как быть с тем, что файл robots.txt, это необязательная декларация, которая ни к чему не обязывает и часто игнорируется краулерами?

[gmtd]

Всё норм. Это расширение необязательной декларации.