ИИ-агенты уже ходят по вашему сайту, и вы не представляете, что они там видят

[kinofob]

Есть доказательства, что LLM читают llms.txt? Вроде же никто из них туда не смотрит, поскольку это не стандарт

[Artboss]

Да, вы правы — ни OpenAI, ни Anthropic, ни Google официально не подтверждали, что читают llms.txt, а аудиты CDN-логов показывают, что тренировочные краулеры (GPTBot, ClaudeBot и пр.) его не запрашивают. На уровне «поставил файл — стало больше цитирований» llms.txt пока ничего не доказал — исследования на сотнях тысяч доменов корреляции не находят.

Но тут есть подмена, в которую попадают почти все разборы. llms.txt — это не robots.txt и не sitemap, его не обходят заранее. Это inference-time-карта: она нужна в момент, когда агент уже пришёл на ваш сайт выполнить задачу клиента и ему надо быстро понять, где что лежит. Искать его в логах фонового обхода — проверять не ту механику.

Поэтому в статье он и стоит как «первый шаг, а не панацея», без обещаний по видимости. Ценность у него скромная и понятная: чистый markdown вместо HTML-каши экономит токены и время агенту — это работает механически, без всякого статуса стандарта. Если агент до сайта не дошёл, llms.txt бесполезен, тут вы правы. Реальная тяжёлая работа — дальше: машиночитаемые данные и нормальные ошибки, а не сам файл.