ig_novvv Aug 13 at 20:36

Написал валидатор llms.txt на 64 тестах — и проверил, читают ли этот файл боты

Easy

4 min

11K

Web services testing * JavaScript * Search engines * Artificial IntelligenceOpen source *

Tutorial

Comments 5

maxnoosphere Aug 13 at 20:39

а что насчет гугла и бинга - они тоже читают этот файл?

David_Osipov Aug 13 at 21:17

не, они тоже забивают

Ilyat9 Aug 14 at 06:03

а чем llms.txt отличается от memory.md? Просто как будто второй более эффективен, по крайней мере я везде вижу что в основном им пользуются

ainu Aug 14 at 08:01

Вообще ничего общего, такая же разница как между компакт-диском и cookies на сайте. /llms.txt это read only урл на сайте, в него никто записать не может и не хочет. Да и использоваться он может даже не на этапе работы модели а в теории и в момент обучения (но это не обязательно)

Innesiya Aug 14 at 16:24

408 запросов на 515 миллионов событий — это ровно то, что я и сама видела в логах: боты жадно едят HTML и robots.txt, а карту в корне игнорируют. Классическая курица-яйцо: файл никто не читает, потому что его почти никто не ставит. А по вашим данным есть хоть один вендор, который llms.txt дергает заметно чаще прочих, или спрос околонулевой у всех одинаково?