Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 14
Осталось попросить LLM написать llmx.tst.
И мир схлопнется в сингулярность.
не парьтесь, это не работает от слова совсем
Есть какие-то доказательства что это реально работает? В интернете тонны маркетинговый статей о том какое это чудесное средство, но ни одна не доказывает действительно ли краулеры этот файл качают и что-то с ним делают.
Сами подумайте, если у меня на сайте стоит цена $100, а в llms.txt я написал $10, краулер просто поверит что у меня на основном сайте написано то же самое и отдаст нейронке?
15 минут. Напишите заголовок и summary
А чего так странно, заголовок на русском, а summary на английском?
Как-то так, наверное: https://vkvideo.ru/video-11219218_456239345
Мне попадалось исследование в котором было около 1000 доменов, которое показало, что файл этот абсолютно бесполезен, ничего не решает и целиком и полностью является плодом больного воображения сеошников.
Сеошники окончательно загадили поисковую выдачу, теперь принялись за AI-выдачу.
Google же напрямую заявили, что llms.txt абсолютно бесполезен для ранжирования. Думается мне та же история с Claude, gpt etc. Они смотрят robots.txt точно, смотрят карту сайта и разметку текста. А там уже начинается веселье... Потому что по сути они весь текст бьют на куски и обрабатывают его так же (объясняю криво, извините, прастити), и всегда ориентируются на топ в поисковиках. Так что на один и тот же запрос , одна и та же модель может выдать два совершенно разных предложения по продуктам, компаниями и т.п.
Гугл не соврал - для ранжирования в поиске смысла нет. Но инструмент и не для этого - это чтобы модели уже отранжированный сайт было проще читать без парсинга и проблем с cloudflare.
Ситуация когда одна модель на один и тот же вопрос выдаст разные источники возможна, но маловероятна. Модели для этого нужно будет составить прям разные поисковые запросы. Если модель в разных запусках у поиска будет просить одно и то же, она и будет получать от него одно и то же, может поменяться количество источников, но их все равно будет 3-5 по-умолчанию
Посмотрел по логам, кто запрашивал llms.txt (на одном из англоязычных ресурсов) с 2022 - 2026 гг:
Удачи в продвижении, SEO-шнеги!
[root@xx /site.com/logs/stat]# grep -F "llms.txt" *
06-Sep-2025:77.83.245.215 - - [06/Sep/2025:08:21:37 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BW/1.3; rb.gy/qyzae5) Chrome/124.0.0.0 Safari/537.36"
09-Mar-2026:193.233.48.50 - - [09/Mar/2026:07:12:29 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko; compatible; BuiltWith/1.4; rb.gy/xprgqj) Chrome/124.0.0.0 Safari/537.36"
10-Apr-2026:69.244.77.196 - - [10/Apr/2026:22:08:11 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "Mozilla/5.0 (compatible; ReconTool/1.0)"
10-Sep-2025:82.140.0.56 - - [10/Sep/2025:10:55:03 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "robots-ai-permissions/2.0 (+process_splits_async.py)"
10-Sep-2025:82.140.0.56 - - [10/Sep/2025:11:11:52 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "robots-ai-permissions/2.0 (+process_splits_async.py)"
21-Dec-2025:104.28.250.104 - - [21/Dec/2025:02:19:00 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "AI-Security-Scanner/1.0 (AI Protocol Research)"
21-Sep-2025:152.53.150.130 - - [21/Sep/2025:03:02:58 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36 llmstxtcrawler/1.0 (contact: llmstxt.rocks)"
21-Sep-2025:152.53.150.130 - - [21/Sep/2025:03:02:59 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36 llmstxtcrawler/1.0 (contact: llmstxt.rocks)"
23-Aug-2025:87.139.74.18 - - [23/Aug/2025:06:18:37 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "-"
23-Dec-2025:104.28.250.104 - - [23/Dec/2025:11:45:43 +0300] "GET /llms.txt HTTP/1.1" 404 206 "-" "AI-Security-Scanner/1.0 (AI Protocol Research)"
Соглашусь с критикой по существу, отвечу честно, без защиты статьи.
По логам (@egranty): да, всё так. Крупные AI-боты (GPTBot, ClaudeBot, PerplexityBot) ходят по HTML, а не по llms.txt; запросы llms.txt в логах - это в основном SEO/recon- инструменты. Я это видел и у себя. Так что «AI-краулеры массово читают llms.txt» - формулировка, которую мне стоило дать аккуратнее. Виноват.
По «есть пруфы?» (@DDeenis): строгого, воспроизводимого доказательства цитируемости у меня нет, и цифру «+30-60%» я зря подал как факт «при прочих равных» - это оценки из сторонних статей, а не мой замер. И вы правы по сути: модель не поверит llms.txt вместо страницы. Никакого «$10 в llms.txt vs $100 на сайте» - верификации нет, а противоречие скорее снизит доверие. llms.txt не рычаг ранжирования и не способ «обмануть» выдачу.
Что тогда остаётся честно: llms.txt - это near-zero-cost машиночитаемое summary сайта. Польза появляется только если конкретный инструмент решит его прочитать (пока это редко и неравномерно). Реальные же сигналы для AI-выдачи - скучные: чистый серверный HTML, JSON-LD, sitemap и разрешённые AI-боты в robots.txt. llms.txt - это дешёвый хедж на случай, что конвенция взлетит, а не канал с доказанным эффектом. В статье акцент стоило сместить именно так.
Мои «сигналы» (Perplexity начал ссылаться, прирост брендовых запросов) - это корреляция на одном сайте, не доказательство причинности. Так и нужно было пометить.
Оно и логично. Многие(включая меня) узнали про файл llms.txt впервые из вашей статьи. Естественно, на большинстве сайтов его нет, и ботам пока нет смысла его смотреть. Пока получается замкнутый круг.
Кстати, а зачем ИИ читать маленький текстовый файлик, когда он способен переварить весь сайт целиком?
PS: Ситуация напоминает <meta name="keywords">, в котором вебмастера перечисляли ключи страницы, когда Поисковые системы не имели мощностей (и алгоритмов) разбирать текст. А потом ПС окрепли, возмужали, и стали игнорировать keywords
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
llms.txt в 2026: что это, как написать, и почему вашему сайту это нужно