Я спросил у пары чат-ботов, кто ведёт мой блог, и получил ответы про трёх разных людей с похожими никами. У одного из них аккаунт в соцсети, и его ник отличается от моего только подчёркиванием. Сайт у меня статический: лендинг на Next.js с output: export и блог, который собирает из markdown питоновский скрипт build-blog.py. 10 ноября я за вечер переделал разметку автора, переписал страницу «об авторе» и выложил llms.txt. Через два дня полез в журнал nginx посмотреть, кто это всё прочитал. Почти все ИИ-боты в журнале оказались одним сканером, который ищет .env.

Домен везде заменён на example.com, ники на заглушки, IP-адреса в журнале на адреса из документационных диапазонов. Остальной код взят из рабочих файлов.

Как было до 10 ноября

Страница автора и разметка Person появились в блоге ещё 11 сентября, коммит назывался «блок автора, страница автора, Person в разметке». На главной, которую собирает Next, лежала разметка ProfessionalService, и в её sameAs стояла одна ссылка, на личку в Телеграме:

sameAs: [TELEGRAM_URL],

В блоге sameAs у автора выглядел так:

"jobTitle": "AI-автоматизация для бизнеса",
"sameAs": ["https://t.me/<канал>", "https://t.me/<личка>", "https://dzen.ru/<канал>"],

Получалось, что главная и блог описывают одного человека двумя разными наборами ссылок и друг на друга не ссылаются. Хабр, TenChat и аккаунт с видео в разметку не попали совсем. Да и «Эмиль Изи», как меня на самом деле ищут, нигде не было записано: в name стояло просто «Эмиль».

sameAs в двух местах

Главная и блог собираются разными инструментами, общего конфига у них нет. Я завёл список площадок в TypeScript, продублировал его в Python и в обоих местах оставил комментарий, где лежит вторая копия. Криво, но работает без общей сборки. В next-site/src/content/seo.ts:

// Все официальные площадки — для `sameAs` в разметке: по ним поисковики и
// нейросети склеивают упоминания в один бренд. Та же пятёрка — в build-blog.py (AUTHOR_LD).
// instagram.com/<похожий-ник> — ЧУЖОЙ аккаунт, не ставить.
export const BRAND_PROFILES = [
  "https://t.me/<канал>",
  "https://www.instagram.com/<ник_с_подчёркиванием>/",
  "https://habr.com/ru/users/<ник>/",
  "https://tenchat.ru/<ник>",
  "https://dzen.ru/<канал>",
];

Строчку про чужой аккаунт я писал для себя же через полгода. Ник без подчёркивания выглядит «правильнее», рука сама тянется поправить, а он принадлежит другому человеку, и в sameAs разметка склеила бы нас в одного.

Разметка на главной, next-site/src/components/json-ld.tsx, после правки:

const PROFESSIONAL_SERVICE_JSON_LD = {
  "@context": "https://schema.org",
  "@type": "ProfessionalService",
  name: "Emil Easy",
  url: `${SITE_URL}/`,
  image: OG_IMAGE.url,
  // description, areaServed, address без изменений
  sameAs: [TELEGRAM_URL, ...BRAND_PROFILES],
  founder: {
    "@type": "Person",
    "@id": `${SITE_URL}/blog/author.html#person`,
    name: "Эмиль",
    alternateName: ["Эмиль Изи", "Emil Easy"],
    url: `${SITE_URL}/blog/author.html`,
  },
};

Ради @id всё и затевалось. У founder на главной и у author в каждой статье блога теперь один идентификатор, https://example.com/blog/author.html#person, и парсер JSON-LD может сложить всё, что про этот узел написано на разных страницах. До правки у главной и блога были два разных Person с одинаковым именем.

В alternateName оба написания. Кириллицей меня ищут транслитом на слух, «Эмиль Изи», и этой строки на сайте раньше не было ни разу.

Блоговая половина, build-blog.py:

AUTHOR_URL = f"{SITE_URL}/blog/author.html"
AUTHOR_LD = {
    "@type": "Person",
    "@id": f"{AUTHOR_URL}#person",
    "name": "Эмиль",
    "alternateName": ["Эмиль Изи", "Emil Easy"],
    "url": AUTHOR_URL,
    "image": f"{SITE_URL}/assets/<аватар>.jpg",
    "jobTitle": "Нейросети и ИИ-агенты для предпринимателей",
    # Та же пятёрка площадок — в next-site/src/content/seo.ts (BRAND_PROFILES).
    "sameAs": ["https://t.me/<канал>", "https://t.me/<личка>",
               "https://www.instagram.com/<ник_с_подчёркиванием>/", "https://habr.com/ru/users/<ник>/",
               "https://tenchat.ru/<ник>", "https://dzen.ru/<канал>"],
}

Словарь уходит в author у BlogPosting каждой статьи ("author": AUTHOR_LD) и целиком на страницу автора. Под статьёй ещё есть видимый блок с фото и ссылкой на author.html. Я стараюсь, чтобы всё, что лежит в JSON-LD, было и словами на странице: разметка, у которой нет видимого текста, выглядит подозрительно для любого парсера.

Страница автора под запрос «кто это»

author.html я переписал так, чтобы она прямо отвечала на вопрос, который задают поиску и чат-ботам. <title> был «Эмиль — автор блога», стал «Эмиль Изи (Emil Easy): кто это и чем занимается». В <h1> оба написания, первый подзаголовок «Кто такой Эмиль Изи», и в первом абзаце одной фразой сказано, что это бренд, где сайт и где канал.

Страницу генерирует тот же сборщик, разметка на ней чуть богаче, чем у статей:

def render_author():
    desc = ("Эмиль Изи (Emil Easy) из <город>: нейросети и ИИ-агенты для предпринимателей, "
            "сайты, Telegram-боты и автоматизация под ключ. Что сделал, где читать и как связаться.")
    person_ld = json.dumps({"@context": "https://schema.org", **AUTHOR_LD,
                            "description": desc, "worksFor": {"@type": "Organization", "name": "Emil Easy", "url": f"{SITE_URL}/"}},
                           ensure_ascii=False, indent=2)
    ld = f'    <script type="application/ld+json">\n{person_ld}\n    </script>\n'

Без ensure_ascii=False кириллица в разметке превращается в \u042d\u043c.... Парсеру всё равно, а мне потом через curl это читать.

Внизу страницы те же площадки обычными ссылками, у соцсети звёздочка и сноска про Meta. Проектов на странице пять строк с цифрами.

llms.txt

Лежит в next-site/public/llms.txt, Next при экспорте копирует его в корень сборки. Формат markdown: заголовок, цитата-описание в одну фразу, разделы со ссылками. Ниже начало файла, дальше в разделе площадок идут Хабр, TenChat и Дзен, те же ссылки, что в sameAs:

# Emil Easy (Эмиль Изи)

> Эмиль из <город>, бренд Emil Easy (Эмиль Изи), сайт example.com. Нейросети и ИИ-агенты
> для предпринимателей: <чем занимается>. Работает по всей России.

## Главное

- [Главная](https://example.com/): кто такой Эмиль, <что на главной>.
- [Об авторе](https://example.com/blog/author.html): кто он, какие проекты сделал, где его читать.
- [Блог](https://example.com/blog/): статьи про <темы> с ценами, сроками и разбором ошибок.

## Официальные площадки

- Telegram-канал: https://t.me/<канал>
- Instagram: https://www.instagram.com/<ник_с_подчёркиванием>/ (аккаунт instagram.com/<похожий-ник> автору не принадлежит)

Про чужой аккаунт здесь написано прямым текстом, в разметке такое не выразишь.

Читает ли llms.txt хоть кто-то, я не знал. Формат только предложен, стандартом его никто не утверждал. Файл меньше двух килобайт и на сборку не влияет, так что выложил и решил проверить по журналу.

Выложил вечером 10 ноября и сразу отправил главную, страницу автора и llms.txt в IndexNow. В журнале это выглядело так (время UTC):

192.0.2.10 - - [10/Nov/2026:16:39:35 +0000] "GET /llms.txt HTTP/2.0" 404 11112 "-" "curl/8.7.1"
192.0.2.10 - - [10/Nov/2026:17:16:58 +0000] "GET /llms.txt HTTP/2.0" 200 1926 "-" "curl/8.7.1"
198.51.100.229 - - [10/Nov/2026:17:17:52 +0000] "GET /blog/author.html HTTP/2.0" 200 3975 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
203.0.113.51 - - [10/Nov/2026:18:04:06 +0000] "GET /llms.txt HTTP/2.0" 200 1926 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"

Первые две строки — мой curl до выкладки и после. Через минуту YandexBot забрал страницу автора, это IndexNow. Через 47 минут за llms.txt пришёл AhrefsBot. И всё: за двое суток ни один ИИ-бот llms.txt не запросил. Остальные запросы к нему — опять я и сканеры, которые получали 404 и 410 на других доменах этого сервера.

Журнал nginx

Сразу о том, что мешало. На сервере несколько сайтов, журнал общий, формат стандартный combined, без $host. По строке не понять, к какому домену был запрос, свой я узнаю только по путям, которые есть только у меня: /blog/author.html, /llms.txt, адреса статей. С /robots.txt и /sitemap.xml так не получится.

Ротация хранит 14 дней. Склеил всё в один файл и посчитал подписи ботов:

zcat -f access.log.*.gz access.log.1 access.log > /tmp/all.log
grep -oiE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|DeepSeek|DuckAssistBot|cohere-ai|Meta-ExternalAgent|YandexBot" /tmp/all.log | sort | uniq -c | sort -rn
   1825 ClaudeBot
   1640 GPTBot
   1489 OAI-SearchBot
   1392 ChatGPT-User
   1376 Claude-SearchBot
   1367 DeepSeek
   1336 DuckAssistBot
   1319 Claude-User
   1314 cohere-ai
   1305 PerplexityBot
   1293 Meta-ExternalAgent
    301 YandexBot

Первая реакция была «ого, ИИ-краулеров впятеро больше, чем Яндекса». Потом бросилось в глаза, что у совершенно разных компаний цифры почти одинаковые, от 1290 до 1400. Посмотрел адреса:

for b in GPTBot OAI-SearchBot ClaudeBot Claude-SearchBot PerplexityBot; do
  echo "== $b"; grep "$b" /tmp/all.log | awk '{print $1}' | sort | uniq -c | sort -rn | head -4
done

У каждой подписи наверху один и тот же адрес, около тысячи запросов на подпись. За 1 и 2 ноября с него пришло 36 066 запросов под 34 разными User-Agent. Обратная зона googleusercontent.com, то есть арендованная машина в Google Cloud. Вот что этот «cohere-ai» спрашивал:

203.0.113.21 - - [02/Nov/2026:00:08:01 +0000] "GET /sitemap_index.xml HTTP/1.1" 200 219 "-" "Mozilla/5.0 (compatible; cohere-ai; +https://cohere.com/crawler)"
203.0.113.21 - - [02/Nov/2026:00:08:03 +0000] "GET /api/system/fileView?file=/proc/self/environ HTTP/1.1" 200 213 "-" "Mozilla/5.0 (compatible; cohere-ai; +https://cohere.com/crawler)"
203.0.113.21 - - [02/Nov/2026:00:08:04 +0000] "GET /docker-compose.yaml HTTP/1.1" 200 213 "-" "Mozilla/5.0 (compatible; cohere-ai; +https://cohere.com/crawler)"

Самые частые пути с этого адреса:

    328 /login
    181 /graphql
     93 /console
     92 //.env
     91 /.zshrc
     91 /wrangler.toml
     91 /.vercel/project.json
     91 /var/run/secrets/kubernetes.io/serviceaccount/token
     91 /v2/.env

Обычный сканер секретов, который перебирает подписи известных ботов в расчёте, что кто-то пускает ИИ-краулеры мимо фильтров. На ответ 200 с телом в 213 байт я сначала напрягся, потом вспомнил, что для неизвестных путей на этом сервере стоит заглушка. Кроме этого адреса, те же подписи приходили ещё с 18 адресов Google Cloud, по несколько десятков запросов с каждого.

Как отличить настоящего

OpenAI публикует свои сети в JSON, с ними просто. Прогнал адреса из журнала по спискам:

for u in https://openai.com/gptbot.json https://openai.com/searchbot.json; do
  echo "== $u"
  curl -s "$u" | python3 -c "
import sys, json, ipaddress as I
d = json.load(sys.stdin)
p = [x.get('ipv4Prefix') for x in d['prefixes'] if x.get('ipv4Prefix')]
print(d.get('creationTime'), len(p))
for ip in ['198.51.100.44', '203.0.113.21']:
    print(ip, any(I.ip_address(ip) in I.ip_network(n) for n in p))"
done
== https://openai.com/gptbot.json
2026-09-22T02:00:07.000000 18
198.51.100.44 True
203.0.113.21 False

С ClaudeBot сначала попробовал как с Googlebot, через обратную зону, и упёрся: у настоящих адресов её просто нет, host ничего не находит. whois показывает Amazon, а такого же JSON со списком сетей, как у OpenAI, я у Anthropic не нашёл. В итоге настоящими посчитал запросы из одной подсети, которые ведут себя как краулер: сначала robots.txt, потом карта сайта, потом страницы.

После сверки картина такая. У GPTBot из 1640 запросов в опубликованные сети OpenAI попали 333, остальные 1307 пришли из Google Cloud. У OAI-SearchBot настоящих 90 из 1489. У ClaudeBot по моему подсетевому критерию 484 из 1825, ещё 1340 из облака. А Claude-SearchBot, Claude-User и PerplexityBot за две недели вообще ни разу не пришли ни с одного адреса, кроме облачных машин сканеров.

Настоящий GPTBot ходил по статьям блога 11 и 12 ноября, вместе со стилями и картинками, как браузер:

198.51.100.44 - - [11/Nov/2026:13:26:51 +0000] "GET /blog/<статья>.html HTTP/2.0" 200 6685 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"
198.51.100.44 - - [11/Nov/2026:13:26:57 +0000] "GET /blog/blog.css?v=20261110b HTTP/2.0" 200 3065 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)"

Настоящий ClaudeBot за 14 дней сделал 352 запроса к /robots.txt, 82 к /sitemap.xml, 10 к главной и 11 к страницам блога. Робот и карту он мог брать и у соседних доменов, журнал без $host этого не различает. YandexBot за то же время запросил /blog/ 215 раз.

Если считать ИИ-трафик просто по User-Agent, у меня выходило примерно впятеро больше, чем после сверки адресов.

Кто пришёл на страницу автора

Больше всего меня интересовал author.html. За две недели его запросили:

192.0.2.72    [01/Nov/2026:16:03:05 GET /blog/author.html ... Googlebot/2.1
192.0.2.88    [03/Nov/2026:09:46:58 GET /blog/author.html ... PetalBot
192.0.2.17    [06/Nov/2026:04:04:03 GET /blog/author.html ... Applebot/0.1
192.0.2.143   [06/Nov/2026:12:51:14 GET /blog/author.html ... ExaSearchBot/1.0
198.51.100.229 [10/Nov/2026:17:17:52 GET /blog/author.html ... YandexBot/3.0
192.0.2.225   [10/Nov/2026:18:33:02 GET /blog/author.html ... YandexBot/3.0
192.0.2.9     [11/Nov/2026:17:38:24 GET /blog/author.html ... YandexBot/3.0

Плюс SEO-краулеры (Semrush, Serpstat, SE Ranking) и пара ботов поменьше, Reflectionbot и ElevenlabsCrawler. Из ИИ-поисковиков, ради которых я всё это затевал, на страницу автора дошёл только Exa, и то 6 ноября, до правок. GPTBot и ClaudeBot её пока не запрашивали, так что прочитал ли кто-то из них новую разметку, по двум дням журнала не скажешь. В начале декабря снова спрошу у чат-ботов, кто я такой, и сравню с ответами до 10 ноября, а $host в log_format добавлю раньше.