99% посетителей сайта — НЕ ЛЮДИ.
И это не «подозрительный трафик», а буквально: из 1,28 миллиона отданных страниц живые люди посмотрели меньше шести тысяч. Чувак, который это заметил (разработчик благотворительной базы PatronView) — вывел формулу: на каждую страницу, увиденную человеком, приходится ещё ≋214 загрузок, которые никто никогда не увидит. Ну то есть вообще никто. Новая норма, просто не все ещё заметили что декорации сменились.
Дальше будет куча цифр, немного паранойи и шрифт, который врёт роботам в лицо.
Роботы бывают разные
На сайт лезут четыре условно разных вида существ.
Честные SEO-краулеры типа SemrushBot и AhrefsBot честно представляются в User-Agent и просто индексируют конкурентов.
Боты, которые учат модели (GPTBot, ClaudeBot), приходят раз и выкачивают всё, что плохо лежит.
А есть двое прожорливее: поисковые ИИ-краулеры (Claude-SearchBot, Amzn-SearchBot)
и агентные боты, рыщущие в реальном времени по чьему-то промпту. Вот эта парочка и устраивает ад, о котором дальше пойдёт речь.
Автор PatronView в апреле поймал шторм: 3,6 млн запросов за день от 361 844 уникальных айпишников, в основном из Китая. Управляемый чекпоинт Cloudflare сожрал 1,18 миллиона из них за десять часов — и всё равно какой-то тревожный процент ботов эту капчу проходил.
Решение было максимально «не по методичке», но рабочее: забанить всю страну на уровне edge. Потом Вьетнам, потом Сингапур — сайт про американских меценатов, и 95,9% его аудитории из США. Смешная картина: чтобы защититься от ботов, обучающих Qwen3.8 Max, ты буквально вырезаешь из интернета целые регионы. Когда автор написал об этом в X, выяснилось, что с этим воюют все, а один из комментаторов обронил фразу, которая ещё аукнется: злоумышленники всё чаще используют тысячи «жилых» IP, по одному запросу с каждого — остановить такое почти невозможно.
Коэффициент прожорливости
Дальше — метрика, которую можно назвать главной: сколько страниц бот скачивает на одного посетителя, которого присылает обратно.
Раньше это называлось честной сделкой открытого веба. краулер читает сайт, взамен присылает читателей. Сейчас сделка похожа на бартер, где одна сторона перестала выполнять условия. Вообще перестала, если честно.
Cloudflare заявляла, что краулеры Anthropic делают порядка 3000 обходов на одного посетителя. Автор исследования в июне намерил у себя 35000 к 1.
Цифра не с потолка: Claude-SearchBot запросил 420 680 страниц за неделю, а Claude-User (отдельный юзерагент для случаев, когда человек просит Клода что-то найти) за ту же неделю привёл 12 человек. Двенадцать. За неделю.
Отдельная ирония: сайт PatronView построен на Claude Code, и его автор использовал Клода, чтобы настроить защиту от клода же. В итоге Claude-SearchBot заблокировали — и он вежливо отступил, с 60 тысяч запросов в день до 25 попыток. С Amazon-ботом (кормит Rufus и Alexa, 117 тысяч запросов в день, ноль приведённых людей) поступили так же.
Похожую, но ещё более впечатляющую картину зафиксировал Брюс Нэш, основатель киношного The Numbers: Google обходит порядка пяти страниц на посетителя, OpenAI — больше тысячи, Anthropic — свыше 38 тысяч. И это, на минуточку, компания, чью модель Claude 5 Fable мы хвалим за задачи Эрдёша.
Цифры в таблице:
Краулер | Соотношение «страниц на визит» |
|---|---|
~5:1 / 46:1 | |
Bing | в 9 раз хуже Google, но терпимо |
OpenAI | >1000:1 |
Anthropic (Claude) | 3000:1 / 35000:1 / >38 000:1 |
Amazon | практически ∞ — трафика не присылает вообще |
Цифры плавают от сайта к сайту, но тренд (прямо скажем, унылый) везде одинаковый.
The Numbers
История The Numbers — не абстрактная статистика, а живой кейс с трупом сайта в конце. Математик и бывший разработчик IBM Брюс Нэш запустил сайт ещё в 1997 на Geocities, отслеживая 300 фильмов. К 2026 база разрослась до 78396 фильмов и 236176 персон, а статус “источника истины” для рынков предсказаний Polymarket сделал сайт лакомой мишенью.
5.03.2026 года сайт просто исчез. Неделю простоял в оффлайне, вернулся заметно обрезанным. В логах, помимо обычного шквала скрейпинга, обнаружились более прицельные попытки — кто-то искал бэкдоры, судя по всему, чтобы узнать кассовые сборы раньше их публикации, и получить преимущество на рынках предсказаний.
Восстанавливать 30-тилетний сервер с 160 тысячами legacy-файлов не стали — слишком велик риск, что уронят повторно, в первые же минуты. К 13 марта команда с нуля подняла урезанную версию на новой инфраструктуре.
Особенно ценна честная рефлексия самого Нэша: раньше сайт обслуживал двух зрителей — людей и поисковики. Теперь шесть, включая обучающие ИИ-краулеры, промпт-трафик ИИ, агентных ботов и трейдеров прогнозных рынков. Раньше при проектировании сайта учитывались три фактора — контент, реклама, SEO. Теперь от восьми до десяти.
И не только это:
у Read the Docs один краулер за месяц скачал 73 терабайта архивированного HTML на пять тысяч долларов бандвидтха,
у iFixit краулер Anthropic сделал миллион запросов за день,
компанию Triplegangers бот OpenAI натурально уложил в рабочее время — CEO сравнил это с DDoS.
Вишенка на торте — прошлогодний отчёт самой Anthropic про первую задокументированную кибершпионскую кампанию под управлением ИИ: госспонсируемая группа использовала кодингинструмент компании для атаки примерно на 30 организаций, ИИ выполнял 80–90% работы, человек вмешивался лишь в 4–6 ключевых точек за всю кампанию. Собственный вывод Anthropic звучал прямо: порог входа в сложные кибератаки резко упал. То есть теперь для кибершпионажа даже не нужно быть кибершпионом. Классно, да?
Поиск: проводник → ответчик
Если ИИ настолько буквально следует инструкциям в загруженном файле, что уж говорить о том, как он относится к веб-страницам, которые сам же находит.
Свежий отчёт Similarweb: ИИ-сводки Google AI Overviews сейчас в каждом втором поиске — 43%, притом что полтора года назад показатель был 15% – втрое меньше. Одна из причин — люди стали формулировать запросы иначе, переходя от коротких ключевых фраз к развёрнутым человекоподобным вопросам.
Наличие ИИ-сводки сверху снижает кликабельность первой органической позиции на треть, а по некоторым замерам — почти наполовину. Доля «нулевых кликов» уже перевалила за 60%.
На этом фоне классическое SEO уступает место GEO и AEO — оптимизации не под топ-10 синих ссылок, а под попадание в цитируемые источники внутри ИИ-ответа. Ресурсы, попадающие в блок AI Overviews, получают на 35% больше целевых переходов, чем в среднем: трафика меньше, зато он осмысленнее. Хотя, если честно, «осмысленнее» тут звучит как «меньше, но зато какие-то»))
Издатели в ярости, и это мягко сказано. По данным Wall Street Journal, крупные издания вроде USA Today, Politico и Reuters пересматривают отношения с Google, вплоть до полного разрыва. USA Today потеряла почти половину трафика из США за год, а её CEO заявил прямо: пора сказать – хватит. Даже «Реддит» пересматривает контракт на 60 лямов в год, по которому Google обучает модели на пользовательском контенте платформы.
Есть тут занятный парадокс: ИИ-компании отчаянно ищут новые данные для обучения, свободные от слопа, а платформа, отбивающая у людей желание кликать на живые сайты, тем самым перекрывает себе же приток свежих человеческих данных. Кусает руку, которая кормит, в буквальном смысле. А решение немецкого суда добавляет юридической остроты: суд признал Google ответственным за ложные утверждения из AI-обзора, ведь поисковик не просто указывает на источник, а переписывает информацию своими словами – то есть авторствует новый слой контента, а значит несёт редакционную ответственность за него.
Кто это написал
Всё это подводит к вопросу, который пять лет назад показался бы странным: а кто вообще автор того, что я сейчас читаю или смотрю?
Провенанс — раньше забота музейных кураторов, разбирающих подделки Ротко в масштабе скандала галереи Кнёдлер, а не то, о чём думает человек, листающий ленту в обед.
Сейчас метка «сделано человеком» начинает работать как мейд-ин на упаковке — не гарантия качества, а маркетинговый дифференциатор в мире, где стоимость создания контента рухнула до нуля. Apple специально показывает покадровую съёмку проморолика ССЫЛКА для MacBook Neo:
(Покадровая закулисная съёмка промо MacBook Neo от Apple)
Технически эту потребность закрывает стандарт C2PA — цифровые «сертификаты подлинности», прикрепляемые к файлу. Anthropic подписала кодекс практик ЕС по прозрачности ИИ-контента – модели, выпущенные после 2.08.2026 года, вплетают невидимый водяной знак прямо в текст, а для файлов типа SVG и PNG прикрепляют подписанные метаданные происхождения.
Здорово на бумаге, реальность заметно грязнее.
Руководство C2PA по внедрению вышло всего за три дня до вступления в силу статьи 50 европейского AI Act — и документ прямо называет себя “информативным”, а не нормативным. Значит, два инструмента могут заявлять о «поддержке C2PA», честно, заполняя при этом разные наборы полей.
Девять подписанных файлов проверили через c2patool — ни один не нёс новую метку уровня человеческого контроля. А инструмент ComfyUI, как выяснилось, подписывает изображение цифровой подписью — и собственная функция сохранения того же инструмента эту подпись стирает при повторном сохранении. Собственноручно подписал, собственноручно стёр. Блеск же.
Глава Instagram (*организация Meta запрещена в РФ) Адам Мозери в эссе о трендах 2026 года сообщил: мы переходим от «предположения, что видимое реально», к «изначальному скептицизму», смещая фокус с вопроса «что показывают» на «кто показывает». Статистика подтверждает сдвиг: доверие к национальным новостным организациям в США упало с 76% в 2016 году до 56% в 2025, 59% людей признаются, что больше не могут надёжно отличить ИИ-контент от человеческого, а 21% видео, показываемых новым ютуб-пользователям, классифицируются как ИИ-слоп.
Возникает психологический феномен, который окрестили «парадоксом википедии»: мы все, сами того не замечая, начинаем вести себя как редакторы энциклопедии — прежде чем поверить чему-то, ищем второй источник, смотрим историю публикаций автора. Раньше цепочка была простой: увидел новость — переслал другу. Теперь: увидел контент – проверил автора – поискал второй источник – и только потом, возможно, поверил.
Как сайты защищаются
Хорошая новость — защитники не сидят сложа руки. Плохая — арсенал средств пока напоминает игру в крота на полосе препятствий, где вместо призов вылезают новые боты.
Начнём с набора файрвол-правил. Вот что использовал автор исследования на Cloudflare Pro за $25 в месяц:
Правило | Что делает |
|---|---|
Блок 12 SEO-краулеров по User-Agent | Semrush, Ahrefs, MJ12bot и другие |
Блок ИИ-краулеров с плохим соотношением | Claude-SearchBot, Amzn-SearchBot |
Пропуск проверок для верифицированных ботов | Googlebot, Bingbot, Applebot — идёт после блоков |
Челлендж всех континентов, кроме Северной Америки | Невидимая капча для остального мира |
Челлендж датацентровых ASN | AWS, Azure, GCP и десятки других |
Челлендж браузеров устаревших версий | User-Agent версий Chrome/Firefox 2023 года |
Рейт-лимит 30 запросов за 10 секунд | На один IP |
Насколько это бьёт по реальным людям? Почти никак – за 48-часовое окно Cloudflare выдал 106437 челленджей, решено было всего 252 — то есть 0,24%. Ноль двадцать четыре процента
А теперь — вещь, которая нравится больше всего
Бразильская Seneda & Abrucio вместе с датской Playtype выпустили ShieldFont — бесплатный шрифт, который показывает человеку один текст, а веб-роботу — совершенно другой (прощай, индексация).
Механизм — классическая OpenType-технология замены глифов, обычно применяемая для замены отдельных символов альтернативными начертаниями, только тут подменяются целые слова. Словарь сопоставляет слова одной части речи (существительные — с существительными, глаголы — с глаголами), разбитые примерно на 250 групп. Меняется около четверти слов — ровно столько, чтобы грамматика оставалась чистой (её проверяют фильтры вроде FineWeb-Edu), но фактическое содержание превращалось в кашу.
(ShieldFont: что видит человек и что попадает роботу)
Из отрывков, проходивших фильтр FineWeb-Edu до защиты, после неё проходит лишь каждый десятый, а 55,8% защищённых фрагментов вовсе перестают соответствовать исходным фактам. У решения есть дыра — скриншот плюс OCR, естественно, могут восстановить текст, а экранные читалки для незрячих всё-таки получают отдельную функцию с реальным текстом. Пока шрифт поддерживает только английский, но исходники лежат на GitHub.
Более системный ответ готовит Cloudflare совместно с браузерами. В июне анонсирована разработка протокола Private Access Control Tokens (PACT) вместе с Mozilla, Google, Microsoft и Shopify: сайты с сильными сигналами «человечности» посетителя выдают анонимные токены, которые браузер предъявляет другим сайтам как доказательство «здесь живой человек» — без капч и инвазивного трекинга. А параллельная модель pay-per-crawl заставляет краулеров платить за каждый обход: с 15 сентября рекламно-поддерживаемые страницы клиентов Cloudflare по умолчанию блокируют неоплаченных краулеров смешанного назначения.
Завершение
А что до ИИ-индустрии — есть в этой истории что-то очень человеческое и абсурдное одновременно: компании тратят гигантские ресурсы, чтобы вычерпать весь открытый веб для обучения моделей уровня GPT-5.6 Sol, и одновременно строят инструменты, которые делают этот же веб менее посещаемым, менее обновляемым — а значит, менее пригодным для того самого обучения в будущем. Змея, увлечённо кусающая собственный хвост настолько увлечённо, что даже интересно наблюдать (пока это не твой сервер падает в три часа ночи).
Интернет 2026 года — не тот, который нам обещали в девяностых. Но, положа руку на жизненно важные органы, он и не был обречён остаться прежним навсегда. Вопрос не в том, вернётся ли всё как было — не вернётся. Вопрос в том, научимся ли мы достаточно быстро выстраивать новые правила игры для мира, где большая часть посетителей — не люди, а старательные электронные сотрудники.
