(про трубу в заголовке я немного зря - они всегда были средством доставки, но любили их и за защиту; другими словами, надо бы писать про "трубу с ситечком", но в заголовок такое не ложится)
Сама новость: Cloudflare, всем нам хорошо знакомый провайдер CDN и WAF, теперь будет не просто выделять в статистике посещений ИИ-ботов, но и разделять их по категориям, разрешая одним то, что запрещено другим. Ну и да, прямо замаячила тема оплаты за доступ. Brave new world, как по мне!
Cloudflare разделила ИИ-ботов на три категории: Search, Agent и Training. Владельцы сайтов теперь могут независимо разрешать или блокировать поисковую индексацию, обращения агентов от имени пользователей и сбор данных для обучения моделей. Для каждой категории доступны три режима: разрешить, заблокировать везде или заблокировать только на страницах с рекламой.
С 15 сентября 2026 года для ново-добавляемых доменов Training и Agent будут по умолчанию блокироваться на страницах с рекламой, а Search останется разрешённым. Аналогичные настройки получат существующие бесплатные клиенты, которые не выберут собственные правила. Самое существенное: для роботов с несколькими назначениями будет применяться наиболее строгий запрет. Поэтому блокировка обучения затронет "смешанные" в своём функционале Googlebot, Bingbot и Applebot, даже когда те пришли индексировать страницу для поиска. Подробности опубликованы в анонсе и документации Cloudflare.
В результате Cloudflare уже не только пропускает трафик и отфильтровывает мусор. Она начинает решать, кто и зачем может читать сайт, а следом, судя по всем, собирается брать оплату за проход.
Как Cloudflare стала главной трубой интернета
Популярность Cloudflare объяснялась не только качеством защиты, но и простотой подключения. Владелец небольшого сайта регистрировался, переносил DNS‑зону, менял NS‑серверы, включал проксирование буквально галочкой в ДНС‑редакторе — и через несколько минут получал CDN, SSL, скрытие IP‑адреса исходного сервера, фильтрацию атак и весьма приличную защиту от DDoS. Для огромного числа сайтов всё это было бесплатно.
Cloudflare почти не требовала разбираться в устройстве её сети и не заставляла покупать корпоративный пакет. Настройка сводилась к нескольким переключателям, а бесплатного тарифа часто хватало на годы. Для небольших проектов это был редкий случай, когда серьёзная инфраструктурная услуга оказывалась проще и дешевле самостоятельной настройки.
Постепенно компания стала стягивать к себе и «соседние» функции: авторитетный DNS, сертификаты, CDN, WAF, управление ботами, бессерверные функции, хранение объектов — а затем и регистрацию доменов. Cloudflare Registrar продаёт домены без собственной наценки, по цене реестра и ICANN, одновременно предлагая бесплатные DNS, CDN, SSL, DNSSEC и скрытие данных WHOIS. Сейчас поддерживается более 390 доменных зон — это указано на странице регистратора.
Сам домен юридически не становится собственностью Cloudflare. Но практически в одной панели сходятся регистрация, DNS, сертификаты, правила доступа и весь трафик сайта. Во-первых, трафик "на сайт" летит на серверы CloudFlare, и она отфильтровывает всё, кроме чистых http/https-запросов. Во-вторых, компания видит запрос раньше владельца сервера и способна не только отразить атаку, но и вообще не пропустить посетителя к исходному узлу, исходя из своего решении об опасности или уместности запроса.
Точное число обслуживаемых доменов Cloudflare не раскрывает. Сама компания говорит о прохождении через её сеть около 20% мирового HTTP-трафика и проксировании каждого пятого сайта в мире. Независимые оценки ещё выше: по данным W3Techs на 11 июля 2026 года, Cloudflare используется примерно на 23,6% исследуемых сайтов и занимает 83,7% среди сайтов, для которых удалось определить обратный прокси. Ближайшие конкуренты отстают в несколько раз. При таком масштабе изменение настроек по умолчанию превращается из функции отдельного продукта в способ устанавливать правила для значительной части веба.
Поиск, агент и обучение — теперь не одно и то же
Новая классификация выглядит разумно.
Searchстроит индекс, по которому позднее отвечает на запросы. В классической модели поисковик забирал страницу, но возвращал сайту посетителей.Agentприходит по поручению человека и получает информацию прямо сейчас. Например, ChatGPT-User открывает статью, которую пользователь попросил пересказать, а браузерный агент проверяет цену или заполняет форму.Trainingсобирает данные для обучения или дообучения модели. Прямой связи между таким обращением и последующим посещением сайта нет.
Cloudflare считает рекламу признаком того, что владелец рассчитывает на человеческое внимание. Поэтому поискового робота на страницу, где размещена реклама, предлагается пропускать, а обучающего краулера и пользовательского агента — блокировать, поскольку последние способны использовать содержимое, не показавая человеку ни страницу, ни рекламу.
Категория Agent здесь наиболее спорная. Агент не обязательно отнимает доход: он способен найти товар, оформить заказ, записать пользователя на приём или помочь человеку с ограниченными возможностями. Для магазина такой посетитель может оказаться ценнее обычного читателя. Но настройка по умолчанию исходит из рекламной модели: если человек не открыл страницу, издатель ничего не получил.
Cloudflare предъявляет ультиматум смешанным роботам
Многие компании уже разделяют автоматизацию. У OpenAI разные задачи выполняют GPTBot, OAI-SearchBot и ChatGPT-User. Можно через robots.txt разрешить появление сайта в поиске ChatGPT, но запретить сбор материалов для обучения.
Но, как обратный пример, у того же Google разделение неполное. Правила для агента Google-Extended в robots.txt, как декларируется, позволяют ограничить использование страниц некоторыми системами Gemini, не удаляя их из обычного поиска. Однако AI Overviews и AI Mode считаются частью Google Search и используют Googlebot. В документации Google прямо сказано, что страница должна быть доступна обычному поисковому роботу.
Поэтому владелец сайта не может нормально разделить классическую выдачу Google, которая приводит читателей, и генерируемый ответ, который способен заменить посещение. С 15 сентября Cloudflare будет применять к смешанному роботу наиболее строгую настройку. Запрет Training сможет закрыть ему и поисковый доступ.
Как я уже писал, новые правила совершенно точно затронут "смешанные" в своём функционале Googlebot, Bingbot и Applebot, даже когда те пришли индексировать страницу для поиска - и CloudFlare это отлично понимает. И понимает, что, имея миллионы доменов за своим прокси — может хоть как-то попробовать повлиять на крупных игроков, фактически заставляя их понятным для сайта (или прокси) образом технически разделить поиск, ответы ИИ, пользовательские обращения и обучение моделей.
Похоже, мы уже придумали intent-based routing
Тут небольшой флешбек: в июне я здесь же, на Хабре, шутил про IPv10 — сеть, в которой запрос обязан сообщить не только адрес, но и намерение: кто пришёл, зачем, можно ли сохранить результат и на каком основании его следует пропустить. Там из попытки построить сетевой «1984» случайно получилась более надёжная и удобная сеть — в этом и состоял юмор.
Прошёл месяц, и Cloudflare представила почти такую систему. Пока не на уровне IP, а на «границе HTTP» (термины описываются ниже):
Web Bot Auth отвечает на вопрос «кто»;
категории
Search,AgentиTraining— «зачем»;Content Signals — «что разрешено делать»;
правила WAF — «пропустить или остановить»;
HTTP 402 — «сколько стоит проход».
Это и есть intent-based routing — точнее, управление доступом по намерению на пограничном прокси. Запрос идёт не просто к домену: он должен объяснить, кто его послал, с какой целью и что произойдёт с данными после получения. В сатирическом тексте про IPv10 это было обязательным описанием правомерной цели передачи. В Cloudflare оно называется классификацией поведения бота.
Как Cloudflare определяет бота
Верифицированного бота Cloudflare узнаёт по придуманноё ею же технологии Web Bot Auth, опубликованным диапазонам адресов или обратному DNS. Web Bot Auth использует HTTP Message Signatures: оператор подписывает запрос ключом Ed25519, а Cloudflare проверяет подпись.
Это подтверждает принадлежность запроса оператору, но не его цель. Нельзя криптографически установить, будет ли полученная страница показана одному человеку, добавлена в индекс, использована при обучении - или отправлена в /dev/null (а сам запрос сделали для проверки канала связи). Поэтому Cloudflare учитывает публичное описание сервиса, заявленное назначение и наблюдаемое поведение.
Если робот маскируется или обходит запреты, его могут лишить верификации. В 2025 году Cloudflare поступила так с Perplexity, обвинив сервис в использовании необъявленных адресов и запросов, выглядевших как обычный Chrome. Perplexity обвинения отрицала, но сам случай показателен: решение о том, кто ведёт себя честно, теперь принимает инфраструктурный посредник.
Есть еще BotBase, база ботов, которая пока служит каталогом для клиентов Enterprise Bot Management. В нём можно найти робота, посмотреть его категории, получить идентификатор и использовать его в правилах WAF. Полноценным центром управления лицензиями BotBase ещё не стала — текущее состояние описано в документации.
Cloudflare также определяет для себя три уровня использования контента:
immediate— выполнить действие и ничего не сохранять;reference— индексировать, цитировать фрагменты и давать ссылку;full— пересказывать и воспроизводить материал.
Пока он передается лишь как сигнал в robots.txt:
User-agent: * Content-Signal: search=yes,ai-train=no,use=reference Allow: /
Content-Signal не входит в стандартизованный Robots Exclusion Protocol (RFC 9309) и сам по себе ничего не блокирует. Реальный запрет появляется только на уровне WAF.
Следующий шаг — плата за проход
В 2025 году Cloudflare начала испытывать Pay Per Crawl. Вместо страницы робот получает 402 Payment Required с ценой, подтверждает оплату и повторяет запрос. Cloudflare учитывает обращения и перечисляет деньги владельцу сайта. Техническая схема описана в анонсе Pay Per Crawl.
Теперь компания развивает Pay Per Use: платить предполагается не только за загрузку, но и за фактическое использование материала. В первых экспериментах участвуют Ceramic.ai и You.com. Параллельно создаётся Monetization Gateway для продажи доступа к страницам, базам, API и MCP-инструментам.
Схема получается простой: Cloudflare определяет бота, проверяет правила сайта, сообщает цену, принимает или подтверждает оплату и только после этого отдаёт страницу.
Cloudflare, кстати, не первая играет на этом поле. Fastly уже разделяет массовых ИИ-краулеров и загрузчиков, приходящих по пользовательскому запросу. AWS WAF классифицирует более 650 ботов и поддерживает платежи через HTTP 402 и x402. Значение Cloudflare не в изобретении идеи, а в бесплатном тарифе, доле рынка и возможности одним изменением настроек затронуть миллионы доменов.
А если сайт не первоисточник?
С оригинальным авторским контентом ситуация выглядит относительно ясной. Человек написал текст, сделал фотографии, лично проверил отели и добавил рекомендации. Использование всей этой работы в чужом коммерческом продукте без переходов и оплаты вызывает понятные претензии.
На другом полюсе находится Википедия, созданная для распространения знаний и работающая по свободной лицензии. Для неё логично разрешать добросовестных ботов, хотя это не отменяет ограничений нагрузки, выгрузок, API и требований лицензии.
Но значительная часть интернета состоит из посредников. Справочники, каталоги, агрегаторы и тематические сайты собирают открытые факты, проверяют их, приводят к общей структуре и регулярно обновляют. Они не обязательно крадут контент: их продуктом может быть сама систематизированная база.
Даже с государственными ресурсами граница размыта. Госуслуги публикуют часы работы подразделения МВД. Для гражданина это авторитетный источник, хотя сведения появились в МВД. Сторонний справочник может получить те же данные из официальных источников, проверить и удобнее показать пользователю. Кто из них вправе брать плату с ИИ‑агента? И вообще — вправе ли?
Право закрыть доступ к серверу и исключительные права на содержимое — разные вещи. Факты сами по себе не охраняются авторским правом. Охраняться могут текст, подбор и структура материалов, а также база данных, создание которой потребовало существенных затрат. Но право на базу не превращает её владельца в собственника каждого содержащегося в ней факта.
Cloudflare происхождение материалов не проверяет. Владелец домена может закрыть доступ или назначить цену независимо от того, написал ли он оригинальное исследование или переписал открытые сведения. Pay Per Crawl — платный шлагбаум, а не реестр авторских прав.
Возьмём сам Хабр
Хабр — почти идеальный пример этой неопределённости. Площадка зарабатывает на рекламе и корпоративных блогах, размещая рядом совершенно разный контент: оригинальные технические статьи, публикации компаний, переводы, пересказы новостей с других площадок и компиляции открытых сведений. Есть и тексты без понятного первоисточника, которые выглядят как сгенерированные ИИ «авторские» публикации. Доказать происхождение каждого такого материала трудно, но для краулера всё это одинаковые страницы habr.com.
Может ли Хабр потребовать плату за их чтение ботами? Технически — да: он содержит площадку, хранит публикации, организует поиск, модерацию и доставку. С оригинальной статьёй моральная сторона тоже понятна, особенно если часть выплаты получает автор. С пересказом чужой новости всё сложнее: исходную информацию добыло одно издание, текст переработал пользователь или редактор, аудиторию и инфраструктуру предоставил Хабр. А в случае с ИИ-текстом неясно даже, чья работа создаёт продаваемую ценность.
Неавторских в старом, «хабра-тортовом» смысле публикаций на площадке явно больше, чем хотелось бы, хотя достоверно посчитать их долю невозможно. Поэтому единая цена за доступ к Хабру будет означать не оплату авторского труда, а оплату доступа к собранной площадкой массе материалов разного происхождения.
Если деньги останутся у платформы, не попадут авторам оригинальных статей и никак не дойдут до первоисточников пересказанных новостей, морально такая модель окажется не намного справедливее бесплатного сбора контента ИИ-компаниями.
Один и тот же публичный факт смогут продавать несколько сайтов. Вероятно, ИИ-компании будут платить за уникальные материалы и качественные, постоянно обновляемые базы, а простые копии останутся невостребованными. Но вопрос о справедливом получателе денег Cloudflare не решает: она лишь контролирует проход к конкретному серверу.
Российские сайты уже пережили один массовый переезд за WAF
После февраля 2022 года российские сайты столкнулись с волной DDoS, сканирований, попыток эксплуатации известных уязвимостей и дефейсов. Веб-ресурсы компаний и организаций массово начали прятать исходные серверы за WAF и сетями фильтрации.
Причина была вполне бытовой. Владелец небольшого сайта не обязательно хранил государственные секреты и не ждал серьёзной атаки. Он просто не хотел однажды утром обнаружить на главной странице чужой флаг, политическое обращение или сообщение о взломе. Даже недорогая внешняя фильтрация стала восприниматься не как услуга для банков, а как обязательный предохранитель для обычного сайта.
Cloudflare подходила для этого почти идеально: подключалась быстро, ничего не стоила и защищала лучше, чем самостоятельно настроенный nginx с несколькими списками адресов. Если бы не последующие российские ограничения, огромная часть небольших сайтов так и осталась бы за ней.
Но сначала под блокировки попадали отдельные адреса Cloudflare, затем в ноябре 2024 года начались проблемы из-за фильтрации Encrypted Client Hello. Летом 2025 года ограничения стали массовыми: Cloudflare сообщала о падении российского трафика на 30–50%, а на части сетей соединения обрывались после передачи первых 16 Кбайт.
Формального полного запрета Cloudflare нет. Практически строить на ней сайт, рассчитанный на российскую аудиторию, стало недальновидно.
Есть ли в России бесплатная замена Cloudflare
Прямого аналога бесплатного тарифа Cloudflare в России сейчас нет. Отдельные элементы можно получить бесплатно или недорого, но не весь набор сразу.
Многие российские хостеры включают в стоимость VPS или выделенного сервера базовую защиту от сетевых DDoS-атак. Иногда бесплатно предоставляются DNS, SSL и простая фильтрация. Но защита L3–L4 не заменяет WAF: она спасёт канал от потока мусора, но не остановит SQL-инъекцию, эксплуатацию уязвимого плагина WordPress или правдоподобного бота, методично выгружающего страницы.
Полноценные сервисы предлагают DDoS-Guard, NGENIX, EdgeЦентр, Selectel, Solar Space, VK Cloud и другие. Как правило, CDN ещё можно подключить за небольшие деньги и платить за трафик, но WAF, продвинутая защита от ботов и постоянное проксирование стоят заметно дороже либо рассчитываются индивидуально.
Особенно показателен Yandex Smart Web Security. У него есть тарификация по запросам и бесплатный порог в 10 тысяч запросов, но полноценная защита домена требует оплачиваемых прокси-ресурсов и трафика. В опубликованном расчёте обработка миллиона разрешённых запросов профилем безопасности и WAF стоит 54 900 рублей, не считая прокси и дополнительной защиты. Подписка Start начинается с 50 833 рублей за AntiDDoS плюс 40 667 рублей за WAF в месяц и оформляется на год. Это корпоративный сервис, а не замена бесплатной кнопке Cloudflare для личного сайта.
У Selectel можно отдельно подключить DDoS-защиту, WAF, CDN и бесплатный DNS, но это набор самостоятельных услуг. Solar Space ориентирована на малый и средний бизнес, остальные крупные поставщики также предлагают тестирование или индивидуальные тарифы. Дешёвая базовая защита существует, полноценного бесплатного прокси с CDN, SSL, WAF и управлением ботами — нет.
Кто займёт место Cloudflare в России
У российских CDN и WAF появляется новый рынок. Защита от ИИ-ботов вскоре станет отдельной услугой, а затем к ней можно добавить платный доступ к контенту.
Наиболее сильные позиции здесь у Яндекса и VK. У них есть инфраструктура, реклама, поиск, собственные модели и большая пользовательская база. Одна компания сможет защищать сайт, классифицировать ботов, считать использование материалов и проводить расчёты.
Это создаёт очевидный конфликт интересов. Поставщик одновременно будет определять:
какой бот считается поисковым;
какое использование требует оплаты;
сколько стоит доступ;
какую комиссию получает посредник;
какие сайты представляют ценность для его собственной модели.
Размер возможной комиссии сейчас можно выдумать любой — хоть 60%. Важно другое: чем больше сайтов окажется за WAF одной компании, тем легче ей будет навязать условия и владельцам контента, и разработчикам ИИ.
Российские блокировки тем самым приводят к парадоксальному результату. Международного посредника, предоставлявшего базовые услуги бесплатно, выдавливают с рынка. Его место займут местные компании, ещё теснее объединяющие инфраструктуру, рекламу, поиск, ИИ и отношения с государством.
Вместо итога
Cloudflare строит систему, в которой бот должен подтвердить оператора, назвать цель обращения, соблюдать условия сайта и при необходимости заплатить.
Для авторов уникальных материалов это способ вернуть часть контроля. Для открытых проектов — возможность разрешать полезное использование, не отказываясь от ограничения нагрузки. Для агрегаторов — шанс продавать качественную базу, но и риск оказаться ненужным промежуточным слоем.
В старом интернете Cloudflare была трубой с хорошей решёткой от грязи. Теперь она становится вахтёром, который решает, кого пропустить, и кассиром, собирающим плату за вход.
