Привет, коллеги! Время, когда пользователь вбивал запрос в Google или Яндекс, получал выдачу и послушно переходил на Ваш сайт, уходит в прошлое.

Современный пользователь всё чаще сидит внутри интерфейса чат-бота. ИИ сам анализирует тонны информации, посещая сайты по нужной теме, выжимает из них самую суть и выдает емкий ответ. Удобно? Да! Полезно для владельцев сайтов? Спорно..

Блокировать или разрешать ИИ ботов - выбор за Вами

Я Владимир, развиваю систему eByeBots защиты веб-сайтов от ботов.

Когда клиенты попросили сделать простой режим, разрешить ИИ-ботов ради лидов / заблокировать ради экономии ресурсов, я понял: пора автоматизировать рутину.

Делюсь своим исследованием и полученным опытом, надеюсь материал будет полезным и Вы примените этот опыт на своих ресурсах.

Краткое содержимое статьи

Материал для тех, кто хочет разобраться с трафиком на своем сайте и решить - нужны ли ему ИИ боты на сайте.

ИИ вместо SEO: кому роботы чат-ботов приводят готовых клиентов, а у кого просто воруют контент и нагружают сервер
Блокировка по User-Agent: почему это плохая стратегия
ChatGPT и Perplexity: как работают «честные» боты, где брать их официальные пулы IP-адресов и как правильно добавить их в белые или черные списки
DeepSeek и Grok: как нейросети маскируются под обычных людей, обходят защиту через резидентные прокси и притворяются другими ИИ
Claude и Gemini: почему официальная документация Anthropic расходится с реальностью и как Google использует свои сервера для ИИ-поиска
Алиса и GigaChat: умеют ли отечественные модели анализировать сайты «на лету» и стоит ли ждать от них нагрузку
Эксперимент с robots.txt: проверяем на реальных логах, кто из современных ИИ действительно соблюдает правила, а кто их полностью игнорирует

Наши сайты посещают армии ИИ-сканеров. Они выгребают контент в промышленных масштабах, создавая огромную нагрузку. И перед каждым разработчиком, сисадмином и владельцем сайта (нужное подчеркнуть) встаёт важный вопрос:

Блокировать ИИ ботов или, наоборот, разрешать вход и получать с этого трафик и выгоду?

Таких ботов не видно в обычной Яндекс Метрике (вебвизор / посетители), это не пользователи или поведенческие боты - они могут замедлять сайт (актуально на сайтах, где много материалов, тегов, товаров). Посмотрите вашу нагрузку на сервер, какая она?
Вы можете посмотреть свой access.log сайта - там есть вся информация по заходам, но она трудночитаема и на её основе скорее всего не поймете какую нагрузку в % создают ИИ боты.

Блокировать ИИ ботов или нет?

Здесь нет однозначного ответа «да» или «нет». Всё зависит от того, какой у Вас бизнес.

Кому ИИ-боты жизненно необходимы?

Если у вас локальный бизнес, SaaS-платформа, интернет-магазин с уникальным товаром или отель. ИИ-поиск может стать вашим главным лидогенератором будущего. Чат-бот порекомендует именно вас, подкрепив рекомендацию ссылкой, и приведет максимально «горячего» клиента.

Для моего сервиса защиты, ограничение доступа ИИ-ботов означало бы потерю целевого трафика. Практика показывает, что пользователи всё чаще ищут альтернативные инструменты защиты не через классический поиск, а через ИИ чат ботов.
Мониторинг источников и общение с клиентами подтверждают: Perplexity и DeepSeek стали важными каналами лидогенерации, приводя пользователей, уже готовых к внедрению продукта.

Для кого ИИ-боты - это приговор и чистый паразитизм?

Если Вы держите информационный сайт, медиа, кулинарный блог или агрегатор полезных советов. ИИ просто спарсит Ваш контент, заберет рецепт или инструкцию, покажет их пользователю внутри своего чата, а Ваш сайт получит минимальное количество посетителей. Для Вас они - просто пожиратели ресурсов сервера, которые лишают заработка на рекламе.

Спрашиваю у Gemini - как помыть кота Бориса - владелец сайта упустил трафик

Интересно будет послушать кейс, если у Вас информационный сайт и Вы собираете реальный трафик с ИИ.

Как заходят ИИ боты на Ваш сайт?

Есть 3 основных сценария, как именно ИИ-боты находят дорогу к Вашему сайту и почему они штурмуют его 24/7 в промышленных масштабах.

Прямой промт пользователя - переход по по ссылке

Самый частый сценарий для диалоговых ботов вроде ChatGPT или Claude. Пользователь отправляет в чат сообщение: "Проанализируй эту статью: URL-Вашего-сайта» или «Найди скрытые косяки в коде на этой странице". Нейросеть мгновенно генерирует подзапрос, и к вам на сервер прилетает агент вроде ChatGPT-User или Claude-User.

Такой визит, спровоцированный живым человеком.

Автономный фоновый веб-краулинг - сбор базы для обучения

Такие боты, как GPTBot от OpenAI или ClaudeBot от Anthropic и другие, работают как классические поисковые роботы, но с другой целью. Они не ищут конкретный ответ для юзера прямо сейчас - они скачивают интернет целиком про запас.

Заходят на сайт, могут находить карту сайта (sitemap.xml), далее парсят все страницы до единой, выкачивают тексты и уносят их в свои дата-центры, чтобы скормить огромным языковым моделям (LLM) во время следующего цикла обучения.

Поиск в реальном времени

Когда пользователь спрашивает у Perplexity, Grok или того же ChatGPT: Какая погода на Хабре сегодня? или Где купить такой-то товар в СПБ со скидкой?", у ИИ нет этих актуальных данных в памяти.

ИИ-модель в реальном времени делает поисковый запрос, находит Ваш сайт в выдаче (например берет первые 10 сайтов), мгновенно отправляет туда бота-ищейку (OAI-SearchBot/ PerplexityBot), считывает контент за доли секунды, переваривает его и выдает пользователю ответ.

Блокировка / исключение по User Agents

Многие наверное уже задались первым вопросом

Зачем эта статья?

можно заблокировать / разрешить ботов по их User Agents
можно запретить заход через robots.txt (об этом я напишу в самом конце статьи, проведу небольшое исследование)

Как бы так, да не так..

User-Agent - это обычная текстовая строка, которую клиент (браузер, скрипт, робот) отправляет на Ваш сервер в заголовках HTTP-запроса (User-Agent: тут данные). Исторически она создавалась как "визитная карточка", чтобы сервер понимал, с кем имеет дело.

Если разобрать классический User Agent современного браузера, он выглядит примерно так:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36

Mozilla/5.0 и Safari/537.36 - исторические костыли, которые браузеры пишут для совместимости со старыми сайтами.
(Windows NT 10.0; Win64; x64) - операционная система (Windows 10/11) и её разрядность (64 бит).
AppleWebKit/537.36 (KHTML, like Gecko) - движок рендеринга страниц (на нем построены почти все современные браузеры).
Chrome/124.0.0.0 - показывает, что перед нами скорее всего Google Chrome 124-й версии.

Официальные, «честные» ИИ-боты (вроде OpenAI или Perplexity) добавляют в конец этой строки свой уникальный маркер (например, compatible; GPTBot/1.1; +[https://openai.com/gptbot](https://openai.com/gptbot)). Это их жест доброй воли, заявляющий: Привет, я робот, я пришел просканировать твой сайт.

Прикинемся ИИ ботом по User Agent

Я не буду далеко ходить, самое простое для восприятие и без кода, устанавливаете расширение User Agent Switcher в свой браузер (есть версии под разные браузеры).

После установки, нажимаем на значок расширения и указываем предпочтительный User Agent

Меняю User Agent на Cat Boris в расширении User Agent Switcher

Нажимаем применить.

Так же Вы можете прикинуться поисковиком Google, Yandex

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)

И зайти на сайт, обойдя разные проверки фильтрации - есть владельцы которые добавляют поисковые системы по User Agent в исключения, что в целом неправильно.

Вот я уже зашел на сайт с User Agent - Сat Boris

Пример разных User Agent при заходе на сайт - панель eByeBots

Я так же мог зайти как Яндекс, ChatGPT или Python библиотека.

Ниже я буду описывать каждый ИИ сервис / чат бота, кто как ходит, что использует, есть ли официальные IP адреса и небольшой итог по ИИ боту, сканеру.

ChatGPT

Я дал задачу ChatGPT проанализировать мой сайт, предварительно включив глубокое исследование (так как при обычном общении - может и не зайти на сайт или зайти с поиска, а я хотел напрямую):

Попросил ChatGPT зайти на мой сайт ebyebots.ru

Сразу стал получать заходы с User Agent - OpenAI, ChatGPT и другие

Информация по заходам от ИИ бота ChatGPT в веб-панели

У меня уже ИИ бот ChatGPT от OpenAI добавлен в исключения, поэтому бот получает полноценный доступ и анализирует ресурс.

Полные User Agents OpenAI

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-User/1.0; +https://openai.com/bot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.3; +https://openai.com/gptbot)

Самое простое было бы добавить User Agent который содержит openai.com или в исключение или блокировку, но это неправильно. - сканеры, другие боты прочекают это и зайдут на сайт.

Расшифровка ботов OpenAI и официальные IP адреса

Каждый бот выполняет свою функцию, и он заходит со своих IP диапазонов. У OpenAI есть публичный пул IP адресов в .JSON формате. Вы можете мониторить и обновлять в своей защите, по мере изменения.

OAI-SearchBot

Предназначен для поиска. Используется для появления сайтов в результатах поиска ChatGPT. Сайты, отключённые от OAI-SearchBot, не будут отображаться в ответах поиска ChatGPT. Чтобы сайт появлялся в результатах поиска, рекомендуем разрешить.

Источник базы: https://openai.com/searchbot.json

OAI-AdsBot

Используется для проверки безопасности веб-страниц, поданных в виде рекламы на ChatGPT. Посещает только страницы, представленные как реклама. Данные, собранные OAI-AdsBot, не используются для обучения генеративных моделей ИИ.

Источник базы: https://openai.com/adsbot.json

GPTBot

Используется для сканирования контента, который может применяться для обучения генеративных моделей ИИ. Запрет GPTBot означает, что контент сайта не будет использоваться для обучения базовых моделей ИИ.

Источник базы: https://openai.com/gptbot.json

ChatGPT-User

Используется для действий пользователей в ChatGPT и Custom GPT: при вопросе пользователя агент может посетить веб-страницу или взаимодействовать с внешними приложениями через GPT Actions. Не используется для автоматического сканирования веба и не влияет на отображение в поиске.

Источник базы: https://openai.com/chatgpt-user.json

Итог по ChatGPT

Боты ходят с официального пула IP адресов, используют официальные User Agents и в целом заблокировать / разрешить их не составляет труда.

Perplexity

Принцип такой же, попросил Perplexity проанализировать сайт, получил следующие заходы:

Как отображается бот PerplexityBot в логах сайта

Полные User Agents Perplexity

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user

Расшифровка ботов Perplexity и официальные IP адреса

PerplexityBot

Предназначен для появления ссылок на сайты в результатах поиска Perplexity. Не используется для сбора контента для обучения моделей ИИ. Чтобы сайт отображался в результатах поиска, рекомендуем разрешить.

Источник базы: https://www.perplexity.ai/perplexitybot.json

Perplexity-User

Поддерживает действия пользователей внутри Perplexity: при вопросе сервис может посетить страницу, чтобы дать точный ответ со ссылкой на неё. Не используется для веб-краулинга или сбора контента для обучения моделей ИИ.

Источник базы: https://www.perplexity.ai/perplexity-user.json

Итог по Perplexity

Тоже всё просто, разрешаем или блокируем. IP адреса известны и они актуальные, вы можете написать скрипт, который будет мониторить изменение их .JSON файлов - и корректировать айпи - но обновления мб раз в год будут, как показывает практика.

От себя лично: с этого ИИ-поисковика пришло несколько клиентов, с которыми по сей день сотрудничаем.

Пример клиента, который пришёл с Perplexity — Пример клиента, который пришёл с **Perplexity**

DeepSeek

А тут уже интереснее, данный бот не использует какие-то официальные User Agents и прикидывается, как будто сайт посещает обычный пользователь:

Даю задачу DeepSeek посетить наш сайт eByeBots

Я специально дал ИИ боту DeepSeek неверный URL, чтобы его было легко видно в потоке логов

Заходы от бота DeepSeek, логи с интересным User Agents

IP могут меняться, но они все с Гонконга, а User Agent используется вот такой:

Mozilla/5.0 (X11; Linux x86_64; rv:149.0) Gecko/20100101 Firefox/149.0
Бросается в глаза, что заход якобы с Linux x86_64

Заходы с другого IP, всё тот же бот DeepSeek

И как тут понимать что это DeepSeek?

Если пробить айпи адреса, они все идут из ASN сети Huawei-Cloud-HongKong

ASN 136907 - Huawei, боты DeepSeek всегда с этой сети

Вот список диапазонов этой сети, можете добавить все в исключение / блокировки. Для более точного вхождения - применить этот ASN (по GeoIP) или диапазоны + User Agent: Mozilla/5.0 (X11; Linux x86_64; rv:149.0) Gecko/20100101 Firefox/149.0 или Linux x86_64

Если есть другие варианты точнее определить бота DeepSeek - буду рад услышать в комментариях.

Итог по DeepSeek

Это первый бот, который не использует очевидный User Agent - и не косит под пользователя по типу заход с Windows.

ClaudeBot Anthropic

Зашёл, отправил запрос, смотрим что получилось

Заход получился с настоящим User Agent, но вот в блоке информация (просто метка- Хорошие боты), а не ИИ сервисы - разрешенный бот. Почему? Чуть ниже.

User Agents ClaudeBot

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-User/1.0; +claude-user@anthropic.com)
Claude-User (claude-code/2.1.177; +https://support.anthropic.com/)
Claude-User (claude-code/2.1.170; +https://support.anthropic.com/)
Claude-User (claude-code/2.1.156; +https://support.anthropic.com/)
Claude-User (claude-code/2.1.176; +https://support.anthropic.com/)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
Claude-User (claude-code/тут разные версии, их много; +https://support.anthropic.com/)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

Почему IP 34.162.230.222 - разрешенные боты?

Этот айпи из ASN 396982 сети Google - googleusercontent.com

2IP - пробиваем айпи, смотрим какой сети он принадлежит

Для чего обычно используется googleusercontent.com

googleusercontent.com - используется для размещения пользовательского контента, работы сервисов Google Drive, а также для виртуальных машин в их облаке.

Оттуда могут идти и реальные пользователи. По каким то причинам гугл может пускать трафик через себя. Такой хост и ASN лично на нашей фильтрующей защите разрешен.

Три разных бота Anthropic

ClaudeBot собирает контент для обучения моделей;
Claude-User загружает страницы, когда пользователь просит Claude посетить URL;
Claude-SearchBot сканирует контент для улучшения поисковых результатов.

Официальные IP адреса ClaudeBot

"Сервисы Anthropic используют фиксированные IP-адреса как для входящих, так и для исходящих соединений. Вы можете использовать эти адреса для настройки правил брандмауэра и обеспечения безопасного доступа к Claude API и Console. Эти адреса не будут изменяться без предварительного уведомления.
Входящие IP-адреса
Это IP-адреса, на которых сервисы Anthropic принимают входящие соединения.
IPv4
160.79.104.0/23
IPv6
2607:6bc0::/48
Исходящие IP-адреса
Это стабильные IP-адреса, которые Anthropic использует для исходящих запросов (например, при выполнении вызовов инструментов MCP к внешним серверам).
IPv4
160.79.104.0/21"
Вырезка со страницы

Вот актуальные IP адреса согласно документации, но есть одно но..

А пока

Вопрос на засыпку

Я решил через Cursor (на базе модели Claude Opus 4.8) дать задание зайти на несуществующую страницу нашего сайта.

Как думаете какой User Agent использовался системой?

Подумайте, потом в комментариях напишите угадали или нет ;)

Ответ

Бот прикинулся стандартным поисковым роботом Google. Модели от OpenAI в аналогичном тесте через API выдали такой же результат. Это скорее нюанс работы проксирующих серверов самого Cursor, но факт остается фактом - чужой юзер агент.

Итог по ClaudeBot Anthropic

Бот противоречит официальной документации, ходит не только с сетей амазона - по крайней мере я вижу другие ASN сети и они всегда рандомные, вижу даже айпи адреса из РФ, это только малая часть лога

Хаотичные диапазоны айпи ИИ бота ClaudeBot

Блокировать или разрешать здесь не получится точечно, но если сделать условие:

если прямой заход
если User Agent содержит anthropic.com

То в целом можно разрешить или заблокировать, но это не идеально. Есть идея как лучше? напшите.

Grok

Grok самый вредный по-моему мнению ИИ бот, в плане того что он себя никак не идентифицирует. Попросил его зайти на несколько несуществующих URL адресов, чтобы изучить логи захода

Даю Grok задачу, зайти на несколько URL адресов сайта ebyebots.ru

Вот что у нас получилось:

Бот Grok заходил с двух User Agents

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/26.2 Safari/605.1.15
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/139.0.0.0 Safari/537.36
ну и другие случайные версии браузеров

Интересно что бот прикинулся гугл ботом, в надежде получить контент, сначала заходил по устаревшему протоколу HTTP/1.1, потому уже HTTP/2.0

Официальные списки IP Grok

У компании xAI (создателей Grok) на данный момент нет открытого официального списка IP-адресов или выделенного пула ASN, как это сделано у OpenAI (ChatGPT) или Google.

Дело в том, что архитектура парсинга Grok устроена иначе. Когда Grok ищет информацию в реальном времени, он ведет себя крайне специфически.

Как Grok заходит на сайты?

Ротация IP: Вместо выполнения запросов из собственных дата-центров (например, из сетей X/Twitter), Grok часто использует распределенную архитектуру. Запросы идут через пулы резидентных и мобильных провайдеров. Один поисковый запрос пользователя может породить десяток обращений к Вашему сайту с совершенно разных, никак не связанных между собой IP-адресов.
Замена User-Agent: Чтобы обходить жесткие системы защиты от парсинга (Cloudflare, AWS WAF и др.), Grok маскирует свои запросы под обычных пользователей. В логах серверов его визиты часто выглядят как обычный браузер: например, Chrome на Windows или Safari на iPhone.

Есть те, кто добавить гугл ботов по user agents google в исключения - и такой бот зайдет

Вот пример IP адресов из скриншота выше: айпи, название ASN провайдера, номер сети

104.252.226.95 Subnet Digital LLC ASN 396356
92.71.41.185 TO-20080305-GTT ASN 212238
185.176.158.66 Interhive ASN 216253
185.230.122.12 WIRED-ISP-VA-DC ASN7029

Итог по Grok

ИИ агент / чат бот Grok не следует хорошему тону, не подставляет свой User Agent (притворяется человеком), у него нет списков IP адресов, с которых он сканирует ресурсы.

Заблокировать его сложнее, но можно - как видите бот тоже заходит по прямому заходу, не имея referer - источник перехода.

А если попросить подставить referer?

Да, источник перехода откуда совершен якобы переход можно подменять, так делают поведенческие боты для Яндекса и Гугла, указывая referer google.com или yandex.ru и так далее..

Попросил бота подставить домен habr.com

В логах наблюдаю следующую картину, бот ничего не подставил

Наверное потому что если сменить referer - это будет считаться изменения алгоритма "посещения сайта".

Что с ИИ: Gemini, Алиса AI, Gigachat?

Давайте посмотрим, чем дальше - тем интереснее?

Логика Gemini

Gemini обычно использует выдачу Google, то есть он выполняет поиск по своей базе. Что есть в поиске Гугла, то есть и у него. Если попросить Gemini зайти на сайт в режиме Flash или Pro - он не зайдет - хотя и напишет что зашел или не получилось.

Если же включить расширенный режим с рассуждениями то зайдет со скромным User Agents - Google

Скромный одиночный заход от Gemini - Google

Айпи адрес принадлежит Google LLC ASN 15169. С этой сети ходят официальные гугл боты - хорошая сеть.

Официальные IP адреса Google находятся на специальной странице

Логика Алиса AI

Решил добавить в статью отечественного разработчика Яндекс. Давайте посмотрим что получится:

Дал задание ИИ Алисе посетить мой сайт, результат вот такой

Я просил зайти Алису AI на страницу в обычном чате, и в режимах:

Рассуждение
Исследование
Найти дешевле
Репетитор

Ей оказалось это не по зубам, видимо она ищет только по своей базе (с поиска Яндекс), и не умеет делать рассуждать в реальном времени.

Логика ИИ ГигаЧат

К сожалению в 3-х режимах

Гига
Исследования
Рассуждения

ИИ бот Gigachat (от Сбер) не смог зайти на сайт, анализировать в реальном времени он тоже не умеет

Промт для Гигачата, дал задание зайти на сайт eByeBots

Robots.txt - решение для запрета ИИ ботов?

Короткий ответ: Нет, robots.txt больше не является надежной защитой. Сегодня это скорее "джентльменское соглашение", которое хорошие ИИ-боты соблюдают исключительно на своё усмотрение.

Если раньше этот файл был законом для Google и Яндекса, то в эпоху ИИ-нашествия ситуация кардинально изменилась.

В процессе написания статьи, сейчас я дам команду всем ИИ ботам зайти на сайт на определенную страницу - и изучу, действительно ли они соблюдают предписание robots.txt

Perplexity

Бот Perplexity посетил robots.txt, а потом уже начал сканировать контент

Бот Perplexity действительно заходит и проверяет robots.txt - а затем уже сканирует сайт.
ChatGPT - просто зашел на страницу без проверки robots.txt - по логам я вижу что ранее он заходил.
DeepSeek - никогда не заходил на robots.txt - сканирует сайт без проверки этого файла.
Claude Bot - заходит на robots.txt
Grok - eму фиолетово, обращений к robots.txt не обнаружил.

Подведем итоги

Блокировать или разрешать ИИ ботов? Всё зависит от Вашего ресурса
Если у Вас на сайте стоит блокировка по странам (многие так делают), и Вам нужен трафик с ИИ ботов проверьте - а точно ли Вы не блокируете ИИ ботов?
Официальные диапазоны были предоставлены выше.
Часто блокировка таких ботов нужна если Ваш сайт информационный / сайт на обычном хостинге или превышает нагрузку, лимиты сервера
ограниченный бюджет на сервер - в таком случае фильтровать или кэшировать (минимизировать нагрузку)
обычно если нужны ИИ боты, а ИИ парсеры создают высокую нагрузку, владельцы переезжают на более мощный VPS сервер или расширяют лимиты обычного хостинга - это самое простое. Никто не отменяет оптимизацию сервера / кэширование и просто фильтрацию не нужных ботов

Если Вам не нужны ИИ боты - заблокировать

Блокировать их можно разными способами, от простого к сложному (просто рассматриваю варианты, они имеют свои недостатки и плюсы)

заблокировать страны откуда идут боты по Geo IP - если такое стоит, возможно придется настраивать (так делают, но это не совсем корректно, Вы можете заблокировать SEO сервисы или тот же UpМоnitor или сервис по проверке доступности сайта, которыми Вы пользуетесь - любой сервис который обращается к Вашему сайту и Вы им пользуетесь). Google боты из США - просто помните это.
заблокировать официальные IP адреса - у некоторых ИИ как мы видим есть такой список, это самое правильное и простое решение (.htaccess или Nginx )
блокировка по User Agent в том же .htaccess или Nginx (но не у всех ИИ ботов он есть)
сделать умную капчу на прямые заходы - из статьи понятно, что такие ИИ боты ходят по прямым заходам (сделать капчу по типу например: если заход не из РФ и прямой заход - то капчу - остальных пропускаем и так)

- только тут стоит учитывать: если у Вас сайт без внешнего фильтрующего прокси-сервера (WAF) и запрос идет напрямую к бэкенду, то умной капчей Вы закроете контент, но нагрузка на железо останется - веб-сервер все равно тратит ресурсы на обработку.
- когда обработка идет на стороне внешнего прокси-сервера - паразитная нагрузка гасится на сетевом периметре, а до вашего целевого сервера доходят только легитимные запросы (яркий пример - Cloudflare - но он не работает в РФ).

Все тоже самое работает в обратную сторону -

Разрешить ИИ ботов

Если Вы не блокировали ранее ботов какими либо правилами, то скорее всего боты посещают Ваш сайт - Вы можете проверить промтами к ИИ чат боту и анализом логов сайта.

рекомендую добавить официальные айпи адреса в исключения, чтобы в будущем не заблокировать их случайно (правила должны быть выше блокировки)
добавлять в исключения User Agent уже неправильно - другой парсер зайдет на Ваш сайт и скопирует весь материал, прикинувшись тем же ChatGPT.

В наше время всё больше и больше пользователей начинают пользоваться ИИ ассистентами.

Если говорить про российские сайты - то обычный пользователь в первую очередь рассматривает ИИ ассистентов, которые доступны без танцев и бубна - в моей подборке это Perplexity и DeepSeek. Поэтому если Вам нужны клиенты с чат ботов - в первую очередь разрешите их.

Знаете о других популярных ИИ ботах, которые сканируют сайты в реальном времени и могут привести реального клиента на сайт (акцент на РФ аудиторию) - напишите в комментариях, изучу и постараюсь дополнить пост.

Статья носит исключительно технический характер, блокировка / исключение на разных сайтах, сама по себе может быть разная. Всем спасибо!

Пускать нельзя блокировать: приносят ли ИИ-чат боты клиентов на Ваш сайт? Как ИИ ассистенты посещают сайт…