Идея так называемого «мертвого интернета» витает в воздухе довольно давно (если мне не изменяет память, уже в 2014 году были робкие высказывания в поддержку этой теории), но с каждым годом голоса тех, кто считает ее реальной, становятся громче. И действительно, развитие ИИ, автоматизации, парсинга ресурсов способствует наводнению интернета ботами. Но так ли все критично, как кажется на первый взгляд?

Мы решили изучить, что происходит в современном интернете с точки зрения человеческого и ботового трафика и разобраться, так ли близок «мертвый интернет» или это все еще напоминает теорию заговора.

Привет! Я Александр, пишу для антидетект-браузера Aurorium и по совместительству являюсь специалистом в вопросах автоматизации и парсинга. В этом материале мы рассмотрим, как менялся интернет-трафик на отрезке с 2013 год по настоящее время? По традиции сварите чашечку кофе или чая и соорудите пару бутербродов — мы начинаем!

Состав интернет трафика

Прежде чем погружаться в статистику, давайте разберемся, а из чего вообще состоит современный интернет с точки зрения трафика.

В первую очередь — это люди, которые составляют основу, именно они двигают интернет вперед, вбивают поисковые запросы, создают пользовательский контент, делятся им с окружающими.

Во вторую очередь — это боты, которые подразделяются на плохих и хороших.

Хорошие боты:

  • Краулеры поисковых систем, обеспечивающие ранжирование и индексацию контента.

  • Системы мониторинга производительности, аптайма и доступности ресурсов.

  • Агрегаторы новостей, RSS-ридеры.

  • Боты социальных сетей.

Плохие боты:

  • Простые боты (скрипты, использующие базовые библиотеки без сложных механизмов маскировки).

  • Умеренно-продвинутые боты (скрипты, которые используют headless-браузеры, способные исполнять JavaScript, имитировать базовое движение мыши, обрабатывать cookies и управлять сессиями).

  • Продвинутые боты (умеют динамически менять свои цифровые отпечатки, распределяют запросы через прокси и активно применяют алгоритмы машинного обучения для эмуляции нелинейного человеческого поведения).

Серые боты:

  • Боты нейросетей, обеспечивающие наполнение контентом.

  • ИИ-агенты.

Ремарка — серых ботов мы будем учитывать в общей статистике с плохими, так как еще не до конца понятно, несут ли они пользу для современного веба и веб-мастеров, в частности, или нет.

Будем считать, что с азами мы разобрались: предлагаю не томить и погрузиться в статистику.

Как менялся трафик за последние 13 лет

Для начала давайте проследим эволюцию поискового трафика за последние 13 лет, начиная с 2013 года по настоящее время.

Мы решили немного поэкспериментировать с интерактивом и собрали небольшой радар, покрутив который можно отследить динамику смены цифровой парадигмы от доминирования человека к ботам, тестируйте радар бототрафиков Aurorium.

В сети есть много различных графиков и исследований на эту тему. Возьмем для примера исследование компании Imperva (специализируется на кибербезопасности и защите данных). Вот как выглядело распределение трафика с 2013 по 2024 год по результатам их исследований: 

Год

Человеческий трафик (%)

Общий бототрафик (%)

Хорошие боты (%)

Вредоносные (плохие) боты (%)

2013

57.00

43.00

19.40

23.60

2014

40.90

59.10

36.30

22.80

2015

54.40

45.60

27.00

18.60

2016

61.30

38.70

18.80

19.90

2017

57.80

42.20

20.40

21.80

2018

62.10

37.90

17.50

20.40

2019

62.80

37.20

13.10

24.10

2020

59.20

40.80

15.20

25.60

2021

57.70

42.30

14.60

27.70

2022

52.60

47.50

17.30

30.20

2023

50.40

49.60

17.60

32.00

А теперь давайте пройдемся по этапам более подробно и посмотрим, какие события предшествовали тому или иному взлету и падению и как на них повлияли.

Скрытый текст

Спойлер — я намеренно не включил 2024– 2026 годы в таблицу и график, чтобы немного подержать интригу. Данные по этим годам будут дальше.

Эра относительного спокойствия (середина 2010-х)

Начнем препарировать полученные в ходе исследования данные с 2010-х годов: самый расцвет современного веба, эпоха бурного роста поисковых тенденций.

Из графика четко виден рост человеческого трафика, которому предшествовал провал в 2014 году в пользу хороших ботов. 

Кажется, все максимально закономерно: интернет развивается, появляется все больше информации, которую нужно классифицировать и распределять, а кто займется распределением? Хорошие боты, которые начали более агрессивно пылесосить веб и работать на благо человечества (или на благо своих создателей, тут уже кому что больше нравится).

Поисковые роботы, агрегаторы новостей, боты соцсетей и другие, менее известные, но важные для интернета скрипты шныряли по вебу в поисках информации, индексировали все, что, по их мнению было полезно и удаляли вредоносные и бесполезные данные (опять же, по их мнению).

Спорить о качестве их работы не будем, пусть это останется сеошникам, мы же просто зафиксируем факт — всплеск ботового трафика в 2014 году был абсолютно закономерен и ожидаем.

После того, как боты хорошо поработали, люди начали постепенно возвращать себе доминирующую позицию и продолжали ее удерживать. А с чем связан рост человеческого трафика? У кого-нибудь есть предположения? Пишите в комментариях, что думаете на этот счет.

На самом деле всплеск человеческого трафика легко объясняется массовой глобальной смартфонизацией и развертыванием мобильных сетей нового поколения (4G/LTE) и притоком на этом фоне сотен миллионов новых интернет-пользователей из развивающихся стран — в первую очередь из Китая, Индии и Индонезии. 

Да, именно тогда и начал расти трафик из Азии и бустить человеческое доминирование в интернете.

Рост мобильного интернета временно затмил собой автоматизацию, создав иллюзию человеческого большинства в сети. 

Что касается вредных (плохих) ботов, их доля была настолько низкой, что ее можно учитывать в качестве погрешности. Почему так? Вот смотрите — чтобы написать скрипт автоматизации или даже простой парсер в 2010-х годах, требовались знания языков программирования, а они были недоступны большинству пользователей интернета. 

Разработчики, умеющие писать код, уже тогда стали своего рода особой кастой среди интернет-пользователей. Вот мы и получаем низкие показатели плохих ботов. Кто умел, тот и писал, а умели немногие.

Переломный момент и пандемийный скачок (2019–2020)

Первый значимый перелом произошел в 2019, пандемийном, году, который спровоцировал бум автоматизации на фоне вынужденной удаленки большинства компаний. Хотя на графике и не видно никакого бума (он случился чуть позже, когда бизнес полностью перестроился), но именно в это время и была заложена основа для скачка автоматизации и роста плохих ботов.

Владельцы бизнеса осознали, что как раньше уже не будет, и начали массово переходить в онлайн, а те, кто поумнее, — еще и обрастать инструментами для парсинга конкурентов, аналитики и т. п. 

С 2020 по 2023 год мы получили снижение человеческого трафика и последовательный рост плохих ботов, при условии, что доля хороших ботов оставалась на стабильном уровне.

Эпоха генеративного ИИ (2023–2026)

И наконец, наше ближайшее прошлое и настоящее, которое резко отличается от того, что было в 2022 и значительно раньше — в повседневную жизнь пользователей интернета внезапно ворвались и остались там надолго нейросети. Кажется, что поиск уже никогда не будет прежним, но давайте отстранимся от нытья и посмотрим, как изменился интернет в эти годы.

Произошло «умнение» юзеров за счет ИИ. Появилось огромное количество «вайбкодеров», способных за пару часов создать скрипт или парсер и пустить его в действие. То, что ранее было доступно лишь отдельной категории пользователей, сегодня попало в общий доступ. Собственно, отсюда и рост «плохих» ботов с 27% до 40%. Любой школьник без знаний, но с «крутой» идеей может создать свой продукт (да, к качеству будут вопросы, но кто из школьников смотрит на качество, работает же).

Впервые за более чем 10 лет автоматизированный трафик перешагнул отметку в 50% и в ряде сегментов окончательно обогнал человеческий. Это случилось в 2024 году, когда на долю людей приходилось 49% трафика, а роботы заняли 51%.

Но тенденция не остановилась, а даже ускорилась (способствует этому конечно же развитие нейросетей). По последним подсчетам люди еще больше отошли назад и уже занимают всего лишь 47% от общего интернет-трафика, в то время как боты укрепились на 53%.

Ну и самое неприятное во всей этой истории заключается в том, что большую часть ботового трафика держат «плохие» боты. Мы имеем не улучшение контента за счет более качественной индексации (как хотелось бы), а эта автоматизация драйвится за счет агрессивного извлечения данных.

Если недостаточно приведенной статистики, можно добавить пару дополнительных источников, которые не только не опровергают вышесказанное, но и дополняют его.

Cloudflare, например, отмечает, что автоматизированный трафик составляет 37,5% от всех HTTP-запросов, и 87% этого трафика — десктопный (что вполне закономерно, так как большинство ботов пишутся и запускаются под десктоп). 

Аkamai изучила 6,9 миллиарда запросов и выявила, что 49,3% исходили от людей, 42,1% — от ботов (при этом 65,3% бототрафика классифицировалось как вредоносный парсинг), а оставшиеся 8,7% были смешанными или неклассифицированными.

Статистика удручает.

ИИ-агенты растут

Но не будем заранее посыпать голову пеплом и говорить о том, что все пропало. Все перестраивается. Когда-то и появление паровых машин воспринималось негативно, но наши предки смогли это принять, перестроиться и жить дальше. 

В составе так называемых «плохих» ботов есть отдельная категория — «серые» боты. Они не совсем плохие, но еще и не заслужили репутацию хороших, потому и держатся в серой зоне. Это ИИ агенты и ИИ парсеры (краулеры). Первые создаются людьми и для людей, а вторые — компаниями в интересах компаний.

ИИ краулеры пылесосят интернет в поисках информации — это все те боты, которые связаны с ИИ-поиском, расширенными ИИ ответами от Гугла и т. п. Общая доля от всего нейротрафика — 85%.

ИИ-агенты пока составляют всего 15% от всего ИИ-трафика, но и пользоваться ими умеет лишь небольшая часть юзеров.

С ИИ-агентами вообще ситуация похожая на ту, которая была на заре интернета (выше писал про разработчиков и их особый статус в 2010-х). Тех, кто умеет настраивать и использовать агентов, не так много — все-таки здесь нужно иметь чуть больше навыков, чем просто вбить промпт в окно чата. Вот и имеем всего 15%. Единственное отличие ситуации 2010-х от нынешней заключается в том, что доля ИИ-агентов растет намного быстрее, время сжимается, за год прирост составил 7%.

ИИ-агенты сравнивают цены, изучают документацию, а некоторые уже бронируют билеты или номера в отеле без полноценного участия человека. Это своего рода личные помощники, но на микроуровне, доступные фактически любому пользователю, а не только руководителю корпорации или владельцу бизнеса.

В чем риски для бизнеса?

На первый взгляд, бизнес от роста автоматизации только в плюсе. Сокращаются издержки на определенную деятельность, кто-то даже сокращает штат специалистов и экономит на этом деньги. Но есть и обратная сторона, о которой много кто забывает — инфраструктурный налог.

Что это такое? Это необходимость содержать серверные мощности, которые обрабатывают проходящий через ресурсы бизнеса ботовый трафик. Давайте чуть проще, на примере обычного сайта:

У компании «Рога и Копыта» есть интернет-магазин, на который ежедневно заходило 200 человек. Со временем трафик рос, и за пять лет достиг отметки в 5000 посетителей в сутки. Нагрузка на сервер растет? Растет. Владелец хостинга, на котором сайт физически находится, просит купить более дорогой тариф, и директор компании делает это, так как в противном случае он рискует потерять клиентов с сайта.

Но часть трафика, из-за которого директору пришлось перейти на более дорогой тариф, никогда и ничего у него не купит — это те самые боты. Вот и получается, что компании платят невидимый налог на ботов.

А если перевести эти цифры на крупный цифровой продукт с трафиком 100 млн просмотров в месяц, из которых 30% это боты, затраты на инфраструктурный налог будут выше 19000$ в год, и это только на оплату серверных мощностей, не говоря о других сопутствующих тратах (например, на платную CAPTCHA, через которую эти боты прошли).

И возникает дилемма (с которой уже сталкивались владельцы ресурсов, когда автоматизаторы начали массово применять мобильные прокси для обхода ограничений на массовый парсинг) — блокировать ИИ-трафик или нет?

Мобильные прокси для парсинга — несмотря на конечность IP-адресов в пулах мобильных операторов, владельцы интернет-сайтов не могут поголовно их блокировать, даже если явно видно, что с конкретного IP-адреса идет автоматизированный трафик, так как заблокировав один IP-адрес, они рискуют заблокировать и обычных пользователей, сидящих на этом IP-адресе. Технология CGNAT во всей своей красе.

ИИ-агенты хоть и находятся в серой зоне, но в таких нишах, как туризм, они уже умеют бронировать отели и покупать авиабилеты, а если их заблокировать, сайт потеряет клиентов.

С другой стороны, ИИ-краулеры, которые пылесосят информацию и наполняют ею ИИ-поиск, обещают владельцам переходы пользователей к ним на сайт (на этом строится современное SEO, которое называют GEO). Но насколько лукавят владельцы нейросетей в попытке убедить вебмастеров открыть свои ресурсы для ИИ-ботов? Правда ли они готовы делиться в будущем клиентами с другими площадками, если можно закрыть их в нейроэкосистеме и получить все сливки?

Информация на подумать — крупные медиа, вроде BBC и CNN, жесточайше блокируют всех этих ИИ-ботов и не отдают им ни пяди информации без боя, и все равно у них больше всех цитирований в нейросетях…

«Мертвый интернет»: Конспирология или объективная реальность?

А теперь вернемся к тому, с чего мы и начали — так ли реален «мертвый интернет»? Вынуждены признать, что все больше подтверждений тому, что теория, ранее звучавшая как маргинальная, подтверждается на практике, и приведенная статистика выше — яркое тому подтверждение.

Человек становится меньшинством в инфраструктуре, которую сам и создал.

И на первый взгляд, это не выглядит как нечто пугающее. Да, будут ИИ-агенты, которые будут помогать человеку изучать информацию, планировать путешествия, покупать билеты и т. п. 

Но давайте копнем глубже и обратимся к ИИ-рекомендациям и нейропоиску, который формируется, исходя из того, что ИИ-краулеры напарсили и обобщили. Чем больше в поиске нейроконтента (посты в соцсетях, сгенерированные статьи и т. п.) тем больше меняется информационное поле. 

Добавьте сюда и рекомендательные системы, которые начинают подстраиваться под паттерны ботов, а не под человека, — и есть риск получить в будущем совсем уж синтетический интернет.

Через нескольких лет подобной «эволюции» мы можем вообще не узнать современный на тот период интернет. И решения, что с этим делать, к сожалению, нет.

Кто победит?

Решения нет, но есть развилка из нескольких путей, куда мы можем свернуть в попытке предотвратить наступление полноценного «мертвого интернета».

Давайте немного порассуждаем, каким путем может пойти современное интернет-общество.

Сценарий № 1: Цифровой изоляционизм

Самый маргинальный, на мой взгляд, путь — миграция людей в закрытые сообщества, платные подписки, мессенджеры с жесткой верификацией и биометрией, куда ботам просто не попасть.

Этот путь напоминает мне цифровое сопротивление, в котором боты победили и выступают этакими жандармами, а люди укрылись за подписками и закрылись от ботов в своем мире. А кто не смог попасть в эти комьюнити (или не захотел), будет вынуждены мириться с новым интернетом.

Сценарий № 2: Вечная гонка вооружений 

Антифрод-системы на основе ИИ борются с ботами на базе ИИ (звучит как сценарий какого-то фильма, но не получается вспомнить, какого именно). Мы уже сейчас видим начало этого этапа, когда технологии цифровых отпечатков и поведенческого анализа стали де-факто стандартом безопасности.

В этом сценарии интернет трансформируется в такую крепость с постоянными проверками на «человечность». Привычная нам CAPTCHA меняется — мы больше не будем искать светофоры. Системы будут невидимо анализировать микродвижения мыши, скорость набора текста и историю браузера. Появятся концепции доказательство личности (вход на сайты через криптографические токены, подтверждающие биометрию, или через привязку к цифровым паспортам). 

Для бизнеса это обернется ростом расходов на кибербезопасность, а для обычного пользователя — замедлением работы сети и концом его привычной анонимности.

Сценарий № 3: Легализация ИИ-трафика. 

Признание ботов и ИИ-агентов полноправными «гражданами» сети. Принцип «не можешь предотвратить — возглавь», показал себя неплохо во многих сферах. Только тут нужно будет сделать поправку, не просто возглавь, но и монетизируй.

В этом сценарии для ИИ-агентов создается отдельная инфраструктура. Появятся новые протоколы взаимодействия — свой robots.txt 2.0 (или ai.txt), где владельцы сайтов будут четко прописывать условия: что можно парсить, а что нет. Такие документы уже есть, многие компании внедряют на сайт специальную разметку для LLM и т. п. Но в таком сценарии требуется игра по правилам и со стороны нейросетей, а гарантировать этого нельзя.

Контент может стать платным для алгоритмов. Хочешь, чтобы твой ИИ-агент нашел дешевые билеты на моем сайте или обучил на моей статье свою языковую модель? Плати микротранзакцию за каждый API-запрос. Интернет разделится на два слоя: визуальный (красивый UI для людей) и машинный (структурированные данные для ИИ).

Но всегда были и будут люди, которые не захотят платить, ведь эра парсеров примерно так и начиналась — зачем платить за данные, если их можно забрать бесплатно.

Заключение

В прямом противостоянии между человеком и ботом победителей не будет. «Мертвый интернет» — это не апокалипсис, где машины уничтожили людей. Это среда, в которой человек перестает быть главным созидателем и потребителем трафика, уступая место алгоритмам.

И главная задача сейчас — не пытаться остановить прогресс (это невозможно), нужно учиться жить в новой реальности. 

Иначе можно превратиться в Дон Кихота, сражающегося с ветряными мельницами.