Веб-аналитика *

У маркетолога застройщика есть скучный, но регулярный вопрос атрибуции: обращений за неделю стало меньше — это рынок просел или собственные кампании сломались. Ответ во многом лежит в поисковом спросе. Если люди в городе стали реже искать квартиры, дело в рынке; если ищут столько же, а заявок меньше — причина внутри воронки. Беда в том, что Wordstat отвечает на этот вопрос медленно: нужно руками перебрать десятки фраз, сложить их по региону, вычесть аренду и переходы на классифайды — и к обеду вместо ответа получить таблицу, которую ещё надо интерпретировать.

Мы ведём контекстную рекламу для застройщиков, упирались в этот вопрос постоянно и в итоге автоматизировали сбор, а результат выложили открытой страницей без регистрации: ежедневный индекс поискового спроса на новостройки по 15 городам-миллионникам и по России, по данным Wordstat, с рядами от 2018 года. Ниже — инженерная часть, а не витрина: как устроен фиксированный набор запросов и «чистый контур», почему дельты считаются только по закрытым периодам, что делать с ретро-правками источника и выбросами, и в каких именно местах эти цифры врут, если читать их в лоб.

Товарная кампания и смарт-баннеры Яндекс Директа не дают редактировать текст объявления в интерфейсе. Заголовок Директ берёт из тега <name> товарного фида, описание — из <description>, и оба тега писал сайт: под карточку товара, а не под рекламную ленту. В галерее видно около 35 знаков заголовка, жёсткий предел — 56, дальше Директ обрезает по символам. «Печеные яблоки, фаршированные медом и грецкими орехами» в объявлении выглядят как «Печеные яблоки, фаршированные медо».

Сайт при этом трогать нельзя: та же карточка ранжируется в поиске и стоит в чеке, у неё своя работа. Ниже — как мы вклинились между сайтом и Директом одним процессом на Node без базы данных, который хирургически подменяет ровно два тега в YML, зачем над генератором заголовков стоит валидатор с правилами модерации и человек на аппруве, и что из этого вышло за первые дни на реальном проекте: пекарня с доставкой по Москве, около пятисот позиций в фиде.

Текст пригодится, если у вас уже крутятся товарная кампания или смарт-баннеры на YML-фиде и заголовки в них выглядят как строки из накладной. Если товарных форматов ещё нет — эта статья про инженерную часть, не про запуск с нуля.

Решил посчитать, сколько раз языковые модели отзываются плохо о конкретной компании. Вроде простая задача: прогнать запросы через несколько моделей, разметить тональность ответов, поделить негативные на общее число. У меня получилось три негативных ответа из 358 — 0,8%. Число выглядело спокойным, и я чуть не отправил его в отчёт как есть.

Потом я открыл сами эти три ответа, чтобы понять, из-за чего именно модель поставила минус. Одна и та же модель, один и тот же запрос, три прогона подряд. И тональность была отрицательной не про ту компанию, которую я измерял, а про однофамильца с похожим названием — совсем другой бизнес.

Это заставило меня пересчитать всё заново и обнаружить, что у доли негатива как метрики есть минимум три момента, где она молча врёт: неправильный знаменатель, отсутствие проверки, что модель вообще говорит про вашу компанию, и отказы моделей, которые не относятся ни к одной из двух категорий.

Я пишу на Хабре, в основном, про старое железо и игры, но периодически появляются статьи по моей основной специализации — интернет‑рекламе и аналитике. 

Август для меня традиционно пора проведения аудитов сайтов и кабинетов контекстной рекламы Яндекс.Директ. Поток писем и звонков с вопросами идет волнами.

Что интересно, до сих пор довольно большая часть корпоративных сайтов все еще не соответствуют требованиям Федерального закона от 27.07.2006 № 152-ФЗ «О персональных данных». А подавляющая доля тех, кто работает с контекстной рекламой, не знает о том, что Яндекс включает новые опции и инструменты автоматически, и сильно удивляются, почему проседает поток лидов.

Давайте обсудим, на что нужно обратить внимание.

Я проверил семь советов по видимости в нейросетях на 73 страницах, которые модели сами поставили в источники. Я прогнал каждый совет через две группы страниц из собственных логов и посчитал разницу точным тестом Фишера: 34 страницы против 39, различие по авторству 100% против 82%. Это лишь эксперимент на небольшой выборке, но всё же.

Сразу скажу что именно чтобы тем кому надо знать только итог не тратили свое время на чтение. Сайт лежит в виде виртуальной машине убунта без морды на арендованном довольно шустром хосте с 64 Озу 12 ядер 500 ССД и канал 1G. Хост крутит тоже убунта без морды.

Ну и для сайта выделено было пару ядер и пару гигабайт памяти.

Что делает сам сайт — он подключен ко всем буквально источникам новостей об ИИ как к лидерам рынка, так к вендорам и агрегаторам. Суммарно 100 источников. Он собирает все новости что найдет и те что не на английском переводит на английский. Затем чистит от дубликатов. То что осталось раскладывает на рубрики, переводит на 15 языков и выкладывает себе в ленту, выкладывает в Канал в телеге на русском только и все новости на всех языках пихает в ленту RSS.

Чтобы все это делать он пользуется несколькими ИИ подключаясь к ним по API. То есть сайт чисто текстовый. Никаких вычислений тяжелых нет. Нет рендеров и нет картинок даже.

И вдруг выясняется что сайт на этой машине буквально еле ползает. Сайту неделя. Я там единственный пользователь. И чтобы ему нормально было работать оказалось что надо до 6G ему добавить память и выделить еще два ядра. Провел я расследование и вот что оказалось

Я исходил из простого допущения: сначала выводим страницу в топ поиска, а цитирование нейросетями подтянется следом — модель ведь тоже читает интернет. Допущение оказалось неверным.

Взял один сайт, снял два среза данных и свёл их по URL. Ниже метод, код и результат, который меня удивил.

Внешний счётчик ставится за пять минут, и обычно этого достаточно. Но у модели «сторонний скрипт с чужого домена» есть технический потолок, и на магазине я в него упёрся: запрос к третьему домену режут блокировщики и антитрекинг браузеров, на объёме включается сэмплирование, cookie тянет за собой баннер согласия (а все, кто его отклонил, выпадают из статистики целиком), и главное — поведение ваших покупателей лежит в чужой системе, рядом с которой нет ваших заказов.

Ниже — как устроен свой cookieless‑трекинг в двух проектах на Next.js: интернет‑магазин (Next.js 15.5, TypeScript, Prisma 6, PostgreSQL) и маркетплейс услуг (тот же Next.js, но pg без ORM). Код в статье — из работающих проектов, с теми решениями, которые оказались неочевидными, и с теми, которые пришлось переделать.

Сразу оговорка: это не «Метрика — зло». Для контентного сайта внешний счётчик закрывает вопрос целиком. Разговор начинается там, где аналитика — часть продукта.

Когда вы задаёте нейросети вопрос, в поиск уходит не он. Модель сама переписывает вопрос в несколько своих формулировок и только потом идёт искать. Мы разобрали 686 454 таких подзапроса из ответов шести нейросетей: обеих Алис, ChatGPT, Gemini, Grok и DeepSeek. Оказалось, что шире всех вопрос раскладывает не ChatGPT, а Яндекс, причём он единственный показывает, в какой индекс уходит каждый подзапрос: в веб, в товары, в карты, в картинки или в видео. А ещё модели сами подставляют в свои запросы бренды конкурентов, иногда забывая упомянуть бренд самого клиента. В статье разбор того, как разные нейросети превращают один вопрос в веер запросов, с живыми примерами.

Привет, Хабр! Меня зовут Дмитрий, руковожу отделом рекламы и продвижения в Аспро. Мы запускаем интернет-магазины и развиваем систему управления бизнесом Аспро.Cloud.

4 июня 2026 года генеральный директор Cloudflare Мэтью Принс сообщил цифру, после которой стоит остановиться: бот- и агентный ИИ-трафик впервые превысил человеческий — 57,5% против 42,5% всех HTTP-запросов в интернете, по данным Cloudflare Radar. Половину запросов к вашему сайту делает не человек.

Для владельца сайта в этой новости — два разных сюжета. Первый: сервер, который не проектировали под такую нагрузку, может начать падать от легального трафика, а не от атаки. Второй: та же самая толпа ботов — это краулеры, от которых зависит, процитирует ли нейросеть ваш сайт в ответе и приведет ли оттуда новых посетителей. В статье разберем обе стороны: что делать с инфраструктурой и как использовать этот трафик, а не просто выдерживать его.

Я измеряю, как нейросети отвечают на вопросы о компаниях: беру набор одинаковых вопросов, прогоняю их через разные ИИ-модели по несколько раз и сохраняю не только текст ответа, но и список источников под ним. За несколько месяцев накопилось 455 ответов Алисы AI и 2976 ссылок в них. Распределение по числу источников оказалось не размазанным, а с двумя острыми пиками: пять и десять.

Мы полгода собираем ответы нейросетей в базу и однажды заметили: два ответа ChatGPT на один и тот же вопрос, снятые в один день разными способами, ссылались на совершенно разные сайты. Полез разбираться в сыром потоке, который ChatGPT отдаёт браузеру, и нашёл там служебные карточки источников с пометкой о происхождении. Разобрал почти 1,9 миллиона таких карточек: у ChatGPT есть собственный поисковый робот, который даёт 97% всех источников, и про каждую страницу он хранит один замороженный кусок текста длиной 200 символов. В статье: как устроен этот робот, чем он отличается от покупной поисковой выдачи, что именно он вырезает с сайтов (спойлер: часто это код фильтра или текст рекламного блока), и что с этим делать владельцу сайта.

Я измеряю видимость компаний в поиске и в ответах нейросетей. Свой сайт проверил последним: клиентские проекты всегда впереди своих. Результат отрезвляющий — все страниц есть в поиске, проблем с индексацией нет, а в вопросах про услугу без упоминания названия ноль появлений из тридцати двух возможных.

Внутри: как собрать промпт-карту и почему её нельзя писать до замера спроса, чем российский стек отличается от западного, отдельная директива в robots.txt, о которой мало кто знает, и во что обошёлся весь замер — 102 рубля.

Привет, Хабр! Меня зовут Дмитрий, руковожу отделом рекламы и продвижения в Аспро. Мы запускаем сайты, интернет-магазины и развиваем систему управления бизнесом Аспро.Cloud.

Частый вопрос от клиентов, которые заказывают у нас аудит: он же вроде нормально работает, зачем еще платить за технический аудит? Отвечаю: сайт сейчас одновременно общается с четырьмя разными читателями — человеком, поисковым роботом, алгоритмом ранжирования и, с 2024 года все активнее, краулером нейросети, который решает, упомянуть ли вас в ответе. 

Все четверо считывают одни и те же технические сигналы: скорость загрузки, структуру разметки, доступность контента. Разберем, что именно они смотрят и как проверить это самостоятельно.

Всем привет! На базе наших аналитических исследований вышла новость про 5G устройства в России. Решили поделиться с читателями Хабра подробностями, которые не попали в публикацию.

Это взгляд на запуск сети пятого поколения не из пресс-релизов операторов, а на базе миллионов мобильных устройств, работающих в России.

Внутри:

- Как избавиться от тех, кто ПОСТОЯННО кликает по вашей рекламе.
- Защищаем сайт БЕЗ КАПЧИ: рисуем кнопку, которая будет невидима для бота.
- Как вычесть мусорные визиты из Яндекс.Директа.
- Как кормить Директ конверсиями, чтобы он НЕ учился на МУСОРЕ.

И ТОПовый лайвхак! Ловушка для ботов, которую может повторить каждый.

Покажу простой эксперимент, с помощью которого можно своими глазами увидеть и доказать, что по вашей рекламе кликает именно бот.

У сайта рос органический трафик, позиции были в порядке, а заявок всё равно не хватало. Клиент задал простой вопрос: «Если людей стало больше, где заявки?»

Я полез не только в Метрику, но и в access.log — и там уже начался отдельный зоопарк: Googlebot, YandexBot, GPTBot, Ahrefs, Semrush, MJ12bot, DataForSEO и Chrome, который вёл себя совсем не как человек.

В статье покажу, как отличать визиты от серверных запросов, проверять настоящего Googlebot, разбирать crawler'ов и решать, кого вообще стоит пускать на коммерческий сайт через robots.txt.

Я утверждаю, что классическому SEO приходит конец, и большинство сеошников в их сегодняшнем виде довольно скоро останутся без работы — просто потому, что потребитель за последние пару лет сильно поумнел.

Двадцать лет можно было расти на манипуляциях — накрутка поведенческих, накрутка ссылочного, накрутка ключей, накрутка чёрта лысого… Эта эпоха «накруток» заканчивается прямо на наших глазах. Дальше (да и сейчас) в выдаче выигрывает не тот, кто обманул алгоритм, а тот, кто создал ценность для живого человека.

Если вы хотите украсть мои данные, то начните с этой статьи! В ней подробно рассказывается, какие правила файрволла я использую, чтобы упростить вам их обход.

Конечно, я шучу. Мне даже неизвестно, читают ли веб‑краулеры посты, чтобы узнавать такую информацию.

Но я целый год занимался борьбой с ботами в своей базе данных филантропов PatronView. Когда пишешь код при помощи ИИ‑агентов, такому никто не научит, поэтому я решил поделиться полученными знаниями.

Вот некоторые факты, о которых ниже будет рассказано подробнее:

 ● Всего за один день к моему сайту обратились 3,6 миллиона запросов китайских ботов.

 ● Cloudflare сообщает, что краулеры Anthropic выполняют примерно три тысячи операций краулинга на однго приведённого посетителя. У меня этот показатель составил 35 тысяч:1.

 ● Два дня назад я заблокировал поисковый ИИ‑краулер Amazon. Он считывал по 117 тысяч страниц в день, но не направил мне ни одного посетителя.

 ● Показатель решения моей CAPTCHA равен 0,24%. Боты даже не пытаются её решать.

 ● В конце перечислены все используемые мной правила файрволла.

Метрика пошла вверх — и хочется сразу закрепить гипотезу и докинуть ресурсов. Но та же цифра нередко оказывается арифметически верной и при этом лживой: данные собрали, отфильтровали или свернули так, что честный показатель ведёт к неверному решению.

Retention растёт? Возможно, вы просто не видите тех, кто ушёл после первого захода. Конверсия упала в целом, но выросла в каждом сегменте? Это не ошибка в расчётах. A/B-тест «дал значимость» на третий день? Скорее всего, вы сами себя обманули.

Разбираем ошибку выжившего, парадокс Симпсона, p-hacking, подмену среднего, регрессию к среднему и визуальные искажения — на продуктовых примерах, и собираем чек-лист вопросов к любой метрике перед решением.