Ежедневный индекс спроса на новостройки из Wordstat: как устроен сбор и где цифры нельзя читать в лоб

[Hunt3rSmile]

Наконец-то кто-то открыто признал: половина паники в отчетах контекстной рекламы рождается просто из-за того, что Wordstat еще не успел обновиться за вчерашний день. Отличный дашборд!

[Valery247500]

Про фиксированный набор фраз — подпишусь кровью. У меня справочник пищевых добавок, 243 страницы, и я честно месяц радовался растущему спросу, пока не дошло, что список отслеживаемых запросов я расширял ровно с той же скоростью. Спрос стоял. Рос энтузиазм.

Закрытые периоды — та же боль, только у меня она не по понедельникам, а каждый раз, когда открываю Вебмастер. Хвост ряда там дописывается задним числом ещё пару суток, и свежие три дня всегда выглядят как обвал. Лечится примерно как похмелье: не смотреть.

А вот маркер вместо правки выброса утащу к себе. У меня было наоборот: подчистил один дефектный день, а через месяц сидел и вспоминал, что там вообще было и почему я решил, что оно дефектное. История, которую поправили молча, потом молча же и врёт.

Вопрос в тему, раз спрашиваете. Как вы отличаете ретро-правку источника от собственной поломки сбора? Цифра за позавчера изменилась — это Wordstat уточнил или ночью парсер недособрал половину городов и тихо записал это как «спрос упал»? Снаружи оба случая выглядят одинаково, а разговор с подрядчиком после них получается очень разный.

[aptern]

Да, про это думали — одна из заморочек всего сбора. Развели две вещи: полноту и само значение.

Полнота считается отдельно. День закрывается, только когда собраны все пары «базовая фраза × город» — и по сырому контуру, и по чистому. Пока собрано не всё, день не попадает в ряд, суммы по группам берутся только с полных дат. Отвалилась ночью половина городов — день просто остаётся незакрытым: висит в хвосте с пометкой, сколько пар из нужных набралось, и вниз не тянется. В журнале сбора при этом видно, какие пары не дотянули.

Ретро-правку Wordstat от своей поломки отличаем по ней же. Сбор идемпотентный, пересобрать окно — обычное дело. Было собрано всё, а на пересборе цифра сдвинулась — уточнил источник. Полнота в тот день проседала — значит наш сбор недоработал.

Одну дыру так не поймать: если API отдаст по всем парам непустой, но заниженный ответ, день будет полным и уедет вниз тихо. Кворум тут не спасает, маркер выбросов тоже — он на всплески вверх, не на провалы. Такое ловим только пересбором и руками. Пока не встречали, но зарекаться не стал бы.

Про закрытые периоды в Вебмастере — знакомо до боли. Хвост, что дописывается пару суток, держим отдельно и в дельты не пускаем: только завершённые окна.