Статистика в IT

После релиза метрика почти всегда меняется. Иногда это реальный эффект изменения, иногда - сезонность, маркетинг, внешний фон или просто шум. Если AB теста не было, а решение все равно нужно принимать, остается вопрос: как аккуратно оценить влияние релиза по истории метрики и не обмануться простым сравнением до и после.

В статье разбираю практический подход causal impact для случая, когда у нас есть одна метрика во времени и понятная дата изменения. Строим контрфакт (counterfactual) - прогноз того, какой была бы метрика без релиза - и сравниваем его с фактом. На этой основе считаем эффект в абсолютных значениях, накопленный эффект и относительный вклад в процентах.

Отдельное внимание уделяю проверкам, без которых такой анализ может превратиться в тыкву: качество прогноза на периоде до изменения, учет зависимости по времени через block bootstrap, устойчивость к выбору окна и плацебо даты, которые помогают понять, выделяется ли реальный эффект на фоне ложных интервенций.

Материал ориентирован на продуктовые задачи: когда релиз уже сделан, данные есть, а надежной оценки эффекта нет. В следующей части перейдем к более частому сценарию, когда изменение затронуло не всех, и вместо одной линии метрики у нас появляется набор линий по группам (географии, сегменты, кластеры). Там разберем синтетический контроль и diff-in-diff и частые ошибки, которые встречаются в таких данных.

Я работаю продуктовым аналитиком уже много лет и за это время видел, как рынок несколько раз менял ориентиры. Профессии становились «самыми востребованными», потом перегревались и теряли привлекательность. Если смотреть на происходящее без эмоций и громких обещаний, аналитика остаётся редким примером направления, где вход в профессию остаётся относительно доступным, а ценность специалиста для бизнеса ощущается довольно быстро.

Аналитика не выглядит эффектно со стороны. В ней нет визуального результата, как в дизайне, и нет ощущения инженерной сложности, как в разработке. Зато есть постоянная работа с реальностью продукта: с тем, что происходит с пользователями, деньгами и решениями. Пока компании принимают решения на основе данных, аналитики будут частью этого процесса.

2025-й год по ощущениям напоминает собеседование, где вас просят продать ручку, но протягивают ветку. Вроде все работают, что-то происходит, но напряжение висит в воздухе такое, что его можно резать ножом.

Мы в LifeCareerBalance гадать на кофейной гуще не умеем, поэтому, чтобы сдуть пыль с международной статистики и собрать для вас самую честную выжимку нам пришлось перелопатить тонны отчетов от топовых консалтеров и рекрутинговых агентств (HeadHunter, Antal, GetExperts, NewHR и др.)

Только хардкорные цифры, тренды и ответ на вопрос: «Почему меня не берут, я же классный?!».

Листовки, визитки, баннеры, выставочные стенды — стандартные инструменты для привлечения клиентов. Их используют, потому что они работают. Но вопрос, насколько хорошо они работают, часто остается без точного ответа. Маркетолог видит затраты на печать, размещение, участие в выставке. Обратную связь он получает в лучшем случае в виде обрывочных комментариев от продавцов или роста звонков на общий номер в период кампании. Связать конкретную продажу или заявку с конкретной листовкой или баннером почти невозможно.

Попытка добавить в материалы QR-код — логичный шаг к цифровизации. Но обычный, статический QR-код, не дает информации о количестве сканирований, только если он не ведет на сайт на котором стоит аналитика. В этом случае вы можете отслеживать при помощи UTM меток, но любые другие виды QR кодов не отслеживаемые. Какая из двух листовок с разным дизайном сработала лучше? Баннер на одной улице привлек больше внимания, чем на другой? Сотрудник, раздавший сотню визиток на выставке, установил реальные контакты или просто избавился от пачки бумаги?

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри.

Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее!

A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных.

В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

CUPED часто рекомендуют как простой способ сделать A‑B тесты чувствительнее, но в реальных экспериментах он может как помочь, так и навредить. Причины почти всегда практические: историческая ковариата пересекается по времени с экспериментом, отличается единица анализа, есть пропуски или выбросы настолько велики и значительны, что оценка коэффициента становится неустойчивой.

В этом разборе я покажу CUPED на примерах, близких к продовым метрикам вроде выручки на пользователя. Мы посмотрим, почему стандартный анализ плохо работает при выбросах, как меняется ширина доверительных интервалов при добавлении CUPED, и что происходит с мощностью и ошибкой первого рода. Отдельный акцент — как выбирать исторические данные для ковариаты и как не поймать утечку воздействия в предэкспериментальный период. В конце практический набор проверок, чтобы CUPED был полезным инструментом, но не источником искаженных выводов.

В декабре 2025 года информационная служба Хабра выпустила 905 публикаций (854 новости и поста, 11 лонгридов и 40 переводов). В текущем дайджесте представлены лучшие технические новости, переводы и лонгриды (отдельные большие публикации) инфослужбы Хабра, согласно оценкам пользователей.

За этот год в мире технологий произошло много событий: доминирование ИИ, битвы за кибербезопасность и стратегические приобретения переопределили технологический ландшафт. Но некоторые крупные продукты и услуги не пережили и середины года. Одни из них прожили долгую плодотворную жизнь и оставили неизгладимый след в истории. Другие оказались мимолетными проектами или полными провалами, которым было суждено встретить свою неизбежную кончину. Тем не менее, все они достойны того, чтобы их помнили за то, как они повлияли на нашу жизнь — даже если это влияние было лишь в ленте новостей.

Пришло время еще раз оглянуться назад и вспомнить технологии, которые ушли в 2025 году. От таких столпов, как Skype, до устройств с ИИ, у которых не было ни единого шанса, все из этого списка отправилось на технологическую свалку за последние 12 месяцев.

Всем привет! На днях в космос успешно улетел наш второй спутник, поэтому 2026 обещает начаться с космических высот. Но помимо запуска спутника у нас было ещё много чего интересного — мы традиционно подводим итоги.

Статья будет полезна админам других блогов (для сравнения метрик) и для непостоянных читателей нашего блога (внутри — топы самых-самых публикаций). 

Привет, Хабр!

Меня зовут Евгений Пантелеев. Я занимаюсь аналитикой в Авито Авто в сегменте Resellers.

Каждый день мы с командой сталкиваемся с необходимостью измерения небольшого инкремента (в районе 1%) от CRM-коммуникаций на изменчивой выборке пользователей в условиях долгосрочного эксперимента (до 6 месяцев). При этом нам важно минимизировать размер контрольной группы, не жертвуя статистической значимостью результата.

В этой статье я покажу, как нам удалось усилить классический метод CUPED за счет эмпирического подбора оптимального предпериода и применить пост-стратификацию на основе бизнес-логики. Этот подход позволил нам получить статистически значимый результат и запланировать дальнейшее сокращение контрольной группы.

Салют, Хабр!

Вчера Алексей @Boomburum традиционно подвел итоги уходящего 2025 года на Хабре. Отчёт, как всегда, исчерпывающий и интересный (за что ему отдельный респект!), но лично мне, как человеку-визуалу не хватило наглядности - что называется "многа букав и цифирь". И мне захотелось представить все эти таблички и циферки в наглядной графике. Хоть я и не профи в этом деле, но кое-что у меня получилось, чем и спешу с вами поделиться!

Добрый тёплый вечер, Хабр! Как быстро летит время. На календаре уже двадцатые числа декабря 2025 года, и совсем скоро Новый год. За последние 12 месяцев в мире нашлось большое количество технических инфоповодов и IT-событий, обновлений ПО, случалось появление новых технологий, произошло развитие электроники и масштабный приход ИИ-сервисов в нашу жизнь, включая различные вариации чат-ботов, бум нейросетей и ИИ-агентов. Большую часть этих событий постаралась запечатлеть команда информационной службы Хабра. А вы, как пользователи этого технического ресурса, оценивали и комментировали новости, переводы и лонгриды, а также помогали нам развиваться в этом году, комментируя, критикуя, оценивая публикации и присылая в ЛС сообщения об ошибках или неточностях в материале.

Привет, Хабр!

На связи Денис Сумелев, основатель компании INTEKEY.

Год подходит к концу, и это как раз тот момент, когда полезно остановиться и трезво посмотреть: что на самом деле произошло на рынке систем управления складом (WMS) и автоматизации складской логистики в 2025‑м — и чего ждать в 2026‑м.

В этой статье я хочу:

Недавно пришлось вспоминать, как считать необходимый размер ЗИП-склада. Казалось бы – чего там считать? А результат оказался не совсем интуитивным.

Привет, Хабр! Ну, как настроение? Кажется, что мир начинает вращаться с какой‑то практически неуловимой для человеческого внимания скоростью: ИИ, нейрослоп, мошенники, зоопарк хакеров найма, утечки, блокировки, сокращения, опровержения — и это только один год. Иногда хочется купить дом, вскопать грядки, развести сад и зимой смотреть в окно на крупные снежинки, оседающие… Но стоп — ещё не все дела сделаны в этом году. Самое время традиционно подвести итоги уходящего года и сравнить их с итогами прошлого и даже позапрошлого. Если коротко: Хабр меняется вместе с временами, с трендами, с нами, но пока ещё остаётся творческим, авторским, интеллектуальным и ламповым.

Big Data, Python, Data Analysis

.В данной работе представлены методы и результаты комплексного анализа вакансий в промышленной отрасли России, собранных с платформы HeadHunter (hh.ru). Для сбора данных разработан высокопроизводительный асинхронный клиент, собравший более 200,000 промышленных вакансий из 36 российских регионов. Обработка и классификация данных реализованы в модуле IndustrialDatabaseManager, который автоматически классифицирует вакансии по отраслевым сегментам (машиностроение, металлургия, химическая промышленность, энергетика и др.) и уровням позиций (рабочий, специалист, инженер, руководитель). Аналитический модуль ComprehensiveIndustrialAnalyzer выполняет статистический анализ, сравнивает зарплаты различных категорий специалистов, выявляет динамику спроса и строит прогноз на ближайшие месяцы. Визуализация результатов включает 6 тематических графиков. Результаты показывают, что ядро спроса формируют машиностроение и энергетика (42% вакансий), наиболее востребованы рабочие специальности, средняя зарплата инженеров на 3% превышает зарплату рабочих, а прогнозируемый спрос демонстрирует вариативность в зависимости от периода.

Искусственный интеллект находит все более широкое применения для автоматизации и оптимизации кибератак. Средства ИИ позволяют злоумышленникам генерировать вредоносный код, анализировать системы и обходить системы защиты, по минимуму привлекая ручной труд. Большие языковые модели (large language models, LLM) позволили значительно ускорить кибератаки и намного удешевили их. Кроме того, такие модели сделали разработку механизмов атак более доступной для киберпреступников с небольшим опытом. В результате использование ИИ приносит массу новых наборов для атак, которые реализуются быстрее и обладают отличной масштабируемостью. И такие атаки уже практически невозможно остановить, имея лишь традиционные средства информационной безопасности.

Как ИИ используется киберпреступностью

Искусственный интеллект охотно используется различными хакерскими группировками. Средства ИИ помогают ускорять кибератаки, делают их более адаптивными к ландшафту средств защиты, а значит, более сложными для отражения. Вредоносные кампании благодаря ИИ становятся легко управляемыми и масштабируемыми — от создания вирусов до написания скриптов для фишинговых атак. Перечислим основные области использования ИИ хакерами.

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные.

В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU.

Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

Привет, Хабр! Меня зовут Ринат Валеев, я старший аналитик в R&D-команде VK Видео.

Команде любого видеосервиса важно оценивать, какой эффект видеоконтент оказывает на аудиторию. Это нужно, чтобы оптимизировать продукты, повышать вовлечённость пользователей, увеличивать конверсию и экономить ресурсы на производстве материалов. В рамках стратегии непрерывного развития сервиса такие задачи решаем и мы в VK Видео.

В этой статье покажу, как мы адаптировали метод propensity score под задачи видеосервиса, автоматизировали расчёты и собрали на их основе удобный self-service инструмент.

Привет, Хабр! Меня зовут Игорь Пантелеев, я Applied Data Scientist в компании Garage Eight. Сейчас моя команда занимается развитием одного из разделов сайта разрабатываемого нами продукта. 

В прошлом квартале мы задались вопросом: как оценить эффект от времени, которое пользователь проводит в нашем разделе, на Retention Rate (RR)? Казалось бы, решение очевидное: провести A/B-тест, но на поверку всё оказалось не так просто. В статье разберем, как у нас получилось определить эффект, с какими сложностями столкнулись в процессе и как нам помог метод Generalized Propensity Score.