Статистика в IT

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри.

Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее!

A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных.

В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

CUPED часто рекомендуют как простой способ сделать A‑B тесты чувствительнее, но в реальных экспериментах он может как помочь, так и навредить. Причины почти всегда практические: историческая ковариата пересекается по времени с экспериментом, отличается единица анализа, есть пропуски или выбросы настолько велики и значительны, что оценка коэффициента становится неустойчивой.

В этом разборе я покажу CUPED на примерах, близких к продовым метрикам вроде выручки на пользователя. Мы посмотрим, почему стандартный анализ плохо работает при выбросах, как меняется ширина доверительных интервалов при добавлении CUPED, и что происходит с мощностью и ошибкой первого рода. Отдельный акцент — как выбирать исторические данные для ковариаты и как не поймать утечку воздействия в предэкспериментальный период. В конце практический набор проверок, чтобы CUPED был полезным инструментом, но не источником искаженных выводов.

В декабре 2025 года информационная служба Хабра выпустила 905 публикаций (854 новости и поста, 11 лонгридов и 40 переводов). В текущем дайджесте представлены лучшие технические новости, переводы и лонгриды (отдельные большие публикации) инфослужбы Хабра, согласно оценкам пользователей.

За этот год в мире технологий произошло много событий: доминирование ИИ, битвы за кибербезопасность и стратегические приобретения переопределили технологический ландшафт. Но некоторые крупные продукты и услуги не пережили и середины года. Одни из них прожили долгую плодотворную жизнь и оставили неизгладимый след в истории. Другие оказались мимолетными проектами или полными провалами, которым было суждено встретить свою неизбежную кончину. Тем не менее, все они достойны того, чтобы их помнили за то, как они повлияли на нашу жизнь — даже если это влияние было лишь в ленте новостей.

Пришло время еще раз оглянуться назад и вспомнить технологии, которые ушли в 2025 году. От таких столпов, как Skype, до устройств с ИИ, у которых не было ни единого шанса, все из этого списка отправилось на технологическую свалку за последние 12 месяцев.

Всем привет! На днях в космос успешно улетел наш второй спутник, поэтому 2026 обещает начаться с космических высот. Но помимо запуска спутника у нас было ещё много чего интересного — мы традиционно подводим итоги.

Статья будет полезна админам других блогов (для сравнения метрик) и для непостоянных читателей нашего блога (внутри — топы самых-самых публикаций). 

Привет, Хабр!

Меня зовут Евгений Пантелеев. Я занимаюсь аналитикой в Авито Авто в сегменте Resellers.

В этой статье я расскажу о том, как мне удалось усилить CUPED довольно простой механикой и довести результат до статзначимости с помощью пост-стратификации в продолжительном эксперименте.

Также попробуем разобраться почему многие аналитики на практике пренебрегают пост-стратификацией, считая, что мощный CUPED дает повышение чувствительности эксперимента близкое к максимальному.

Салют, Хабр!

Вчера Алексей @Boomburum традиционно подвел итоги уходящего 2025 года на Хабре. Отчёт, как всегда, исчерпывающий и интересный (за что ему отдельный респект!), но лично мне, как человеку-визуалу не хватило наглядности - что называется "многа букав и цифирь". И мне захотелось представить все эти таблички и циферки в наглядной графике. Хоть я и не профи в этом деле, но кое-что у меня получилось, чем и спешу с вами поделиться!

Добрый тёплый вечер, Хабр! Как быстро летит время. На календаре уже двадцатые числа декабря 2025 года, и совсем скоро Новый год. За последние 12 месяцев в мире нашлось большое количество технических инфоповодов и IT-событий, обновлений ПО, случалось появление новых технологий, произошло развитие электроники и масштабный приход ИИ-сервисов в нашу жизнь, включая различные вариации чат-ботов, бум нейросетей и ИИ-агентов. Большую часть этих событий постаралась запечатлеть команда информационной службы Хабра. А вы, как пользователи этого технического ресурса, оценивали и комментировали новости, переводы и лонгриды, а также помогали нам развиваться в этом году, комментируя, критикуя, оценивая публикации и присылая в ЛС сообщения об ошибках или неточностях в материале.

Привет, Хабр!

На связи Денис Сумелев, основатель компании INTEKEY.

Год подходит к концу, и это как раз тот момент, когда полезно остановиться и трезво посмотреть: что на самом деле произошло на рынке систем управления складом (WMS) и автоматизации складской логистики в 2025‑м — и чего ждать в 2026‑м.

В этой статье я хочу:

Недавно пришлось вспоминать, как считать необходимый размер ЗИП-склада. Казалось бы – чего там считать? А результат оказался не совсем интуитивным.

Привет, Хабр! Ну, как настроение? Кажется, что мир начинает вращаться с какой‑то практически неуловимой для человеческого внимания скоростью: ИИ, нейрослоп, мошенники, зоопарк хакеров найма, утечки, блокировки, сокращения, опровержения — и это только один год. Иногда хочется купить дом, вскопать грядки, развести сад и зимой смотреть в окно на крупные снежинки, оседающие… Но стоп — ещё не все дела сделаны в этом году. Самое время традиционно подвести итоги уходящего года и сравнить их с итогами прошлого и даже позапрошлого. Если коротко: Хабр меняется вместе с временами, с трендами, с нами, но пока ещё остаётся творческим, авторским, интеллектуальным и ламповым.

Big Data, Python, Data Analysis

.В данной работе представлены методы и результаты комплексного анализа вакансий в промышленной отрасли России, собранных с платформы HeadHunter (hh.ru). Для сбора данных разработан высокопроизводительный асинхронный клиент, собравший более 200,000 промышленных вакансий из 36 российских регионов. Обработка и классификация данных реализованы в модуле IndustrialDatabaseManager, который автоматически классифицирует вакансии по отраслевым сегментам (машиностроение, металлургия, химическая промышленность, энергетика и др.) и уровням позиций (рабочий, специалист, инженер, руководитель). Аналитический модуль ComprehensiveIndustrialAnalyzer выполняет статистический анализ, сравнивает зарплаты различных категорий специалистов, выявляет динамику спроса и строит прогноз на ближайшие месяцы. Визуализация результатов включает 6 тематических графиков. Результаты показывают, что ядро спроса формируют машиностроение и энергетика (42% вакансий), наиболее востребованы рабочие специальности, средняя зарплата инженеров на 3% превышает зарплату рабочих, а прогнозируемый спрос демонстрирует вариативность в зависимости от периода.

Искусственный интеллект находит все более широкое применения для автоматизации и оптимизации кибератак. Средства ИИ позволяют злоумышленникам генерировать вредоносный код, анализировать системы и обходить системы защиты, по минимуму привлекая ручной труд. Большие языковые модели (large language models, LLM) позволили значительно ускорить кибератаки и намного удешевили их. Кроме того, такие модели сделали разработку механизмов атак более доступной для киберпреступников с небольшим опытом. В результате использование ИИ приносит массу новых наборов для атак, которые реализуются быстрее и обладают отличной масштабируемостью. И такие атаки уже практически невозможно остановить, имея лишь традиционные средства информационной безопасности.

Как ИИ используется киберпреступностью

Искусственный интеллект охотно используется различными хакерскими группировками. Средства ИИ помогают ускорять кибератаки, делают их более адаптивными к ландшафту средств защиты, а значит, более сложными для отражения. Вредоносные кампании благодаря ИИ становятся легко управляемыми и масштабируемыми — от создания вирусов до написания скриптов для фишинговых атак. Перечислим основные области использования ИИ хакерами.

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные.

В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU.

Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

Привет, Хабр! Меня зовут Ринат Валеев, я старший аналитик в R&D-команде VK Видео.

Команде любого видеосервиса важно оценивать, какой эффект видеоконтент оказывает на аудиторию. Это нужно, чтобы оптимизировать продукты, повышать вовлечённость пользователей, увеличивать конверсию и экономить ресурсы на производстве материалов. В рамках стратегии непрерывного развития сервиса такие задачи решаем и мы в VK Видео.

В этой статье покажу, как мы адаптировали метод propensity score под задачи видеосервиса, автоматизировали расчёты и собрали на их основе удобный self-service инструмент.

Привет, Хабр! Меня зовут Игорь Пантелеев, я Applied Data Scientist в компании Garage Eight. Сейчас моя команда занимается развитием одного из разделов сайта разрабатываемого нами продукта. 

В прошлом квартале мы задались вопросом: как оценить эффект от времени, которое пользователь проводит в нашем разделе, на Retention Rate (RR)? Казалось бы, решение очевидное: провести A/B-тест, но на поверку всё оказалось не так просто. В статье разберем, как у нас получилось определить эффект, с какими сложностями столкнулись в процессе и как нам помог метод Generalized Propensity Score.

Что, если я скажу тебе, что у параметра нет вероятности?

Это самая распространенная и устойчивая когнитивная ошибка в Data Science. Она встречается в курсовых, в учебниках и даже в документациях библиотек.

Здесь мы напишем симуляцию на Python, увидим, как «прыгают» интервалы, поймем, как тут могут помочь пластмассовые игрушки советских детей, и узнаем, как же тогда математически точно отвечать менеджерам на их вопросы, чтобы они навсегда перестали с вами разговаривать.

Добро пожаловать в кроличью нору частотной статистики.

В книге Алестаэра Нэрна Engines that Move Markets — Technology Investing from Railroads to Internet and Beyond исследуется как важнейшие технологические изобретения последних 200 лет — от железных дорог до интернета — влияли на финансовые рынки и состояние инвесторов. Предисловие к книге написал сэр Джон Темплтон в 2000 году, на пике дотком-мании:

«Никогда ещё не было лучшего времени для жизни, и мы должны ценить это. Я остаюсь оптимистом относительно будущего — но это не означает, что при инвестировании не следует быть осторожными. Река удачи может течь в нашу сторону, но важно прокладывать осторожный путь среди порогов, способных опрокинуть лодку. Следует сохранять терпение, гибкость и помнить, что все активы в конце концов будут оценены по своим будущим доходам».

«Воздействие ожиданий, подкреплённых эмоциями, формирует тенденции на рынках. Те, кто утверждает, что текущий бычий рынок уникален — как и любой другой — должны знать лучше. Уроки истории однозначны: любой бычий рынок заканчивается в момент наивысшего оптимизма, а за ним следует медвежий рынок, завершающийся в момент наибольшего пессимизма».

«Несмотря на различия между эпохами, структура повторяется удивительно точно. Сначала новое изобретение встречается скепсисом. Затем скепсис сменяется энтузиазмом, когда бизнес начинает осознавать потенциал. В отрасль устремляются новые компании, появляется венчурный капитал, акции почти всех быстро растут на волне восторга. Потом наступает фаза зрелости: деньги заканчиваются, слабые фирмы исчезают, а наивные инвесторы теряют средства. Наступает пессимизм, цены падают, рынок стабилизируется».

Как с помощью математической статистики мы ищем тренды в промышленных данных, предотвращая инциденты и аварии.

Привет, Хабр! Меня зовут Алексей, я занимаюсь беспроводными технологиями и сегодня хочу рассказать об опыте проведения большого исследования - опроса абонентов провайдеров, который охватил почти сто тысяч абонентов и длился больше трёх лет. История, которая началась как товарищеский спор, но которая быстро смогла нас всех увлечь и поразить полученными результатами. Это был действительно увлекательный опыт. Первые опросы мы проводили в домовых чатах, до которых могли достучаться, и нужно сказать, что это, наверное, самый действенный механизм взаимодействия с целевой аудиторией. Затем мы создавали опросы в Google и Яндекс.Формах, пробовали даже поднять свою опросную платформу на базе Limesurvey, привлекали в качестве помощников в опросе студентов (спасибо коллегам из вузов и студенческих профсоюзов). Некоторые ответы ставили нас в тупик, а некоторые порождали ещё больше вопросов. Тогда мы отступали на шаг, проводили проблемные интервью с некоторыми из опрашиваемых и вновь повторяли опросы.