Статистика в IT

Просто стало интересно - что такое описательный анализ. Математический анализ, функциональный анализ знаю. А описательный?

Наверно такое определение подойдет: Описательный анализ - это последовательность шагов, которая превращает сырые данные в понимание процесса. Маркетологи наверно будут говорить, что это не анализ, а аналитика, ну это их проблемы.

Как теоретическую основу я использовал идеи из следующих источников:

Process Mining - Ван дер Аалст, «Process Mining: Data Science in Action (2016). Методология извлечения знаний о процессе из логов событий.

EDA (Exploratory Data Analysis) - Тьюки, 1977. Принцип: сначала смотреть на данные, потом строить модели.

Lean Six Sigma - DMAIC (Define, Measure, Analyze, Improve, Control). Стандартная методология улучшения процессов.

Я не применяю всех методов, описываемых в Process Mining: Data Science in Action. Для данного анализа достаточно понимать, что наука о данных - это, в частности,  превращение данных в реальную ценность.

В этой статье ценность - понимание процесса. Мы не строим прогнозы, не используем машинное обучение. Мы делаем описательный анализ: превращаем сырые логи в картину того, как процесс работает на самом деле.

В статье неявно используется дискретная математика, теория графов, а математическая статистика не потребовалась. Еще: для меня реальные значения более информативны, чем картинки, но для любителей несколько диаграмм я все ж добавил. В тексте много цифр, я старался показать весь процесс, но для понимания результатов можно смотреть только выводы в конце каждого шага

Разбор того, как построить систему оценки эффективности, которая контролирует себя сама, и почему заимствованную теорию необходимо переосмыслять относительно обстоятельств своего бизнеса, рынка и культуры.

Российские компании охотно берут готовые управленческие методологии, будь то KPI, OKR, ЦКП и статистики, Lean или Agile. Чаще всего их внедряют как свод правил, который достаточно аккуратно повторить, и гораздо реже как теорию, которую сначала нужно понять, проверить на своих условиях и доработать. Разница между этими подходами решает, получит ли компания работающий инструмент или дорогую имитацию.

В статье я разбираю обезличенный случай внедрения системы «ценного конечного продукта и статистик» в крупной организации. На нём хорошо видно, как методика, перенесённая без адаптации, превращает систему, которая должна была дать прозрачность, в ещё один источник цифр, которым никто не верит. Я рассказываю, как было устроено исследование, какой замкнутый круг порчи данных оно обнаружило и какую модель системы я предложил в ответ. Модель состоит из основы и шести уровней контроля, а кроме неё в статье есть принципы защиты от подгонки показателей под премию, порядок внедрения и пошаговый способ адаптировать любую методологию под свою компанию.

Конечно же, не забыл сопровождать текст вставками цитат разных авторитетных (возможно, для кого-то) западных специалистов, на случай, если моих доводов будет недостаточно.

Привет, Хабр! 29 сентября в Москве прошла 19-я ежегодная ИБ-конференция BIS Summit 2026. Организатором выступила Ассоциация по защите деловой информации (BISA) при поддержке ГК InfoWatch.

Раз в год в рамках BIS Summit мы собираем большие открытые дискуссии: на одной площадке вопросы, связанные с ИБ (а в этом году и с ИИ), обсуждают представители крупных компаний и предприятий, министерств и регуляторов, а также независимые эксперты.

Главная тема этого года — «Искусственный интеллект: где граница между прогрессом и угрозой». Обсуждали, как вы поняли из названия, различные аспекты обеспечения безопасности применения ИИ и вопросы его регулирования, риски от внедрения и ответственность за последствия, которые возникают в связи с этим внедрением.

В этом году традиционно были две большие пленарные сессии и восемь тематических секций:

1. «Собственный искусственный интеллект: что, если не успеем. Риски безопасности»
2. «Построение защищённой цифровой платформы бизнеса в условиях актуальных угроз»
3. «Киберинциденты в практике судов»
4. «Практическая секция по защите от утечек с использованием ИИ»
5. «Битва трендов ИБ для бизнеса»
6. «Использование ИИ для сетевой защиты»
7. «Образование будущего: от учебников к промптам»
8. «Внедрение технологий искусственного интеллекта в России: вызовы и решения»

Мы собрали 1000 участников офлайн и 2000 онлайн. 

Под катом — много фоток, подробности про каждую пленарку, а также набор общих выводов, для понимания того, как сейчас на высшем уровне относятся к ИИ, что собираются с этим делать и как всё это влияет на бизнес.

Недавно Виктор Хагани - экс-сооснователь известнейшего LTCM и автор книги «Пропавшие миллиардеры», где он исследует эргодическую экономику, написал пост "Вы действительно хотите стать миллиардером?".

Этим летом я искал работу и в какой‑то момент перестал понимать, что происходит. Откликаешься, тебя не смотрят. Вакансия висит день, а у неё уже сотня откликов. Я решил разобраться, это со мной что‑то не так или с рынком. Оказалось, с рынком, и сильно.

В июле 2024 года на одну вакансию в России приходилось 3,4 резюме. В июле 2026-го уже 8,7. Это в среднем по всем профессиям, и это самое высокое значение для июля за восемь лет, что есть у hh. В IT ещё хуже: 24 резюме на одну вакансию, почти втрое больше, чем по рынку.

Представьте, что у вас одновременно запущено несколько десятков экспериментов. В каждом миллионы пользователей и несколько метрик с ежедневным пересчётом. У нас как раз такой кейс, поэтому ещё при проектировании платформы мы подумали, что считать метрики на уровне пользователей будет слишком дорого и медленно…

Решили попробовать через бакетирование. Все пользователи в рамках одного эксперимента разбиваются на 256 бакетов, поэтому статистика считается уже по бакетам. В результате вычислительная сложность и объём хранимых данных сокращаются на порядки. Вместо миллионов строк мы работаем всего с 512, поскольку для двух групп нужно обработать по 256 бакетов.

Но сразу возникает вопрос: а не теряется ли при этом статистическая корректность? Ведь нам важно оценивать эффект именно на пользователя, а не на бакет, работать со всеми типами метрик, включая ratio, и поддерживать всевозможные сплиты. Кроме того, мы хотим применять CUPED, который снижает дисперсию через исторические данные, но ещё сильнее усложняет расчёты.

Перси Диаконис, фокусник, ставший математиком в Стэнфордском университете, считается ведущим мировым экспертом по математике перетасовки карт. В удивительно обширной научной литературе по этой теме его имя постоянно всплывает, как пиковый туз в фокусе фокусника.

Всем привет! На связи Денис Зорин и Гриша Засько, мы работаем в ASL — лаборатории прикладной статистики Т-Банка. Помогаем командам проводить A/B-тесты на масштабе всей экосистемы: от дизайна эксперимента до анализа результатов. Еще мы развиваем A/B-платформу, инструменты для экспериментов и методы, которые помогают ускорять тесты без потери статистических гарантий.

Расскажем о задачке, с которой столкнулись в тестах с множественными сравнениями. Когда в эксперименте несколько целевых метрик, нужно контролировать вероятность ложноположительного результата. Часто для этого используют поправку Бонферрони: общий уровень значимости делят поровну между метриками, это простой и надежный метод.

Но мы обратили внимание, что, когда метрик несколько, есть потенциал для ускорения: мы предлагаем не делить уровень значимости поровну, а распределять его между метриками оптимально. В результате для некоторых тестов удается сократить необходимый размер выборки на десятки процентов, и эффект усиливается для тестов с большим количеством множественных сравнений.

В сентябре 2026 года информационная служба Хабра выпустила 730 публикаций (701 новость и пост, 3 лонгрида и 26 переводов). В текущем дайджесте представлены лучшие технические новости, переводы и лонгриды (отдельные большие публикации) инфослужбы Хабра, согласно оценкам пользователей.

Про шесть рукопожатий знают все, и почти все знают, что это как-то связано с Милгрэмом и письмами где-то в шестидесятых. Но на этом знание обычно заканчивается: есть цифра шесть, есть фамилия, а между ними пустота, которую заполняют пересказы пересказов. Мне стало интересно, что именно Милгрэм проверял, на скольких людях и что у него получилось в действительности, поэтому я окунулся в первоисточники и в работы тех, кто уже успел побывать в его архиве.

Самая первая попытка выглядела так: в Уичито, штат Канзас, по объявлению в газете набрали 60 добровольцев, и до адресата в Кембридже дошли 3 письма, каждое из которых прошло в среднем через восемь человек, то есть девять рукопожатий. Эти цифры Милгрэм так и не опубликовал, а в популярную статью попала ровно одна цепочка из трех, и, как мы дальше увидим, самая короткая.

Дальше расскажу, как был устроен тот эксперимент, куда деваются письма, почему потери портят не только процент успеха, но и саму измеренную длину цепочки, и что получилось у тех, кто перепроверял Милгрэма уже на миллионах людей.

В феврале 28 дней, в марте 31, продавайте одинаково каждый день — и рост на 11% появится сам, без новых клиентов.
В статье разбираю базу, как календарь и сезонность ломают отчёты: три вопроса перед сравнением периодов, SQL-запросы для среднего за день и скользящего среднего, ловушки сравнения год к году.

В школьной программе, университете, на различных курсах и даже на собеседованиях на аналитиков дают решать задачи на комбинаторику и теорию вероятности, которые оторваны от реальности. Самый известный пример — «в ящике лежат 5 чёрных шаров и 3 белых, найти вероятность того, что вы достанете белый». На момент, когда подобные программы писали, действительно было мало примеров, связанных с этими математическими направлениями, но благо сейчас всё иначе. В этой статье я хочу рассказать как работает комбинаторика и теория вероятности на примере игры Hearthstone «Поля сражений». 

В прошлой статье я разбирал спекулятивное декодирование — способ ускорить языковую модель. Метод обещает, что ускорение не изменит ответы: распределение текстов на выходе останется ровно таким же, как при обычной генерации. Гарантия следует из самого устройства метода, но её стоило проверить на практике.

Первая попытка дала обратный результат: статистический тест уверенно сообщал, что распределения различаются. Ошибка сидела не в модели и не в ускорении, а в самом тесте. По одному выводу её было не разглядеть: числа выглядели нормально.

Эта статья о том, как статистический тест может показать различие там, где его нет, и как такую поломку отловить. Языковые модели тут ни при чём: такая же поломка случается и в A/B-тесте, в проверке после квантизации и в регрессионном тесте, который сравнивает распределение времени ответа до и после релиза.

Одна из частых ошибок при построении количественных стратегий — путать корреляцию и коинтеграцию. Кажется, если два ряда данных исторически двигались синхронно, то отклонение между ними — сигнал для действия. На практике эта логика подводит: высокая корреляция сама по себе не гарантирует возврата к среднему, а без этого возврата любая стратегия, построенная на отклонениях, не работает.

Новый алгоритм может уверенно выигрывать A/B‑тест и не показывать ожидаемого эффекта после запуска, если эксперимент учитывает только пользователей, но игнорирует общий ресурс. В статье разбираемся, как работают switchback‑эксперименты, почему стандартный анализ даёт ложные выводы и как корректно оценивать результаты.

Чтобы оптимизировать производительность больших языковых моделей (LLM), необходимо понимать весь программный стек. Мне не удалось найти подробную статью, которая показывала бы этот стек как общую картину, поэтому я решил написать такую статью сам. Эта статья не является исчерпывающим обзором или набором наилучших практик. Здесь я в большей степени делюсь моими общими представлениями о том, как выглядит ландшафт современных LLM‑систем.

Во‑первых, любая система проектируется с расчётом на достижение конкретных целей с учётом заданных ограничений. В LLM‑системах наиболее принципиальные цели связаны с увеличением пропускной способности и минимизацией задержек. Два этих показателя необходимо оптимизировать в рамках ограничений, задаваемых тремя принципиальными факторами: вычислительные (скорость аппаратных операций и поддерживаемые типы), память (ёмкость и иерархия) и коммуникация (ширина передачи данных в памяти и сети, задержка и иерархия). Эти концепции отлично рассмотрены в книге Scaling Book от Google, а именно в разделе Roofline.

Почему одинаковые данные могут давать разные p-value? На простом примере с монетой разбираю, как правило остановки меняет частотный вывод, а затем связываю это с подглядыванием в A/B-тесты и повторными проверками значимости. Заодно становится понятнее, что именно ломается при peeking и почему проблема не в самом просмотре данных, а в том, как промежуточные результаты влияют на решение остановить эксперимент.

Новая обложка журнала The Economist. «Волшебник кремния»... Дженсен Хуанг, генеральный директор Nvidia ... с хрустальным шаром в руках, вокруг которого кружатся чипы Nvidia и долларовые купюры.

Когда финансовый журнал помещает на обложку актуальную инвестиционную тенденцию, это должно насторожить.

Кадров не хватает, вакансий становится меньше, кандидатов больше. Всё вместе это может звучать как противоречие, особенно если несколько лет подряд читать новости о кадровом дефиците, но именно эту картинку сейчас показывает рынок труда.

По данным того же hh, в августе 2026 года число активных вакансий оказалось на 13% ниже, чем год назад, а число активных резюме на 22% выше, hh индекс, показывающий отношение активных резюме к вакансиям, вырос до 8,7.

И получается такая ситуация когда соискателям искать работу становится сложнее, конкуренция растёт, но работодатели при этом продолжают говорить, что людей им не хватает. Разберёмся, есть ли здесь реально противоречие и почему фраза «дефицит кадров» сегодня описывает рынок труда всё хуже и хуже.

Представим ситуацию. Продажи мороженого и число утоплений летом растут одновременно — статистика, что графики почти совпадают. Но мороженое никого не топит: оба показателя зависят от третьей переменной — жары. Корреляция показывает, что показатели движутся вместе, но не объясняет причину. Но часто это путают. В научной статье или ее пересказе корреляции легко превращают в объяснение причины. Рассказываю, как часто авторы публикаций допускают такой скачок и что добавляет от себя ИИ.

Ученые из Университета Пенсильвании проанализировали с помощью LLM заголовки и аннотации 194,6 тысяч статей по социальным наукам за 1980–2024 годы. Они отобрали работы с кросс-секционными данными: в таких исследованиях ученые сравнивают людей, организации или другие объекты в один момент времени, а не наблюдают за их изменениями.

Так можно обнаружить связь, но обычно нельзя установить ее причину. Например, если люди, довольные работой, чаще занимаются спортом, это еще не значит, что спорт повышает удовлетворенность работой. Возможно, довольные сотрудники находят больше сил для тренировок. Или и то и другое связано с более удобным графиком.

Тем не менее в 46,3% отобранных статей авторы использовали формулировки, которые прямо или косвенно указывали на причинность. Речь именно о заголовках и аннотациях к статьям. С 2000 по 2024 год доля таких публикаций выросла примерно с 20% до более 60%. В 2024 году в работах по бизнесу она достигла 84%, по экономике — 67%.