Статистика в IT

Представьте, что у вас одновременно запущено несколько десятков экспериментов. В каждом миллионы пользователей и несколько метрик с ежедневным пересчётом. У нас как раз такой кейс, поэтому ещё при проектировании платформы мы подумали, что считать метрики на уровне пользователей будет слишком дорого и медленно…

Решили попробовать через бакетирование. Все пользователи в рамках одного эксперимента разбиваются на 256 бакетов, поэтому статистика считается уже по бакетам. В результате вычислительная сложность и объём хранимых данных сокращаются на порядки. Вместо миллионов строк мы работаем всего с 512, поскольку для двух групп нужно обработать по 256 бакетов.

Но сразу возникает вопрос: а не теряется ли при этом статистическая корректность? Ведь нам важно оценивать эффект именно на пользователя, а не на бакет, работать со всеми типами метрик, включая ratio, и поддерживать всевозможные сплиты. Кроме того, мы хотим применять CUPED, который снижает дисперсию через исторические данные, но ещё сильнее усложняет расчёты.

Новые агрегации перцентилей и MAD в Manticore Search: как анализировать поведение хвостов распределения и выбросы в SQL и JSON с настраиваемой точностью через compression.

Перси Диаконис, фокусник, ставший математиком в Стэнфордском университете, считается ведущим мировым экспертом по математике перетасовки карт. В удивительно обширной научной литературе по этой теме его имя постоянно всплывает, как пиковый туз в фокусе фокусника.

Всем привет! На связи Денис Зорин и Гриша Засько, мы работаем в ASL — лаборатории прикладной статистики Т-Банка. Помогаем командам проводить A/B-тесты на масштабе всей экосистемы: от дизайна эксперимента до анализа результатов. Еще мы развиваем A/B-платформу, инструменты для экспериментов и методы, которые помогают ускорять тесты без потери статистических гарантий.

Расскажем о задачке, с которой столкнулись в тестах с множественными сравнениями. Когда в эксперименте несколько целевых метрик, нужно контролировать вероятность ложноположительного результата. Часто для этого используют поправку Бонферрони: общий уровень значимости делят поровну между метриками, это простой и надежный метод.

Но мы обратили внимание, что, когда метрик несколько, есть потенциал для ускорения: мы предлагаем не делить уровень значимости поровну, а распределять его между метриками оптимально. В результате для некоторых тестов удается сократить необходимый размер выборки на десятки процентов, и эффект усиливается для тестов с большим количеством множественных сравнений.

В сентябре 2026 года информационная служба Хабра выпустила 730 публикаций (701 новость и пост, 3 лонгрида и 26 переводов). В текущем дайджесте представлены лучшие технические новости, переводы и лонгриды (отдельные большие публикации) инфослужбы Хабра, согласно оценкам пользователей.

Про шесть рукопожатий знают все, и почти все знают, что это как-то связано с Милгрэмом и письмами где-то в шестидесятых. Но на этом знание обычно заканчивается: есть цифра шесть, есть фамилия, а между ними пустота, которую заполняют пересказы пересказов. Мне стало интересно, что именно Милгрэм проверял, на скольких людях и что у него получилось в действительности, поэтому я окунулся в первоисточники и в работы тех, кто уже успел побывать в его архиве.

Самая первая попытка выглядела так: в Уичито, штат Канзас, по объявлению в газете набрали 60 добровольцев, и до адресата в Кембридже дошли 3 письма, каждое из которых прошло в среднем через восемь человек, то есть девять рукопожатий. Эти цифры Милгрэм так и не опубликовал, а в популярную статью попала ровно одна цепочка из трех, и, как мы дальше увидим, самая короткая.

Дальше расскажу, как был устроен тот эксперимент, куда деваются письма, почему потери портят не только процент успеха, но и саму измеренную длину цепочки, и что получилось у тех, кто перепроверял Милгрэма уже на миллионах людей.

В феврале 28 дней, в марте 31, продавайте одинаково каждый день — и рост на 11% появится сам, без новых клиентов.
В статье разбираю базу, как календарь и сезонность ломают отчёты: три вопроса перед сравнением периодов, SQL-запросы для среднего за день и скользящего среднего, ловушки сравнения год к году.

В школьной программе, университете, на различных курсах и даже на собеседованиях на аналитиков дают решать задачи на комбинаторику и теорию вероятности, которые оторваны от реальности. Самый известный пример — «в ящике лежат 5 чёрных шаров и 3 белых, найти вероятность того, что вы достанете белый». На момент, когда подобные программы писали, действительно было мало примеров, связанных с этими математическими направлениями, но благо сейчас всё иначе. В этой статье я хочу рассказать как работает комбинаторика и теория вероятности на примере игры Hearthstone «Поля сражений». 

В прошлой статье я разбирал спекулятивное декодирование — способ ускорить языковую модель. Метод обещает, что ускорение не изменит ответы: распределение текстов на выходе останется ровно таким же, как при обычной генерации. Гарантия следует из самого устройства метода, но её стоило проверить на практике.

Первая попытка дала обратный результат: статистический тест уверенно сообщал, что распределения различаются. Ошибка сидела не в модели и не в ускорении, а в самом тесте. По одному выводу её было не разглядеть: числа выглядели нормально.

Эта статья о том, как статистический тест может показать различие там, где его нет, и как такую поломку отловить. Языковые модели тут ни при чём: такая же поломка случается и в A/B-тесте, в проверке после квантизации и в регрессионном тесте, который сравнивает распределение времени ответа до и после релиза.

Одна из частых ошибок при построении количественных стратегий — путать корреляцию и коинтеграцию. Кажется, если два ряда данных исторически двигались синхронно, то отклонение между ними — сигнал для действия. На практике эта логика подводит: высокая корреляция сама по себе не гарантирует возврата к среднему, а без этого возврата любая стратегия, построенная на отклонениях, не работает.

Новый алгоритм может уверенно выигрывать A/B‑тест и не показывать ожидаемого эффекта после запуска, если эксперимент учитывает только пользователей, но игнорирует общий ресурс. В статье разбираемся, как работают switchback‑эксперименты, почему стандартный анализ даёт ложные выводы и как корректно оценивать результаты.

Чтобы оптимизировать производительность больших языковых моделей (LLM), необходимо понимать весь программный стек. Мне не удалось найти подробную статью, которая показывала бы этот стек как общую картину, поэтому я решил написать такую статью сам. Эта статья не является исчерпывающим обзором или набором наилучших практик. Здесь я в большей степени делюсь моими общими представлениями о том, как выглядит ландшафт современных LLM‑систем.

Во‑первых, любая система проектируется с расчётом на достижение конкретных целей с учётом заданных ограничений. В LLM‑системах наиболее принципиальные цели связаны с увеличением пропускной способности и минимизацией задержек. Два этих показателя необходимо оптимизировать в рамках ограничений, задаваемых тремя принципиальными факторами: вычислительные (скорость аппаратных операций и поддерживаемые типы), память (ёмкость и иерархия) и коммуникация (ширина передачи данных в памяти и сети, задержка и иерархия). Эти концепции отлично рассмотрены в книге Scaling Book от Google, а именно в разделе Roofline.

Почему одинаковые данные могут давать разные p-value? На простом примере с монетой разбираю, как правило остановки меняет частотный вывод, а затем связываю это с подглядыванием в A/B-тесты и повторными проверками значимости. Заодно становится понятнее, что именно ломается при peeking и почему проблема не в самом просмотре данных, а в том, как промежуточные результаты влияют на решение остановить эксперимент.

Новая обложка журнала The Economist. «Волшебник кремния»... Дженсен Хуанг, генеральный директор Nvidia ... с хрустальным шаром в руках, вокруг которого кружатся чипы Nvidia и долларовые купюры.

Когда финансовый журнал помещает на обложку актуальную инвестиционную тенденцию, это должно насторожить.

Кадров не хватает, вакансий становится меньше, кандидатов больше. Всё вместе это может звучать как противоречие, особенно если несколько лет подряд читать новости о кадровом дефиците, но именно эту картинку сейчас показывает рынок труда.

По данным того же hh, в августе 2026 года число активных вакансий оказалось на 13% ниже, чем год назад, а число активных резюме на 22% выше, hh индекс, показывающий отношение активных резюме к вакансиям, вырос до 8,7.

И получается такая ситуация когда соискателям искать работу становится сложнее, конкуренция растёт, но работодатели при этом продолжают говорить, что людей им не хватает. Разберёмся, есть ли здесь реально противоречие и почему фраза «дефицит кадров» сегодня описывает рынок труда всё хуже и хуже.

Представим ситуацию. Продажи мороженого и число утоплений летом растут одновременно — статистика, что графики почти совпадают. Но мороженое никого не топит: оба показателя зависят от третьей переменной — жары. Корреляция показывает, что показатели движутся вместе, но не объясняет причину. Но часто это путают. В научной статье или ее пересказе корреляции легко превращают в объяснение причины. Рассказываю, как часто авторы публикаций допускают такой скачок и что добавляет от себя ИИ.

Ученые из Университета Пенсильвании проанализировали с помощью LLM заголовки и аннотации 194,6 тысяч статей по социальным наукам за 1980–2024 годы. Они отобрали работы с кросс-секционными данными: в таких исследованиях ученые сравнивают людей, организации или другие объекты в один момент времени, а не наблюдают за их изменениями.

Так можно обнаружить связь, но обычно нельзя установить ее причину. Например, если люди, довольные работой, чаще занимаются спортом, это еще не значит, что спорт повышает удовлетворенность работой. Возможно, довольные сотрудники находят больше сил для тренировок. Или и то и другое связано с более удобным графиком.

Тем не менее в 46,3% отобранных статей авторы использовали формулировки, которые прямо или косвенно указывали на причинность. Речь именно о заголовках и аннотациях к статьям. С 2000 по 2024 год доля таких публикаций выросла примерно с 20% до более 60%. В 2024 году в работах по бизнесу она достигла 84%, по экономике — 67%.

В мае 1999 года еженедельная деловая газета Barron’s вышла с печально известной обложкой «Amazon.bomb». На ней лицо Джеффа Безоса было изображено на мультяшной бомбе, готовой взорваться. «Мысль о том, что генеральный директор Amazon Джефф Безос создал новую бизнес-парадигму, нелепа, — говорилось в статье. — Он всего лишь очередной посредник, и фондовый рынок начинает это понимать».

Продолжение разбора 24 миллионов оценок из Rate Me: как средняя оценка зависит от возраста оцениваемого, почему мужчины и женщины по-разному реагируют на разницу в возрасте, и проверка мифа о взаимности - щедрых оценщиков не оценивают щедрее. Три графика, полный массив, без сэмплирования.

Контринтуитивные события окружают нас повсюду. Взять, например, парадокс дней рождений: каждый раз, когда оказываешься в небольшой группе и узнаёшь, что у двух участников группы праздник в один и тот же день, то думаешь: какое удивительное совпадение, ведь кажется, что событие редкое. Но вот уже при детальном рассмотрении оказывается, что вероятность такого события достаточно высокая (например, если группа 23 человека, то вероятность составит 50%, для группы в 57 человек — 99%). Примеров контринтуитивных событий много и они удивительны тем, что их разоблачение позволяет нам менять своё мировосприятие. 

Вот и мы с друзьями затеяли спор об одном таком событии, связанным с игрой Мир танков. Суть спора: двое из нас считают один сервер «несчастливым», потому что при нашей средней статистике в 50%, именно на этом сервере происходят частые поражения. Третий друг считает, что не может быть такого, чтоб сервер был «несчастливым» и тем более, невозможно, чтобы средний процент побед всех игроков на нём был меньше 50%. 

Говард Маркс — известный инвестор и мыслитель. Сам Уоррен Баффет сказал, что меморандумы Маркса — «первое, что я открываю и читаю», когда они приходят по почте. Среди них «Risk Revisited Again», «Can We Measure Risk with a Number?» и другие. Ниже основные мысли и идеи из них.