Статистика в IT

Добрый день, дорогие любители аналитики!

А/В тестирование - это инструмент, который позволяет с помощью экспериментов увеличить прибыль компании, привлечь новых пользователей и выбрать наиболее эффективный канал рекламы.

Вы сформулировали гипотезу, определились как оцените результаты и теперь нужно правильно определить размер выборки.

Рассмотрим полезный инструмент для А/В тестирования — калькулятор Эвана Миллера.

Данный калькулятор помогает определить выборку, то есть количество пользователей, кликов или других элементов, участвующих в эксперименте.

Определение правильного размера выборки значительно влияет на результат А/В тестирования, так как недостаточный объем выборки приведет к высокой вариативности, то есть мы не достигнем статистически значимого результата. А при очень большой выборке мы потратим лишнее время, ресурсы, что тоже в условиях динамичной жизни будет неэффективно.

Бенчмарков сейчас – как нейросетей: каждую неделю новый. GPQA Diamond тестирует PhD-знания. Lexometrica проверяет фактическую точность. LLM Persuasion Benchmark – способность убеждать в дебатах. Chatbot Arena – предпочтения живых людей. Резонный вопрос: зачем ещё один?

Два ответа. Первый: ценность бенчмарков – в перекрёстном подтверждении. GPT-5.4 – первое место у нас, в GPQA Diamond, в Lexometrica и в Persuasion Benchmark. Kimi K2.5 – шестое и у нас, и у Lexometrica. YandexGPT и GigaChat – внизу везде, где они вообще есть (в GPQA Diamond из 154 моделей – не попали). Четыре независимых бенчмарка – один и тот же вердикт.

Второй – важнее. Мы не нашли ни одного систематического бенчмарка, который тестирует российские модели бок о бок с глобальными на практических задачах. Если знаете такой – напишите в комментариях.

Наше исследование: 54 модели, 32 сценария на русском языке, промпты как пишет живой менеджер, два LLM-судьи с калибровкой. Обновление предыдущей статьи. Интерактивные результаты – на сайте.

Как правильно оценивать влияние кампаний, если А/В-тест не возможен? Рассмотрим несколько вариантов: от самых простых к не самым, но сложным.

График, который вы видите очевидно показывает отрицательную зависимость между a и b, однако этой зависимости не существует. Да, зависимости между a и b нет, а видите вы коллайдер - одну из самых коварных ошибок статистики. Коварную потому, что прячется за здравый смысл. Мы делаем вполне разумные действия, а получаем связи между независимыми данными.

Разбираем на пальцах как появляются коллайдеры и как не попасть в их ловушку.

Привет, Habr! Меня зовут Костя Козлов, я работаю в команде анализа и валидации экспериментов A/B-платформы Ozon. В предыдущей статье коллеги рассказали, как создать высокопроизводительную платформу сплитования пользователей на группы и стенд метрик. В этой статье расскажу, как построить поверх этого инструмент, который автоматически оптимизирует бизнес-метрики продукта за счёт "умного" перебора возможных вариантов его параметров.

Статья будет касаться всех кейсов, где необходимо найти оптимальные по бизнес-метрикам непрерывные параметры системы на данных из онлайн-экспериментов. Например, у вас есть алгоритм рекомендаций товаров, и вы хотите за счет настройки его параметров вырастить число заказов, не уронив при этом рекламную выручку.

Снятся ли программистам на удалёнке гусиные фермы? В Америке это уже не совсем шутка — сотни тысяч удалёнщиков действительно переехали из города. В России 87% молодых горожан «рассмотрят переезд», реально хотят — 4%. Между этими цифрами — обрыв. Где именно ломается воронка и при чём тут AI — под катом.

"Они, вероятно, напишут книги с названиями вроде «Как я превратил доллар в миллион за 20 дней, работая по 30 секунд в день». Ещё хуже: они начнут летать по стране, посещать семинары по "эффективному подбрасыванию", спорить с профессорами: «Если это невозможно, то почему нас 215?»"

Недавно мы с командой проанализировали инфополе Хабра и обнаружили, что эйфория от внедрения ИИ в разработку сменяется разочарованием, senior-разработчики тонут в ревью некачественного кода, а техдолг растет как снежный ком. Мы сами проходим через этот путь, внедряя GenAI в SimpleOne, и прекрасно понимаем вашу боль. 

Всем привет, я Артем Герасимов, владелец продукта SimpleOne SDLC. В этой статье я расскажу о реальных проблемах ИИ-генерации кода и о том, какие механизмы помогают нам с ними справляться.

Допустим, вас не устраивает ваше качество сна. Вы перестали делать очевидно вредные вещи (убрали кофе на ночь), и сон улучшился, но хотелось бы поработать над ним ещё. Коллега по работе даёт вам смесь трав со зверобоем и лавандой. Вы пробуете пить его на ночь вместо кофе, и иногда сон действительно становится глубже. Но иногда нет. Вы готовы экспериментировать, но как бы проверить, действительно ли травы работают или это просто случайный разброс?

Или допустим, вы не очень довольны вашей продуктивностью на работе. По заветам из "Atomic Habits" и книг по эргономике вы внедрили несколько полезных микропривычек. Но что делать, когда низковисящие фрукты закончились? Время ограничено - всего, что кто-то называет полезным, не сделать. Некоторые привычки ещё и взаимоисключающие: невозможно за обедом одновременно и общаться с кем-то и сидеть в одиночестве в тишине.

Или например, вы хотите достичь более хороших показателей на рыболовном поприще... вы поняли идею.

"Не недооценивайте силу малых вещей, взятых в большом количестве", - мысль мудрая, но как бы понять, какие именно малые вещи действуют конкретно в вашей ситуации? Если вы проходили курс статистики, то у вас в голове есть набросок ответа. Выделить целевую метрику, собрать историю данных, затем собрать набор данных после выбранного вмешательства, сравнить средние значения метрики до и после - и готов научно обоснованный ответ. Проблема в том, что если ввязаться в подобный проект без основательного плана, вы в итоге окажетесь с ворохом бесполезных цифр в таблице. Почему именно эта затея не для слабых духом мне бы и хотелось рассказать в этой статье.

Всем привет! На связи Айкович Ульяна и команда Pathway. Месяц назад мы опубликовали первую часть, в которой рассказали о нашем эксперименте по предсказанию конверсии в прохождение опросов. Сегодня мы поделимся, как можно предсказать конверсию в опросах, а также как составить ваш опрос, чтобы пользователи активнее прошли его до конца.

Каждый UX-исследователь в своей жизни сталкивался со сложностями при наборе статистически  значимого количества участников в опросах: кто-то не проходит дальше первого вопроса, кто-то бросает на полпути. Может ли исследователь повлиять на конверсию прохождения опроса? Наш ответ — да!
В данной статье мы поделимся итогами регрессионного анализа и дадим лайфхаки по составлению опроса на основе такой модели.

Кому будет полезно

Если вы живёте в Python и одновременно используете statsmodels, lifelines, pyhf, PyMC/BlackJAX, linearmodels (или что‑то похожее).

Если вам важны воспроизводимость и понятная валидация численных оптимизаций (особенно в HEP).

Если вам интересна архитектура «одно вычислительное ядро → много задач» и практические hot paths (AOT, SIMD, zero‑copy).

Когда регулярно ревьюируешь чужой код или менторишь младших коллег, начинаешь замечать паттерны. Есть ошибки, которые кочуют из скрипта в скрипт, и совершают их не только джуны, но и вполне уверенные специалисты.

Сегодня разберем пять неочевидных нюансов SQL, которые могут незаметно исказить бизнес-метрики, сломать воронку или просто заставить базу выполнять лишнюю работу.

Вы спокойно работаете, и тут к вам приходит продакт с вопросом по A/B-тесту, который запустили две недели назад. «Ну что, мы уже набрали достаточно трафика? Можно подводить итоги?».

И всё бы ничего, но есть нюанс: на встречу по дизайну этого эксперимента вас позвать забыли. Длительность никто не считал, MDE (Minimum Detectable Effect) не фиксировал.

Чтобы ответить на вопрос продакта, вам нужно посчитать MDE с учетом текущего размера выборки и дисперсии, а затем сравнить его с порогом практической значимости. Выгружать сырые данные только ради того, чтобы посчитать дисперсию в моменте — занятие довольно муторное, особенно если речь идет о неконверсионных (непрерывных) метриках. Даже на highload-проектах, где данных море, тратить время на лишние ETL-операции ради промежуточного чека совсем не хочется.

Но, к счастью, у вас под рукой есть A/B-платформа, которая уже услужливо посчитала доверительный интервал. Например, она показывает вам отложенный эффект: 2% ± 1.5%.

Держите лайфхак: берем половину ширины доверительного интервала (те самые 1.5%), умножаем на 1.43 и получаем наш текущий MDE.

Давайте разберем математику, которая за этим стоит.

Нобелевский лауреат Юджин Фама один из самых известных профессоров в мире финансов, благодаря своей революционной гипотезе эффективного рынка. 

Фама ввел термин «эффективный рынок», и этот термин получил широкое распространение после публикации «Эффективные рынки капитала: Обзор теории и эмпирических исследований» в журнале Journal of Finance в 1970 году.

Статья произвела революцию в области финансов, предоставив ученым и практикам пищу для размышлений и исследований на десятилетия вперед.

Теорема Гаусса‑Маркова:

Почему метод наименьших квадратов работает? Почему ему можно доверять? И при каких условиях он действительно дает лучшие оценки?

В статье разбираю теорему Гаусса‑Маркова, ее условия и что делать, если реальность не идеальна, без сложной математики и больших формул

Почему одни легко находят первую работу в IT, а другие до сих пор остаются без офера? Я сравниваю свою историю с реальными историями: друзей, одногруппников и коллег. Разбираю, действительно ли решают hard и soft skills, связи, диплом, местоположение, вуз, усердие — и почему это не даёт гарантии. Если вы ищете работу или только начинаете путь в IT, возможно, после прочтения вы посмотрите на свои шансы иначе.

Я долго размышлял на данную тему и наконец решил изложить.

Вся эта история с оценкой кода по количеству написанных строк или другие попытки оценить объем работы мне всегда не давали покоя.

Сейчас я не пишу код в промышленных масштабах, разве что для себя какой-то мелкий инструмент. Но когда-то я писал много и занимался этим больше 15 лет.

Придешь утром в офис и начинаешь что-то писать. А вечером мне нравилось иногда нажать ctrl+z и смотреть в ускоренном темпе, пусть и в обратном порядке, как бегал курсор, как выделялись, появлялись и исчезали какие-то блоки кода. Сначала условие и цикл появились в одном месте, потом кусок кода из цикла перешел в процедуру, цикл вообще исчез и т.д.

И я задавал себе вопрос: а кто видел все эти мои поиски и скитания? Для внешнего наблюдателя видно только сколько строк было утром и сколько их стало вечером. Но это вообще не то. Эти 80 строк даже не намекают на то, чем я занимался целый день. Уверен, вы понимаете, о чем речь.

Сейчас, в эпоху тотальной увлеченности ИИ, меня не покидает мысль, что неплохо бы весь этот когнитивный процесс легализовать.

Здесь не будет инструкций как я это сделал. Здесь будет просто рассуждение вокруг да около.

Функцию rand из стандартной библиотеки языка Си для генерации псевдослучайных чисел, наверное, не ругал только ленивый. В довольно известном докладе Rand considered harmful рассказывалось о проблемах с переносимостью, ограниченным диапазоном, многопоточностью, качеством и т.п. Иногда в учебниках упоминают о том, что алгоритм в rand может быть не очень качественным, иметь проблемы с младшими битами, периодом, прохождением статистических тестов. Но крайне редко можно увидеть разбор конкретных критериев, выявляющих дефекты генераторов. В этой статье я постараюсь наглядно показать не просто отдельные недостатки rand, lrand48 и random из glibc, но их полную непригодность для каких-либо вычислений в принципе. Также вы увидите превосходство поточных шифров над minstd, линейным конгруэнтным генератором из 1980-х, не только в качестве, но и в производительности.

MSI совсем недавно удивила, представив новые материнские платы на чипсете B550. Почему удивила? Ну, новинка необычна для 2026 года, ведь платформа AM4 уже считается относительно устаревшей. Компания выпустила две компактные модели формата micro-ATX, рассчитанные на системы с памятью DDR4 и процессорами Ryzen серий 3000 и 5000. Появление таких решений выглядит вполне логичным на фоне текущей ситуации на рынке комплектующих. А с ним, рынком, сейчас не все ок. Давайте все это и обсудим в статье.

В феврале 2026 года информационная служба Хабра выпустила 1015 публикаций (972 новости и поста, 7 лонгридов и 36 переводов). В текущем дайджесте представлены лучшие технические новости, переводы и лонгриды (отдельные большие публикации) инфослужбы Хабра, согласно оценкам пользователей.