Статистика в IT

Текущая экономическая ситуация в мире приводит к сильному давлению роста цен во всех секторах экономики. Ритейлеры не могут перекладывать эти риски на плечи своих покупателей, что приводит их к необходимости поиска новых путей сокращения затрат на экземпляр процесса, т. е. на штуку товара. Усиливающаяся конкуренция с e‑commerce требует перестройки процессов и выхода на повышенные скорости доставки в борьбе за клиента.

И кажется, что все имеющиеся инструменты повышения эффективности уже использованы. Но есть ещё один. В этой статье я расскажу о нашем опыте повышения производительности операций в распределительных центрах торговой сети «Пятёрочка» без больших финансовых вливаний и долгосрочных разработок. Я руковожу Департаментом развития аналитики «Цепочки поставок и поддерживающие функции» в Х5 Tech, и моя команда занимается поиском путей повышения эффективности бизнеса через анализ больших данных.

Поскольку в последнее время часто вижу рекламу “войти в IT”, решил посмотреть и дать картину того, кто выступает в качестве менторов и стоит ли им доверять на примере наставников в тестирование.

Привет! Продолжаю знакомить вас с библиотекой Prophet в качестве инстурмента прогнозирования продаж. Первая часть тут.

Функции для критериев качества в нашей прогнозной модели будут выглядеть следующим образом:

Бинарная классификация — одна из ключевых задач машинного обучения, но в реальных приложениях часто важно не только определить класс, но и понять, с какой вероятностью модель принимает решение. Как проверить точность вероятностных предсказаний?

В статье обсуждаются специализированные инструменты для оценки качества вероятностных прогнозов, ключевые метрики и их интерпретация. Материал будет полезен для практиков, стремящихся повысить точность и объяснимость своих моделей.

Прочитай статью и узнай, как не потерять деньги при размещении рекламы у блогеров. Сегодня — проверка на накрутку.

Недавно YouTube подкинул мне видео «Я пообщался со 100 людьми, сдавшими ЕГЭ на 100, и вот что понял» — автор поговорил со ста выпускниками, сдавшими экзамен на высший балл, и обобщил их опыт. Многие советы из видео можно распространить не только на подготовку к экзамену, но и на подготовку к собеседованию или «вхождение в IT» — так что ролик будет интересен и тем, кто давно окончил школу.

Меня зовут Ольга Матушевич, я наставница на курсе «Аналитик данных» в Яндекс Практикуме. Как аналитик с профдеформацией я в любом подобном исследовании вижу недоделанный А/В-тест — и считаю своим долгом его доделать. В этом тексте я расскажу, какие результаты показал эксперимент из YouTube, и попробую выяснить, являются ли они статзначимыми.

Все знают про распределение выборочного среднего (его описывает Центральная предельная теорема), а что насчет выборочных квантилей?

В заметке я расскажу, как и зачем приближать распределения выборочных квантилей из данных с типичными распределениями: равномерное, экспоненциальное и нормальное, а также когда и какое приближение стоит использовать.

При разработке и поддержке ML-продуктов одним из ключевых решений является решение о переходе на новую модель, опережающую предыдущую по ряду характеристик. Разработчики и бизнес сталкиваются с риском впустую потратить ресурсы на продуктивизацию новой модели, если разница между текущей и обновленной моделью статистически не обоснована. В статье представлен исчерпывающий системный подход к разрешению данной дилеммы, который успешно применяется у нас в t2 (ранее Tele2).

Проблема моделирования футбольных данных становится все более популярной в последние несколько лет, и было предложено множество различных моделей с целью оценки характеристик, которые приводят команду к поражению или победе, или для прогнозирования счета конкретного матча. Рассмотрим байесовскую иерархическую модель и проверим ее прогнозирующие способности на основе данных о чемпионате Италии Серии А.

Привет! На связи команда аналитиков «Пятёрочки» X5 Tech.

Подсчитать и проанализировать можно не только A/B, но также подвергнуть анализу ряд тестов с общей нулевой гипотезой. Другими словами, протестировать результаты серии тестов с классическим статистическим выводом о значимости показателей этой серии, то есть провести мета-анализ. 

На написание этой статьи меня вдохновило общение внутри моей классной команды, общение с одним из аналитиком Gett, а также данный пост и комментарии к нему по поводу статьи Ebay.

Мета-анализ стоит на ступеньку выше по доказательности, чем обычный тест, так как аккумулирует информацию по ряду тестов. Можно сказать, что он проводит операцию слияния данных (data fusion), давая оценку оценкам, поэтому и мета. И раз он сильнее по доказательности, то и позволяет увереннее внедрять статистически значимые инициативы. Про это и поговорим в статье.

Давно замечаю, что подавляющее большинство менеджеров (продакты, маркетологи, growth-менеджеры) ограничиваются, в основном, одним статистическим методом — хи-квадратом (Chi-squared test) — что уже неплохо, но это только верхушка айсберга. Методов гораздо больше, и каждый из них может закрывать свои задачи.

Я долго искал, что могло бы стать готовым помощником для менеджеров, но ничего, что отвечало бы всем требованиям, так и не нашёл.

Поэтому собрал свой справочник с методами частотной аналитики. Старался сделать всё максимально просто: без формул, сложных терминов и заумных объяснений. Главное — чтобы было интуитивно понятно, какой метод выбрать и для какой задачи

Метод CUPED уже давно завоевал популярность в анализе A/B-тестов, предоставляя возможность выявлять эффекты меньших размеров. В этой статье мы подробно рассмотрим применение данного подхода на этапе дизайна эксперимента. Мы исследуем, как можно сократить размеры выборок, не теряя при этом в статистической мощности теста.

В этой статье мы рассмотрим ключевые аспекты расчета размера выборки для AB-тестирования, основанного на нормальном приближении. Я провожу вас через логическую цепочку планирования эксперимента, объясняя важные статистические концепции и формулы, необходимые для проведения AB-теста о равенстве средних значений численного признака. Эта информация будет особенно полезна для аналитиков, готовящихся к собеседованиям или стремящихся углубить свое понимание методологии экспериментов.⁠

Страны Ближнего Востока вслед за экономическим ростом переживают период цифровой трансформации. Сосредоточение большого количества финансов и расширение ИТ-инфраструктуры привлекают не только инвестиции, но и хакеров. Некоторые из них включаются в противостояние государств в регионе, другие ищут материальную выгоду — так или иначе киберпреступники представляют серьезную угрозу. Каковы цели злоумышленников, какие методы они используют и как страны Ближнего Востока пытаются сдерживать нарастающий поток атак — рассказываем в этой статье.

Иногда мы настолько бываем увлечены способами увеличения мощности тестов, снижения дисперсии, уменьшения длительности теста, что забываем смотреть на данные при использовании стандартного критерия Стьюдента. В этой статье я постараюсь простым языком рассказать о последствиях, к которым может привести слепой запуск A/B-тестов без предварительного А/А-тестирования.

Прогнозирование можно считать одной из основных задач аналитика. Прогноз продаж, оттока, выручки, затрат – всех основных KPI развития бизнеса – может потребоваться где и когда угодно, начиная от небольших ad hoc кейсов до масштабных задач вроде процесса бюджетирования на предстоящий год.

Меня зовут Нина Фещенко, я работаю в команде аналитики продаж FTTB-FMC (или иначе – ШПД и конвергентных продуктов) Билайн. В данной статье мы рассмотрим прогнозирование продаж FTTB-FMC для целей ежедневной отчетности.  

Начнем с того, что мы понимаем под продажами ШПД и конвергенции. 

Смертоносная эволюция: является ли программируемая смерть эволюционным преимуществом? Отвечает компьютерное моделирование.

Правдивая история о том, как я работал адвокатом для неприятной дамы с косой.

Из наблюдений за природой понятно, что смерть организмов от внутренних причин, таких как старение, является правилом, с небольшим количеством исключений. Полностью же бессмертными из многоклеточных признаны лишь семь(!) видов. И это из миллионов существующих. Почему это так?

Статистическая значимость похожа на автокафе научно‑исследовательского мира. Подъезжаешь к исследованию, забираешь свой «бургер значимости», и — бабах — у тебя в руках оказывается вкусный вывод, которым можно поделиться с друзьями. Применение показателей статистической значимости удобно не только с точки зрения читателей научных статей. Они облегчают жизнь и самим исследователям. Зачем долго и мучительно что‑то объяснять, когда можно вместо этого ограничиться парой простых слов?

Но не так всё просто.

Недавно на выходном оффере в Авито спрашивали задачку про нахождение доверительного интервала для медианы. Эта статья появилась в результате моего резерча по этому вопросу.

В данной статье я напишу алгоритм рассчета доверительных интервалов для:
— Среднего значения
— Медианы (через нормальную аппроксимацию к биномиальному распределению)
— Доли (через нормальную аппроксимацию к биномиальному распределению)

Основным научным результатом публикации является всепроникаемость нормального распределения и возможность оценить с его помощью что угодно. В задаче про нахождение доверительного интервала для медианы, нормальное распределение дало такую элегантную формулу, содержащую только корень из размера выборки, что я до сих пор не могу перестать удивляться.

Работать комфортно, эффективно и не тратить время на бесполезные задачи — к этому стремится любая команда. Но ситуации, когда люди вроде бы работают, а релиза всё нет, случаются регулярно.

Меня зовут Полина Таран, и уже три года я работаю тимлидом в финтех-компании Точка. Мы решили разобраться, почему действия не дают желаемого результата, а некоторые задачи неделями висит в режиме ожидания. Найти и устранить причину нам помогли метрики — подробности под катом.