Как стать автором
Обновить
89.37

Статистика в IT

Статистика, исследования, тенденции

Сначала показывать
Порог рейтинга
Уровень сложности

Основные типы распределений вероятностей в примерах

Уровень сложности Средний
Время на прочтение 15 мин
Количество просмотров 1.5K

Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необходимым явлением. Любые изменения в пользовательском опыте на сайте компании (внешний вид, структура, контент) приводят к изменениям в работе пользователя и, как результат, изменения наблюдаются в собираемых данных. Важным элементом анализа изменений данных и его фундаментом является использование основных типов распределений случайных величин, от понимания которых напрямую зависит качество оценки значимости наблюдаемого изменения. Рассмотрим их подробнее на наглядных примерах.

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Комментарии 1

Новости

Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 1.1K

В предыдущих статьях статья 1, статья 2, статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов является механизм разделения на группы, который в терминологии специалистов часто называется сплитовалкой.

Может показаться, что задача элементарная - сгенерировать случайное целое число каждому пользователю с вероятностью 1/n, где n - число групп в АБ тесте. Но на практике, особенно для высоконагруженных сервисов, таких как Ozon, возникает множество архитектурных и платформенных сложностей. В данной статье мы сконцентрируемся на основных принципах деления на группы, принятых в индустрии.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Комментарии 1

Зарплатные ожидания VS зарплатные предложения в IT: откуда взялся разрыв в 30%

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 21K

Бесконечно можно обсуждать три вещи: экономику, политику и зарплаты айтишников. Из мемов и достоверных источников мы знаем, что они получают 300 000 рублей в наносекунду. Или может они просто оценивают себя намного выше реального рынка?

Читать далее
Всего голосов 25: ↑21 и ↓4 +17
Комментарии 29

Juniorы врут об опыте работы. Проблема ли это для HR?

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 18K

Желание собрать отдельную статью появилась на фоне довольно бурных обсуждений в ветке комментариев. Во многом комментарии противоречивы. Споры касаются нюансов, начиная от этики запроса оплаты за тестовые задания до обширных вопросов касательно важности высшего образования.

Поэтому хотел бы пересобрать свой коммент в более расширенном формате + где-то его дополнить на основе новых интервью.

Читать далее
Всего голосов 14: ↑10 и ↓4 +6
Комментарии 101

Истории

Экспресс-исследование корпоративных коммуникаций в России 2023

Время на прочтение 6 мин
Количество просмотров 995

Результаты опроса 500 верифицированных специалистов, которые внедряют и обслуживают системы видеосвязи и корпоративные мессенджеры. География: 13 городов России.

Читать далее
Всего голосов 15: ↑14 и ↓1 +13
Комментарии 6

Аналитика ради аналитики или как выжить в стартапе

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2.8K

Всем привет! Я работаю продуктовым аналитиком уже чуть больше двух лет. Мой путь начинался со стартапа и сейчас уже почти год я работаю в так называемом бигтехе. В общем, в познании я немного преисполнился и успел осознать все свои ошибки на первой работе в качестве аналитика. Сразу скажу, эта статья не претендует на премию по технической сложности, она больше для тех, кто впервые оказался в продуктовой команде и не знает, как с этим быть. Итак, приступим.

В чём проблема работать аналитиком в стартапе? Когда это твоя первая работа – примерно во всём.

Читать далее
Всего голосов 13: ↑11 и ↓2 +9
Комментарии 8

Опросил больше 1000 айтишников: вранье в резюме и котируемость курсов по «вкатыванию в IT»

Время на прочтение 7 мин
Количество просмотров 122K

Получилось отследить довольно интересные тренды: как размер стажа в индустрии коррелирует с отношением к выдумыванию опыта в резюме, как в IT-среде на самом деле относятся к выпускникам школ в стиле «стань айтишником за год», а также рейтинг самых ненавидимых и респектуемых в среде профи школ.

Читать далее
Всего голосов 188: ↑167 и ↓21 +146
Комментарии 317

Табуляционные машины Германа Холлерита — вольная реконструкция

Уровень сложности Средний
Время на прочтение 13 мин
Количество просмотров 1.6K

Перфокартные табуляционные автоматы Германа Холлерита решали задачи обработки больших объемов данных (десятки миллионов записей) в 19-м веке, сэкономили несколько лет труда при подсчете результатов переписи США 1890-го года, быстро проникли во всевозможные организации от стальных фабрик до страховых контор, обеспечили их автору (Герману Холлериту) инженерное признание и коммерческий успех, послужили фундаментом для появления и развития компании IBM.


Здесь остановимся подробнее на технической стороне вопроса. Каким образом устройство в конце 19-го века могло решать задачи, которые принято ассоциировать с 21-м веком. Ведь в те времена люди не имели в распоряжении библиотеки Pandas и платформы Python, не было реляционных субд с языком SQL, и даже электронных компьютеров, которые могли запускать такое программное обеспечение, еще не придумали (не то, что транзисторы, электронные лампы еще не изобрели, а реле хотя уже были в ходу, никто еще не говорил о том, чтобы строить из них универсальные вычислители).


Отдельный повод сделать это именно сегодня: Герман Холлерит родился в 1860-м году 29 февраля.

Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 13

Типичные задачи аналитика. Часть 2. А есть ли тренд?

Уровень сложности Средний
Время на прочтение 18 мин
Количество просмотров 8.4K

В первой части статьи на Habr мы рассмотрели классические подходы к оценке изменений метрики при условии ее стационарности. В этом контексте статистические критерии, применяемые в A/B тестировании, оказались весьма эффективными.

Однако, если существует стабильный тренд, например, среднемесячная аудитория увеличивается из года в год, оценка разницы средних за два смежных периода времени может быть некорректной. В таком случае среднее значение предыдущего периода всегда будет отличаться от среднего постпериода, и это часто может быть не связано с исследуемым функционалом.

Одна из причин — тренд не всегда зависит от действий компании и часто является следствием внешних условий. Например, рост аудитории может быть связан с увеличением благосостояния населения, масштабированием бизнеса или сезонными факторами.

Таким образом, наличие или отсутствие тренда является важным аспектом анализа данных. Рассмотрим несколько успешных и неудачных подходов, которые можно применять для решения этой задачи.

Читать далее
Всего голосов 21: ↑21 и ↓0 +21
Комментарии 3

Когда прокачивать стату в танках на примере Tanks Blitz

Уровень сложности Средний
Время на прочтение 13 мин
Количество просмотров 2.2K

Игроки в World of Tanks, War Thunder и других подобных игр уверены, что результативность игры конкретного игрока зависит от того, в какое время суток игрок играет и от наличия глобальных игровых событий.


Я проверил, так ли это, на примере Tanks Blitz.

Читать дальше →
Всего голосов 10: ↑9 и ↓1 +8
Комментарии 3

Нелинейные корреляции. Моя любимая статистическая мера: D Хёфдинга

Уровень сложности Средний
Время на прочтение 25 мин
Количество просмотров 4.4K

Предположим, у вас есть две последовательности чисел, которые вы хотите сравнить, чтобы измерить, насколько они связаны или зависимы друг от друга. Это действительно довольно общий сеттинг: две последовательности могут представлять временные ряды, так что у вас есть таблица с тремя столбцами и кучей строк. Первый столбец будет временем (скажем, с часовыми интервалами), а затем по одному столбцу для каждой последовательности; первый, например, может быть средней ценой акции за этот интервал, а второй - объемом торгуемых акций за этот интервал. Или вы могли бы сравнить процентное изменение цены одной акции по сравнению с другой. Конечно, это вовсе не обязательно должны быть временные ряды: у вас также может быть всего два столбца (то есть вообще без столбца времени). Первый может быть ростом американца старше 30 лет в дюймах, а второй — весом того же человека в фунтах. Или, чтобы использовать более актуальный пример, каждый столбец может представлять вектор эмбеддингов некоторых предложений на английском языке от определенной модели LLM. Первый столбец может быть вектором от модели Mixtral 8x7B для строки "I love my 3 sons" (Я люблю моих трех сыновей), а другой — от той же модели для строки "I cherish my 5 daughters" (Я дорожу моими пятью дочерьми).

В каждом из этих случаев у нас есть две последовательности данных, которые мы хотим сравнить. Проблема заключается в том, что в самой общей ситуации мы не имеем ни малейшего представления о том, какова может быть природа связи, или даже есть ли связь, о которой стоит говорить. Что, если две последовательности полностью независимы, как записи бросков двух разных честных кубиков? Что, если данные немного искажены и содержат некоторые экстремальные выбросы, которые искажают наиболее общие виды мер, на которые вы могли бы захотеть посмотреть, такие как среднее значение и дисперсия каждого столбца отдельно? Вы могли бы подумать сейчас: «Погодите, разве ответ на это — просто посмотреть на корреляцию?» И это действительно хорошая идея для проверки, поскольку это наиболее часто используемая мера ассоциации между двумя наборами данных.

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Комментарии 4

Backblaze: надёжность жёстких дисков падает год от года. Это актуально для HDD большинства производителей

Время на прочтение 3 мин
Количество просмотров 19K

Компания Backblaze, провайдер облачных сервисов, регулярно публикует отчёты о выходе из строя жёстких дисков, находящихся у неё в эксплуатации. HDD — сотни тысяч, поэтому статистика получается интересной. Правда, обычно такие отчёты выглядят более-менее одинаково: какие-то модели дисков выходят из строя чаще, какие-то реже.

А вот сейчас ситуация иная: согласно данным провайдера за 2023 г., надёжность жёстких дисков разных моделей от любых производителей снизилась. Есть и исключения, но в целом это так. Подробности — под катом.

Читать далее
Всего голосов 69: ↑68 и ↓1 +67
Комментарии 129

Data Scientist in Helsinki. Мое небольшое исследование про поиск работы в Финляндии в 2024 году

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 7.1K

Превью фото сделано мной зимой 2022 года в Вуосаари - зимняя природа в Финляндии очень живописная

Привет, хабр! 

Под катом хотел бы обсудить тему поиска работы в период зимы 2023-2024 года it-специалистом в Финляндии. Про “исследование” я конечно сильно сказал, это скорее можно назвать приведением статистики, которую мне удалось собрать за период поиска с ноября 2023 по январь 2024 года и некоторые мои субъективные ощущения. В общем, если заинтересовались, - поехали!

tutkia
Всего голосов 16: ↑14 и ↓2 +12
Комментарии 13

Ближайшие события

Московский туристический хакатон
Дата 23 марта – 7 апреля
Место
Москва Онлайн

Анализ пулл-реквестов через веб-приложение для улучшения код ревью

Уровень сложности Простой
Время на прочтение 2 мин
Количество просмотров 3.2K

Год назад в нашей команде решили внедрить средства анализа пулл-реквестов, т.к. некоторые разработчики уделяли мало времени код ревью, в итоге фичи долго не могли оказаться на проде. Выбрали решение на основе Github Action, начали собирать статистику, улучшать процессы, но и столкнулись с ограничениями.

Ну а там, где есть недостатки, можно сделать своё веб-приложение, пара недель разработки на Ruby on Rails и минимальный набор функций был реализован в PullKeeper'е. Спустя год доработок функционал приложения значительно улучшился, появились первые сторонние компании, которые стали его использовать и анализировать свои пулл-реквесты.

Читать далее
Всего голосов 12: ↑9 и ↓3 +6
Комментарии 0

Развитие киберугроз в автоиндустрии

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 1.3K

Подключённые транспортные средства (ТС) последние годы были целью №1 для хакеров в индустрии умной мобильности. Сам факт подключения автомобиля к интернету за последнее десятилетие произвёл революцию в автотранспорте и транспортной экосистеме. Меняются не только возможности и технические параметры автомобиля, но и сами сценарии владения и использования транспортных средств.

Именно подключение автомобилей к интернету сделало возможным наступление новой эры – эры программно-определяемых транспортных средств (далее ПОТС). Возможность удалённого сбора информации о параметрах автомобиля и возможность вносить изменения в работу его компонентов – открывают новые возможность для ОЕМ-производителей. Речь идёт как о новых бизнес моделях, так и о новых технологиях.

Прошедшие 10 лет можно назвать первым десятилетием автомобильной кибербезопасности. Оно ознаменовалось ростом числа кибер инцидентов и атак на автопроизводителей и экосистему в целом. Постоянное внедрение новых векторов и методов атак, несмотря на то, что автопроизводители продолжают инвестировать в улучшение средств защиты от кибербезопасности.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Комментарии 8

Кнопки в автомобиле — это уже роскошь

Уровень сложности Простой
Время на прочтение 23 мин
Количество просмотров 18K

В 2021-м году я перевел и опубликовал десятилетнюю статью Будущее интерактивного дизайна в руках. Кроме хороших комментариев, я прочитал ремарку о том, что перевел старую статью и она уже неактуальна. На дворе 2024 год, но она актуальнее ещё больше. Ведь лучше не стало — кнопки нещадно истребляют в автомобилях, заменяя их на «планшеты»

Читать далее
Всего голосов 101: ↑98 и ↓3 +95
Комментарии 600

Z-test

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 2.5K

Привет, Хабр!

Z-тест, известный также как z-критерий Фишера, представляет собой набор статистических методов для проверки гипотез, которые базируются на предположении о нормальном распределении данных. Эти методы используются для анализа, являются ли средние значения двух наборов данных одинаковыми, при условии, что дисперсия генеральной совокупности известна. Еще они применяются для анализа стандартизированных выборочных средних. Расчёт Z-статистики производится путём деления разности между анализируемой случайной величиной и её математическим ожиданием на стандартную ошибку этой величины.

В этой статье рассмотрим, что такое Z-тест, чем он полезен и сравним его с t-тестом.

Читать далее
Всего голосов 15: ↑14 и ↓1 +13
Комментарии 0

Почему нельзя сделать прогноз CLTV с помощью одной модели

Время на прочтение 17 мин
Количество просмотров 2.4K

Или как превратить набор продуктовых моделей склонности и оттоков в полноценный инструмент прогнозирования продуктового состояния клиента.

В чём специфика задачи оценки СLTV в банке? К каким математическим задачам она сводится? Как их решить и почему стандартные способы, например, модель регрессии, не работает? И чем здесь поможет комплексный подход? 

Привет, меня зовут Мария Самоделкина, я senior Data Scientist в Хабе Юридических Лиц Альфа-Банка - лидирую расчет CLTV в нашей команде. В статье расскажу что это за задача CLTV и для чего ее нужно решать банкам.

Читать далее
Всего голосов 15: ↑15 и ↓0 +15
Комментарии 4

Как мы считали экономику продукта «Семья» через uplift CLTV

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 1.4K

Всем привет! Меня зовут Владлен Севернов. Я работаю ML-инженером в команде CLTV билайна. В этой статье я поделюсь с вами моим опытом решения задачи uplift-моделирования для оценки экономики продукта «Семья» с точки зрения CLTV.

Что мы подразумеваем под CLTV

Подробнее про CLTV в билайне вы можете почитать в наших предыдущих статьях:

- Что такое CLTV и как мы в билайне с ним работаем
- Использование ML для прогнозирования CLTV

С использованием CLTV билайн может сосредоточиться на удержании наиболее ценных клиентов, повышении их удовлетворенности и лояльности, а также оценивать эффективность маркетинговых и рекламных кампаний.

Немного про продукт «Семья»

Семейные тарифы — это возможность создать общую группу (семью) с другими людьми и добавить в нее до пяти абонентов (в зависимости от тарифа). После объединения в семью платящим остается только один абонент, называемый «донором», а другие члены группы, которые пользуются общими пакетами минут, SMS и трафика и не платят, называются «реципиентами». 

Почему для семейных тарифов необходимо считать именно CLTV?

Читать далее
Всего голосов 15: ↑13 и ↓2 +11
Комментарии 2

Метрики: их очарование и коварство

Уровень сложности Простой
Время на прочтение 6 мин
Количество просмотров 2.7K

Максим Лунев

Аналитик отдела аналитики производственного департамента Security Vision

Они окружили нас

Метрики прочно вошли в нашу жизнь. Финансы и спорт, бизнес и социальные сети - практически невозможно найти область, где те или иные количественные характеристики не решали бы много, если не все. Метрики рушат карьеры и возносят на пьедестал, вгоняют в депрессию и сулят золотые горы, могут стать лучшими друзьями или злейшими врагами. Не обошли они стороной и мир информационной безопасности.

 Все больше и больше современных SOC-центров активно внедряют в свою деятельность мониторинг и измерение своей эффективности. Это позволяет быстро выявить и устранить «бутылочные горлышки», оценить качество работы команд по реагированию, определить свои слабые места и составить стратегию развития. И, конечно же, проиллюстрировать свою ценность перед руководством компании, оправдав все вложенные инвестиции.

Читать далее
Всего голосов 15: ↑13 и ↓2 +11
Комментарии 7

Вклад авторов