Статистика в IT

Все, кто работает с аналитикой и продуктами, знают, что проведение А/Б тестирования — важный шаг для повышения эффективности бизнеса. Однако не всегда понятно, как проводить этот тест и какие статистические методы использовать. В этой статье я постараюсь помочь вам разобраться в этом вопросе. Вместо теоретических рассуждений будут практические советы, как выбирать метрики, как использовать различные статистические методы и примеры кода на Python, которые можно использовать сразу же. Эта статья станет незаменимой шпаргалкой для всех, кто планирует провести А/Б тест, и будет полезной как для новичков, так и для профессионалов.

В данном тексте я хочу порассуждать и поделиться своими мыслями о проблеме исследования профиля клиентов на основе клиентского исследования. Данная тема является для меня новой, поэтому хотелось бы обсудить её с сообществом. Буду рад обсуждению в комментариях о плюсах и минусах предлагаемого мной подхода. В своем подходе я пытаюсь сделать поправку оценки характеристики представителей популяции по некоторой подвыборке. Представители популяции имеют разную вероятность попасть в подвыборку, что создает смешение выбора. Кроме смещения выбора, присутствует смещения ответа, так как попадание в выборку не гарантирует получения информации о представителе популяции. Данный текст является адаптацией моей публикации по теме на medium.

В среднем путь от джуниора до сеньора занимает около пяти лет. Сеньор уже работал в крупных коммерческих проектах, самостоятельно выбирает технологии для конкретной задачи, руководит командой либо консультирует коллег. Попытались разобраться, как развивать карьеру айтишникам, уже достигшим профессиональных высот.

Delivery, «Яндекс.Еда», «Гемотест»: кто еще под колпаком?

«Никогда такого не было, и вот опять» — примерно так мы думаем, когда читаем новости об очередной утечке данных или хакерской атаке. Вы тоже заметили, как они участились в последнее время? Мы с коллегами решили собрать для вас 20 фактов о киберугрозах, на которые стоит обратить особое внимание. 

Время и деньги 

1. Общий ущерб от преступлений с использованием компьютерных технологий в 2021 году в России превысил 150 млрд рублей, подсчитали в RTM Group. Они опирались на возбужденные уголовные дела, связанные с использованием таких технологий.

2. К концу 2016 года каждые 40 секунд какая-то компания становилась жертвой программ-вымогателей. К 2021-му это время сократилось до 11 секунд, писал Cybercrime Magazine. По прогнозам Cybersecurity Ventures, к 2031 году таким атакам бизнес и конечные потребители будут подвергаться уже каждую пару секунд.

3. По оценкам представителя сервиса Data Leakage & Breach Intelligence, только с февраля нынешнего года в Сеть могли утечь данные 8 млн клиентов различных сервисов доставки еды. Самая крупная утечка были у компаний «Яндекс.Еда» (затронула 6,8 млн пользователей) и «Два берега» (780 тыс.). Однако здесь еще не был учтен недавний случай с Delivery Club: масштабы утечки могут стать рекордными на рынке. 

4. За прошлый год количество киберпреступлений выросло на 1,4% по сравнению с 2020-м, сообщало МВД России.

5. По данным крупнейшего в мире производителя аппаратного и программного обеспечения IBM, большинству компаний требуется 197 дней, чтобы обнаружить преступление, и до 69 дней, чтобы его локализовать.

Наши статистические красавицы закончили наводить марафет и погрузились в сладостный, волшебный, поэтический мир сводок, цифр, отчетов, планов и смет.

(К/Ф "Служебный роман", режиссёр -- Э. Рязанов)

В предыдущей статье «Биометрия в платежах» я рассмотрел основные технологии, используемые для аутентификации и идентификации человека по лицу (face recognition). Я описал принципы работы алгоритмов нахождения лица на снимке, распознавания черт лица и создания биометрических шаблонов. В этой статье я остановлюсь подробнее на оценке качества работы решений по идентификации и аутентификации пользователя по лицу.

Как использовать для визуализации такой замечательный инструмент, как условное форматирование, если ваши данные против этого? Как добавить в отчет красивую карту, если несколько точек "портят" всю картину? Как использовать статистические методы для настройки внешнего вида вашего отчета?

Я постарался рассказать об этом на примере выполнения задания для хакатона по Power BI.

Предыдущий пост см. здесь.

Прежде чем перейти к изучению нормального уравнения, давайте рассмотрим основы матричного и векторного умножения.

Для статистиков и исследователей данных проверка статистической гипотезы представляет собой формальную процедуру. Стандартный подход к проверке статистической гипотезы подразумевает определение области исследования, принятие решения в отношении того, какие переменные необходимы для измерения предмета изучения, и затем выдвижение двух конкурирующих гипотез. Во избежание рассмотрения только тех данных, которые подтверждают наши субъективные оценки, исследователи четко констатируют свою гипотезу заранее. Затем, основываясь на данных, они применяют выборочные статистики с целью подтвердить либо отклонить эту гипотезу.

Заключительный пост №5 для начинающих посвящен сопоставительной визуализации электоральных данных.

Пост №2 для начинающих посвящен описательным статистикам, группированию данных и нормальному распределению. Все эти сведения заложат основу для дальнейшего анализа электоральных данных.

Я всегда с интересом читаю обзоры рынка труда, которые публикуются на Хабре. Но, после них у меня всегда оставалось чувство легкого голода: нехватало более подробного анализа по моему сегменту рынка и региону. Да и с регулярностью все было не то чтобы хорошо. Так пару лет назад, у меня появилась идея сделать что-то вроде дашборда по рынку труда QA специалистов Москвы на основе данных HH.ru. Результаты мне показались достаточно интересными, чтобы принести их сюда.

Начну с того, чего в этом отчете нет. Не буду отбирать хлеб у авторов с "Хабр Карьера" – их опросы по зарплатам трудно превзойти по степени достоверности, – поэтому в моих отчетах нет цифр по заработной плате. Также нет точности в абсолютных цифрах. Причины в том, что атрибуция вакансий на HH.ru сделана своеобразно и одна вакансия может публиковаться несколько раз под разными ID. С другой стороны, одно объявление может соответствовать нескольким открытым позициям в компании. Поэтому рассматривать абсолютные цифры следует с осторожностью. Но проводить сравнительный анализ эти данные все же позволяют. Для сбора вакансий использовалась открытая часть API HH.ru, которая отдает описание вакансий в формате JSON. Часть графиков построена на базе параметров переданных в JSON-формате, часть - на основе анализа текстовых описаний вакансий. Наблюдение велось с марта 2019 по декабрь 2020 гг. в разделе "Тестирование" по г. Москве. Запрос был направлен на получение только специалистов по тестированию, вакансии с другой специализацией отбрасывались.

Посмотрим как менялся совокупный спрос в этом году на фоне прошлого:

Что уже произошло?