Одной из самых распространённых задач аналитики является формирование суждений о большой совокупности (например, о миллионах пользователей приложения), опираясь на данные лишь небольшой части этой совокупности - выборке. Можно ли сделать вывод о миллионной аудитории крупного мобильного приложения, собрав данные 100 пользователей? Или стоит собрать данные о 1000 пользователях? Какую вероятность ошибиться при анализе мы можем допустить: 5% или 1%? Относятся ли две выборки к одной совокупности, или между ними есть ощутимая значимая разница и они относятся к разным совокупностям? Точность прогноза и вероятность ошибки при ответе на эти и другие вопросы поддаются вполне конкретным расчётам и могут корректироваться в зависимости от потребностей продукта и бизнеса на этапе планирования и подготовки эксперимента. Рассмотрим подробнее, как параметры эксперимента и статистические критерии оказывают влияние на результаты анализа и выводы обо всей совокупности, а для этого смоделируем тысячу A/A, A/B и A/B/C/D тестов.
Инфографика
Визуализация данных
Новости
Основные типы распределений вероятностей в примерах
Статистические исследования и эксперименты являются краеугольным камнем развития любой компании. Особенно это касается интернет-проектов, где учёт количества пользователей в день, времени нахождения на сайте, нажатий на целевые кнопки, покупок товаров является обычным и необходимым явлением. Любые изменения в пользовательском опыте на сайте компании (внешний вид, структура, контент) приводят к изменениям в работе пользователя и, как результат, изменения наблюдаются в собираемых данных. Важным элементом анализа изменений данных и его фундаментом является использование основных типов распределений случайных величин, от понимания которых напрямую зависит качество оценки значимости наблюдаемого изменения. Рассмотрим их подробнее на наглядных примерах.
Изучение перелётных птиц
Задача изучения перелётных птиц до начала века мелких спутниковых передатчиков была почти нерешаемой. Конечно, люди знали, что птицы куда‑то улетают на некоторое время. А сколько из всех, куда, с какими остановками и маршрутами — оставалось тайной. Неподъёмности задаче до XXI века добавляло то, что птицы буквально крыльями махали на все человеческие границы: живут в Италии, зимуют в Египте или Турции, пересекают какие угодно регионы.
Но пришёл век доступного спутникового интернета, навигации с точностью до 10 метров, маленьких приёмников, появились передатчики сигнала о местонахождении, хорошие, но не тяжёлые литиевые аккумуляторы, да ещё и максимально сжатое энергопотребление устройств.
Метрики: их очарование и коварство
Максим Лунев
Аналитик отдела аналитики производственного департамента Security Vision
Они окружили нас
Метрики прочно вошли в нашу жизнь. Финансы и спорт, бизнес и социальные сети - практически невозможно найти область, где те или иные количественные характеристики не решали бы много, если не все. Метрики рушат карьеры и возносят на пьедестал, вгоняют в депрессию и сулят золотые горы, могут стать лучшими друзьями или злейшими врагами. Не обошли они стороной и мир информационной безопасности.
Все больше и больше современных SOC-центров активно внедряют в свою деятельность мониторинг и измерение своей эффективности. Это позволяет быстро выявить и устранить «бутылочные горлышки», оценить качество работы команд по реагированию, определить свои слабые места и составить стратегию развития. И, конечно же, проиллюстрировать свою ценность перед руководством компании, оправдав все вложенные инвестиции.
Истории
Шкала масштабов вселенной (русский язык)
Всем привет! Добавил русский язык к шкале масштабов вселенной.
В интернете есть довольно занимательная шкала с относительными размерами разных объектов от мельчайших, до обозримой Вселенной. Сама шкала изначально была flash презентацией, а после прекращения Adobe поддержки swf, была перенесена на веб.
Также с 2012 года было flash приложение (на которое я ориентировался) с переводом на русский язык, но сейчас нужно неплохо поискать как его открыть.
Насколько понял из репозитория веб проекта, русский язык там изначально отсутствовал. Проект не обновлялся с 2021 года + issue с запросом на добавление чешского языка висит еще с 2022, поэтому делать PR и ждать смысла не было.
В итоге подтянул проект в свой гитхаб, добавил русский язык и выгрузил на свой хостинг, с небольшими правками интерфейса. Может кому будет полезно.
Статистика по Linux за 2023
Навеяно одним из недавних постов, тут, на Хабре.
Давайте кратко, тезисно, и со своими субъективными комментариями пробежимся по текущим статсам...
Искусство следопыта в корпоративной инфраструктуре
В этой статье хотелось бы обсудить индикаторы атаки — ту часть Threat Intelligence, которая отвечает за эффективное реагирование на угрозы и расследование инцидентов. В этом контексте вспомним одну из апорий Зенона Элейского - про Ахиллеса и черепаху. Современный бизнес часто оказывается в позиции быстроного Ахиллеса, который, догоняя черепаху, всегда остается чуть позади.
Модель зрелости SOAR
Михаил Пименов, аналитик Security Vision
В этой статье мы попробуем взглянуть на модель зрелости компаний, внедряющих системы информационной безопасности класса IRP/SOAR. Здесь также существует масса интерпретаций и способов систематизации. Я предлагаю взглянуть на модель зрелости SOAR глазами специалистов Security Vision, которая базируется на экспертизе, полученной в результате десятков реальных внедрений систем класса IRP/SOAR
Маркер всевластья, практика визуальных встреч
Как-то я был на встрече, где участники громко спорили и не соглашались друг с другом. Причем все говорили об одном и том же, только с разных сторон. И тут один из участников взял маркер и начал рисовать на флипчарте квадратики, стрелочки, человечков. В какой-то момент спорившие обратили внимание на рисунки и начали подсказывать, что добавить, а где стрелочка не так идет. Всего через десять минут оживленный спор превратился в конструктивный диалог, который разворачивался вокруг изображения на флипчарте. Так я впервые столкнулся с визуальной фасилитацией.
Рисунки много раз спасали меня в сложных переговорах и проектах. Сегодня я расскажу про визуальные встречи, и как их проводить.
Какого цвета интернет: история смены окраски веб-страницами
Как менялись цвета на сайтах с начала века до наших дней? Правда ли, что веб бесповоротно потемнел? Почему веб-дизайнеры больше не любят зеленый? Об истории изменений, текущих и будущих тенденциях в небольшой статье-исследовании.
Мы вложились в создание ненужного клиентам девайса и случайно повысили эффективность промышленных производств
Здравствуйте! Я Владимир Зайцев, основатель и генеральный директор компании Encost (Энкост). С 2013 г. мы помогаем клиентам-производственникам экономить на электроэнергии, но это отдельная история: мы пытались заработать, создав онлайн-калькулятор цен на электричество, а по факту стали сами корпеть над расчётами и переводить клиентов на более выгодные тарифы. В 2021 г. мы опять хотели заработать, помогая клиентам экономить электроэнергию, но сокрушительно промахнулись с запросом и чуть было не остались с любовно созданным и никому не нужным девайсом на руках. Но в итоге, после сбора обратной связи и допилов, мы превратили этот ненужный девайс в систему мониторинга для промышленных производств – Энкост Мониторинг. Вот эту историю с неожиданным поворотом я и хочу сегодня рассказать.
Мне это кажется важным, потому что простая и дешевая система, созданная случайно, внезапно закрыла потребности мелких и средних производств. Раньше для них на рынке просто не было других подходящих систем мониторинга загрузки оборудования. Волею случая мы стали первыми, кто вообще услышал запрос небольших производственников. Возможно, моя история наведет других технарей и айтишников на полезные мысли о перспективах сотрудничества с отечественными производителями.
«Заработаем на онлайн-калькуляторе расчета электроэнергии! Что может пойти не так?»
В начале этого пути мы толком ничего о производствах не знали и узнавать не планировали – просто с 2013 г. помогали юрлицам снижать затраты на электроэнергию. Сначала сделали онлайн-сервис – калькулятор, который показывал, из чего складывается ценообразование (для юрлиц это довольно замороченный процесс, у многих компаний был запрос плана: «Хотим убедиться, что не переплачиваем за электричество»). Собственник брал информацию со счетчика электроэнергии (это массив значений о почасовом потреблении за месяц), загружал эти данные на сайт, указывал параметры: регион, поставщик электроэнергии и прочее. Система на выходе выдавала все возможные варианты тарифа, доступные потребителю, и собственник мог понять: использует он сейчас самый выгодный для себя тариф или переплачивает.
Полное руководство по проектированию систем в виде схемы
Разработка надежной, масштабируемой и эффективной системы может оказаться довольно сложной задачей. Однако понимание основных принципов и компонентов этого процесса может сделать его более управляемым. В этой статье мы рассмотрим основные компоненты в проектировании систем, такие как DNS, балансировка нагрузки, API-шлюз и другие. Также мы предоставим краткую схему, которая поможет разработчикам проектировать системы различной сложности.
Вы все ещё пользуетесь старым редактором?
Пару недель назад редакция Хабра порадовала нас поддержкой маркдауна в новом редакторе. А заодно рассказала о том, насколько он стал популярен:
80 процентов, да лаадно? Впрочем, это совсем несложно проверить. Давеча я скрапил Хабр для одного интересного расследования и кроме всего прочего заметил в заветном jsonе такое поле:
И оказалось, что с новым редактором все далеко не так просто.
Ближайшие события
Ты мог бы стать спортсменом, если бы родился в другой день. Что такое Relative Age Effect?
Что делает перспективного ребенка из местной спортивной секции чемпионом мира по футболу, олимпийским призером или обладателем Кубка Стэнли?
Талант? Упорный труд? Но что если есть и другая причина, о которой мы раньше не слышали. Или не хотели слышать. Что, если она не так мелодична, не так романтична и уж совсем не вписывается в наше представление об истинном успехе?
VPN по разрешениям? Все обомлели, когда узнали, что их ждет в 2023 году…
Многие государства пытаются в той или иной степени контролировать информацию в национальном сегменте интернета: вводить цензуру, фильтровать трафик. Например, в США действует 11 федеральных законов для интернет-цензуры. Аналогичная ситуация в других странах. Но всё это бесполезно. Потому что информация хочет быть свободной. Как речной поток, она обойдёт любые барьеры на своём пути, говорили классики шифропанка.
Свой личный VPN — полностью легальный инструмент для безопасной работы в интернете. Вопрос в том, как долго продлится такая ситуация. И что делать, если использование этого инструмента ограничат? Некоторые уже начали готовиться к худшему сценарию.
История мобильных телефонов (1994-2022)
Новые модели мобильных телефонов появляются каждый день. Когда приходит время покупать новый телефон, хочется разбираться чуточку лучше в изменениях, произошедших за последнее время. Данный обзор содержит ретроспективный взгляд на историю мобильных телефонов.
Рисуй, чтобы победить
В офисе я всегда рисовал. На бумаге, на флипчарте, на доске. Это помогало мне быстрее объяснить свои идеи и показать, что происходит у меня в голове. С переходом на удаленку находить общий язык стало сложнее, но я нашел выход.
В статье я расскажу, как на удаленке рисовать, чтобы вас быстро понимали. Покажу базовые техники и немного затронем мат часть, на чем и где рисовать.
Неформальный Эксель: OpenGL, игры на GDI+ и инфографика теперь и в VBA
На Хабре уже было довольно много интересных публикаций с неформальным использованием Экселя (списочек под катом). Этой статьёй мне хочется поделиться с сообществом красивыми результатами нашего французского коллеги. Автор, Тьерри Гасперм (Thierry Gasperment), создаёт подобную красоту на VBA под Excel / Access / Word и VB6. Увы, сайт на французском, а материалы, хоть и свободны для использования, но для просмотра и скачивания зачастую требуют регистрации. По этой причине я поместил наиболее интересные примеры на свой GitHub. Для тех, кто захочет "выйти за пределы шахматной доски", советую всё же потратить пару минут своего драгоценного времени и зарегистрироваться на сайте. Оно того стоит, так как количество и качество информации на сайте Тьерри заслуживают того. Для регистрации и просмотра рекомендую Chrome: автоматический перевод Edge порождает "гуртовщиков мыши" и прочие химеры вроде "glutMouseРазумный" и "Силовая установка" (PowerPoint).
Сколько зарабатывают выпускники МГТУ им.Н.Э. Баумана. Опрос конца 2021 года
Во второй половине 2021 года был проведён опрос среди выпускников МГТУ имени Н.Э.Баумана. Так как сбор ответов растянулся по времени, опрошенных в начале 2022 года просил указать данные на декабрь 2021 года. Было разослано около 6000 сообщений через соцсеть VK (которая ограничивает количество сообщений людям, находящимся не в друзьях, двадцатью в 12 часов). После очистки от откровенно шуточных ответов осталось 2373 анкеты, которые использовались в дальнейшем анализе.
Преступность в США и России: сравнительный обзор
В предыдущем цикле статей я начал рассматривать открытые данные по преступности в США в разных контекстах (связь с расовой принадлежностью, преступления на почве нетерпимости, нападения на полицейских). Мне стало интересно сравнить преступность в США с ситуацией в нашей стране, благо эти данные тоже легко найти. Получилось познавательно. Интересно?
Вклад авторов
alizar 320.0Mithgol 218.0aleksandrit 203.0ipswitch 201.0ivansychev 150.0imitron 149.0ffffffffff 132.0ANadezhdina 129.0S0mbre 127.0ilusha_sergeevich 125.0