Бывает, что привычные A/B-тесты кажутся слишком сложными или затратными, и возникает соблазн искать быстрые альтернативы. Но насколько они эффективны?
Меня зовут Сима Гиззатуллина, я продуктовый аналитик в Lamoda Tech. Я расскажу, как мы искали инструмент для оценки контентного продукта, какие подводные камни обнаружили, и почему в итоге простые пути оказались не такими уж простыми. Поделюсь, как проводили исследование от построения модели атрибуции до разных сортов мэтчинга, и к чему в итоге пришли.
Привет! Меня зовут Ксения Беленя, я занимаюсь аналитикой производительности приложений и веб-страниц в Авито. В этой статье я рассказываю, почему перформанс приложений — это важно, на какие метрики мы смотрим в Авито, как оцениваем и проверяем уровень производительности в A/B-тестах. Статья поможет тем, кто хочет следить за перформансом своего приложения или сайта, но не уверен, что это нужно делать, и не знает, с чего начать.
С 1 января 2024 года популярный мессенджер WhatsApp прекращает поддержку смартфонов, работающих под управлением Android версии 4.4 KitKat и более ранних версий. Это означает, что пользователи таких устройств больше не смогут обновлять приложение или пользоваться его функциональностью.
Два года назад у меня выпал случай позаниматься с «наставником для экспертов». Это стоило 40к за 12 сессий. Я согласился, всегда хотелось, чтобы кто‑то поковырялся во мне и распутал внутренний хаос. Чтобы я стал красивым механизмом с понятным взглядом на мир, принимал осознанные решения, имел стержень.
«Колесо хомяка» — это метафора. Бесконечный круговорот рутинной деятельности, из которого трудно вырваться. Хомяки бегают в колесе, не продвигаясь никуда. То же самое происходит с человеком, он много работает или действует, но не достигает значимого прогресса.
«Личная сила — это чувство. Что‑то вроде ощущения удачи или счастья. Можно назвать ее настроением. Воин — это охотник за силой.» — так описывает это понятие Кастанеда в своих рассказах.
Что мы делали? В основном просто разбирали сложные желания. Разбивали их на цели и конкретные действия. Ставили сроки и обсуждали результаты. Первым задание состояло в том, чтобы в течение недели выписать все свои желания не думая о том, как их исполнять. Крутится в голове «купить остров», значит надо записать. Затем нужно было поставить цели. И это самый сложный этап. Причем для простых желаний поставить цели гораздо сложнее, чем для тех, что из разряда грез.
Привет! На связи команда аналитиков «Пятёрочки» X5 Tech.
Подсчитать и проанализировать можно не только A/B, но также подвергнуть анализу ряд тестов с общей нулевой гипотезой. Другими словами, протестировать результаты серии тестов с классическим статистическим выводом о значимости показателей этой серии, то есть провести мета-анализ.
На написание этой статьи меня вдохновило общение внутри моей классной команды, общение с одним из аналитиком Gett, а также данный пост и комментарии к нему по поводу статьи Ebay.
Мета-анализ стоит на ступеньку выше по доказательности, чем обычный тест, так как аккумулирует информацию по ряду тестов. Можно сказать, что он проводит операцию слияния данных (data fusion), давая оценку оценкам, поэтому и мета. И раз он сильнее по доказательности, то и позволяет увереннее внедрять статистически значимые инициативы. Про это и поговорим в статье.
В статье исследуется использование DAX Studio, мощного инструмента, который помогает разработчикам Power BI извлекать и обрабатывать метаданные из дашбордов. Утилита позволяет оптимизировать рабочие процессы, делая задачи, такие как заполнение файлов метаинформацией, более эффективными.
Tracer — модульный инструмент для аналитики ошибок в мобильных приложениях от OK.Tech, который мы представили год назад. За это время в Tracer зарегистрировалось более 1400 организаций и 5000 пользователей. Сейчас решение обрабатывает более 1 млрд событий в день и обслуживает приложения, которые имеют суммарный DAU в 20 млн пользователей. Опыт наших клиентов показывает, что Tracer успешно справляется с поставленными задачами, но мы всё равно не останавливаемся на достигнутом.
Меня зовут Кирилл Попов. Я руководитель направления Android-разработки в ОК. В этой статье я расскажу, какие возможности получил инструмент за последний год, и что мы планируем реализовывать в перспективе.
Elixir — удивительный язык, и для меня было огромной привилегией работать с ним уже более десяти лет (как летит время)!
Я хотел бы указать на проблему, которая, если ее проигнорировать, может серьезно повлиять на производительность вашей команды. Да, я говорю о (пере)компиляции модуля.
Вы вносите несколько изменений в один файл в своей кодовой базе и нажимаете «перекомпилировать». Бум: Compiling 93 files (.ex). Затем вы вносите еще одно изменение и бум: Compiling 103 files (.ex).
Мы все через это проходили. У этой проблемы есть решение. Будет ли решение болезненным, зависит от того, как долго эта проблема оставалась нерешенной в вашей кодовой базе.
Если вы не исправите эту проблему, количество перекомпилированных файлов, скорее всего, будет расти по мере роста вашего проекта, и избавиться от них будет сложнее.
Почему это важно
Прежде чем рассказать, как обнаружить, исправить и предотвратить повторение этой проблемы, я хотел бы кратко рассказать, почему это важно и почему вам непременно следует об этом беспокоиться.
Время обратной связи, то есть время, которое требуется разработчику для итерации между внесением изменений и наблюдением за ними, является единственным и наиболее важным индивидуальным показателем производительности, который вам следует отслеживать.
Укрепите цикл обратной связи: если вы меняете один модуль, в идеале перекомпилировать следует только один модуль. Если вы занимаетесь локальной веб-разработкой, ваша локальная страница должна загружаться практически мгновенно. Из этого правила есть исключения, но если вы исключение, вы осознаете, что вы исключение.
Шаг 1: Обнаружение проблемы
Ну, обнаружить легко: вы меняете один модуль, и несколько перекомпилируются? Да, вы в аду перекомпиляции. Но как узнать, в каком круге ада вы находитесь?
СИГМА разрабатывает, внедряет и развивает решения для обходов, диагностики, технического обслуживания и ремонта оборудования (ТОиР). Такие решения относятся к классу Field Service Management (FSM). Флагманский продукт нашей компании по этому направлению — СИГМА:Алькор: решения на его основе используются на 22-х электростанциях России. Антонина Пашкова, маркетолог СИГМЫ, проанализировала рынок мобильных приложений для автоматизации процессов ТОиР. Делимся результатами исследования!
Уже два года я работаю системным аналитиком в крупной телеком-компании, которая развивает IT-направление.
В этой статье на примере двух кейсов покажу, как системный анализ помогает оптимизировать разработку и сэкономить ресурсы компании. А ещё поделюсь тем, как у нас устроены процессы.
Привет! Меня зовут ProcessPayment, и я — идемпотентный метод, созданный для надёжной обработки платежных запросов. Моя задача — принимать запросы, списывать деньги и, самое главное, избегать дублирования операций. На пути к этой цели было множество этапов, каждый из которых сделал меня сильнее и надёжнее. Давайте расскажу, как это было.
Всем привет, меня зовут Александр и я делаю дизайн который основан на метриках. Наверное с такой фразы мы можем начать наш маленький кружок по дизайну цифровых продуктов.
Мобильная версия сайта приобретает всё большее значение, так как по последним данным 47% россиян заходят в интернет с помощью смартфонов.
В этой небольшой статье мы рассмотрим ключевые моменты разработки удобного мобильного интерфейса и предложим чек-лист для оценки его качества.
Привет, Хабр!
Хотел было назвать эту статью «Защитные метрики», но тут такая штука — погуглил в рунете, а там тишина (ну, почти). Пришлось пойти по классике и оставить название на английском — guardrail metrics.
Guardrail metrics — это метрики, которые используются в A/B тестировании для предотвращения нежелательных побочных эффектов. Их основная цель — следить за тем, чтобы изменения, которые вы вносите для улучшения определенных показателей, не повредили другим важным аспектам продукта.
Рассмотрим подробнее.
Ни одна мобильная игра не может быть на 100% Free-to-Play. Это такой же бизнес, существующий в рамках своей экономики, поэтому ему нужно зарабатывать деньги.
Монетизация игрока — это способ извлечь прибыль, которая покроет расходы на его привлечение. Построение грамотной стратегии монетизации — очень сложная задача для разработчика игры (или издателя). Некоторые тратят годы, чтобы их игра наконец начала приносить прибыль.
В этой статье мы рассмотрим основные типы монетизации пользователей, проблемы, которые могут возникнуть, и ключевые метрики, на которые стоит обращать внимание при разработке игры.
Проектирование A/B-экспериментов может быть сложным процессом, особенно для тех, кто только начинает работать с аналитикой и тестированием в мобильных приложениях. Нередко возникают проблемы с формулировкой гипотез, выбором метрик и определением оптимального распределения аудитории.
На связи Алексей Андриянов, менеджер продукта в RuStore. В этой статье на простом примере мы рассмотрим, как правильно подойти к постановке гипотезы и избежать распространенных ошибок при тестировании изменений в мобильных приложениях.
Возвращаюсь спустя пару месяцев и продолжаю серию публикаций по улучшению юзабилити мобильных приложений. Сегодня сравниваем двух лидеров рынка и крупную региональную сеть. Делимся, что можно позаимствовать из каждого и какие ошибки совершают дизайнеры. Поверьте, не все так очевидно, как мне казалось.
