Все по графику: как мониторинг активности пользователей на главной Mail.Ru помогает жить и решать проблемы

    График активности пользователей на главной странице Mail.Ru — это своего рода термометр, причем сверхчувствительный. Порой аудиторные показатели отражают проблемы, которые возникли у другого большого интернет-сервиса, или же показывают реакцию на какие-либо важные события в общественной жизни.

    О том, как мы используем мониторинг пользовательской активности для решения проблем, а также о других его применениях, которые мы нашли, я расскажу в этой статье.

    За тем, как работает главная страница, мы следим по техническим графикам:
    1. График времени загрузки страницы по блокам. Мы смотрим не только на общее время загрузки главной страницы, но и на показатели по отдельным ключевым блокам — Почта, Новости и т.п.
    2. График «рефрешей» (загрузки страницы из кеша). Он позволяет отличить увеличение аудитории по естественным причинам от перезагрузок страницы одними и теми же пользователями. Второе часто говорит о том, что пользователи столкнулись с какой-то технической проблемой.

    Но зачастую мы видим, что поведение пользователей резко меняется, при этом на технических графиках отклонений нет. Чтобы иметь полную картину происходящего на главной странице, мы дополнили их графиками активности пользователей. Они показывают переходы с главной страницы на другие проекты. Мы отдельно мониторим и «большую» главную, и мобильные (у нас три мобильных версии — для разных моделей телефонов). В качестве бонуса мы получили своего рода термометр интереса пользователей к разным темам и событиям.

    Резкие изменения на графиках активности практически всегда означают что-то из следующего:
    • волнующее большое количество людей событие (например, большие спортивные события, чрезвычайные происшествия и т.д.);
    • технические проблемы на других крупных или тесно связанных с Mail.Ru сервисах;
    • технические проблемы собственно на главной странице Mail.Ru (это случается действительно редко, но как раз наличие подобных мониторингов позволяет отличить проблемы на главной от проблем на других крупных сервисах).

    Практика показывает, что резкое повышение пользовательской активности на каком-либо проекте чаще всего свидетельствует не о внезапно вспыхнувшей любви юзеров к сервису, а, к сожалению, о появлении каких-то проблем. Просто не всегда это проблемы на нашей стороне. Я расскажу о наиболее запомнившихся мне случаях.

    Волнующие людей события


    Как-то поздним вечером мы увидели, что на графиках вдруг начался какой-то ненормальный для этого времени суток рост активности. Выросли просмотры всех версий главной страницы, как большой, так и мобильных версий. Мы кинулись выяснять, в чем дело. График рефрешей страницы, JS-ошибок, времени загрузки и другие показывали стандартные данные, отклонений не было. В результате оказалось, что всплеск активности — это следствие закончившегося в тот момент футбольного матча, важного для сборной России. Люди массово пошли в интернет обсуждать это событие (выросли переходы в соцсети) и искать более подробную информацию о нем (выросли переходы в поиск и новости). Сейчас мы быстро отличаем такие события от технических сложностей, так как видим не только увеличение числа просмотров главной страницы, но и возросший интерес к определенным проектам.

    В описанной ситуации графики выглядят так: росту просмотров главной страницы соответствует рост переходов на проект Новости Mail.Ru. Графики ниже показывают возросшую активность пользователей, спровоцированную еще одним знаковым матчем: Россия — США на ЧМХ 2013 (16 мая 2013). Это +10% к просмотрам главной страницы и +50% к переходам на Новости.



    Спортивные события — самые предсказуемые по времени и вызывающие стабильный интерес у пользователей. Прошлый год был особенно богат на них. В начале года мы регулярно наблюдали всплески на графиках активности пользователей — это были многочисленные победы и редкие поражения в Олимпиаде, чемпионаты мира по хоккею и по футболу. Кстати, по нашим графикам мы даже можем определить, какое событие вызвало наибольший резонанс. Так, например, во время Чемпионата мира по футболу самым интересным для россиян оказался матч Алжир — Россия. Зная, что сразу после окончания подобного события люди начинают активнее вести себя в интернете (искать информацию, читать новости и т.п.), мы стали встречать «разгоряченных» болельщиков праздничными логотипами в случае победы в крупных соревнованиях.

    Еще один фактор, способный оказывать существенное влияние на пользовательскую активность, — это телесюжеты. Бывают вещи, которые смотрят настолько массово, что это заметно и на наших графиках! Например, когда началась трансляция закрытия Олимпиады, мы тут же увидели, как люди «ушли» из интернета — снизились просмотры и активность. Зато в момент рекламной паузы количество просмотров мобильной главной страницы увеличивалось на 30-40%.

    Соотнеся аудиторные графики и программу мероприятий, мы стали строить предположения о том, какие сюжеты наиболее и наименее интересны пользователям. К примеру, самыми интересными для телезрителей моментами закрытия Олимпиады стали начало и завершение представления — номера с детьми и символами Олимпиады.



    Еще один телесюжет, стабильно привлекающий внимание массы пользователей, — ежегодное послание и пресс-конференция президента. На наших графиках в это время виден спад посещаемости относительно обычного уровня — люди отвлекаются на телевизор сильнее, чем обычно. Кстати, отчасти по причине такого высокого интереса мы стали показывать трансляции подобных событий прямо на проекте Новости Mail.Ru.

    Крупные происшествия (смерть известных людей, катастрофы и т.п.) зачастую вызывают на графиках всплески, сравнимые со спортивными событиями. Убийство Бориса Немцова, о котором стало известно в прошедшую субботу 28 февраля, настолько резонансно, что появление первой информации о происшествии не только вызвало заметный рост переходов на новости и рост количества поисковых запросов, но и отразилось всплеском просмотров главной страницы: несмотря на позднее время, люди пошли в интернет за подробностями. Это особенно заметно на мобильной версии главной страницы.



    Наши коллеги подготовили спецпроект о событиях, которые больше всего интересовали людей в прошедшие годы, — Новейшая история России 2006-2014. Многие из этих событий выразились всплесками на графиках активности пользователей. Например, авикатастрофа, произошедшая в Казани в 2013 году. ЧП случилось около восьми вечера, очень скоро появились новости по теме. И, уже ожидаемо, возник огромный интерес к происшествию:



    Наконец, большой резонанс у пользователей вызывают экономические потрясения. Так, например, интерес к блокам с курсами валют на главной планомерно рос в течение осени 2014 года и достиг своего пикового значения 16 декабря, когда Центробанк повысил ключевую ставку до 17%. Вместе с тем как на бирже ММВБ стоимость евро поднялась до 100 рублей, выросло количество просмотров на главной странице Mail.Ru, с которой пользователи переходили на блок с курсами валют. В результате переходы на курсы валют выросли в 9 раз по сравнению с обычным днем.



    График переходов на Новости Mail.Ru с главной страницы позволяет отличить такой естественный рост активности от всплесков, вызванных другими причинами, о которых пойдет речь дальше. Я вообще читаю новости по графикам — если на них виден всплеск, значит, случилось что-то заметное и стоит почитать новости на главной Mail.Ru.

    Изменения на других крупных интернет-проектах


    Интересно, что другие крупные интернет-проекты также влияют на поведение пользователей портала Mail.Ru. У любого, даже большого и очень надежного сервиса, иногда бывают технические проблемы (такие аварии, как правило, случаются всего несколько раз в год), и поведение пользователей в этот момент выглядит интересно. Видно, как люди буквально перебегают с одного ресурса на другой.

    Рост переходов с главной страницы одновременно на несколько проектов Mail.Ru, как правило, означает, что у пользователя проблемы с доступом к какому-то другому крупному сервису — социальной сети или поисковику. При возникновении проблем с другими поисковыми сервисами на главной странице заметно прибавляется пользователей и растет количество поисковых запросов. Если же технические сложности испытывают социальные сети, люди начинают искать, чем себя развлечь, и переходят, кажется, вообще на все проекты — в Почту, Поиск, Новости, скачивать Агент и т.п.

    Проблемы у крупного интернет-провайдера


    Другой интересный кейс — проблемы с доступом у крупного провайдера. В России серьезных проблем на моей памяти не случалось, а вот в Казахстане, где проживает заметный процент аудитории Mail.Ru, иногда бывает. Тут нужно добавить, что у главной страницы три мобильных версии: touch-версия — для iOS, Android и WP, мобильная версия — для пользователей с браузером Opera Mini, и версия для фичафонов — слабых телефонов и телефонов с маленьким экраном. География пользователей отличается между версиями, так на touch-версии есть перекос в сторону пользователей из Москвы, а на версии для фичафонов заметно больше, в том числе, пользователей из Казахстана. За счёт этого различия проблемы в Казахстане можно угадать по более сильным отклонениям на графиках версии для фичафонов. В данном примере аудитория этой версии гораздо заметнее проседала по посещаемости, чем другие версии главной страницы.



    Наличие графиков переходов на проекты с главной страницы позволяет, в том числе, быстро отличать наши технические проблемы от чужих. Без них мы бы постоянно дёргались, пытаясь разобраться в причинах, а так достаточно одного взгляда на дашборд, который объединяет все графики, чтобы решить, нужно ли предпринимать активные действия.

    Технические проблемы на главной странице


    В завершение приведу пример того, как мы отследили по графикам проблему на нашей стороне. Так же, как и в прошлых случаях, сначала мы увидели рост просмотров и рефрешей главной страницы. Графики активности пользователей позволили быстро определить, в каком месте проблема, так как выросли переходы на погоду и смену города на главной. Оказалось, что при автоматическом обновлении геобазы части ip-адресов был по ошибке присвоен неверный город. Пользователи моментально среагировали на это кликами в смену региона, чтобы вернуть «свой» город на главную. Благодаря этому мы быстро заметили и починили ошибку, а в дальнейшем покрыли это место дополнительными тестами.

    ***
    Примеров интересного поведения пользователей, конечно, гораздо больше. Мы собрали и классифицировали наиболее типичные для главной страницы ситуации. Дополнение технических графиков графиками активности пользователей в случае с главной страницей позволяет быстрее и точнее понимать причины резкого изменения поведения пользователя. Это сокращает время выявления неполадок или дает понимание того, что проблемы на стороне проекта нет. Кроме того, графики активности позволяют видеть, какие темы наиболее волнуют людей, и учитывать это в будущем.

    Есть ли у вас опыт систематического наблюдения за активностью аудитории? Поделитесь интересными фактами!

    Кстати, мы ищем человека, который поможет нам развивать главную страницу Mail.Ru. Если вам интересны такие задачи, вот ссылка на нашу вакансию: brainstorage.me/jobs/27333
    Mail.ru Group
    Building the Internet

    Similar posts

    Comments 5

      0
      Мобильные версии мониторите…
      А вы сравнивали себя с яндексом в качестве ежедневного агрегатора новостей для смартфонов?
      Хотя бы очевидное:

      • Из-за принудительного SSL (я не залогинен) открытие страниц в 2-3 раза дольше. Я даже не про сотовую сеть, а про шустрый домашний WiFi.
      • Блоки с рекламой появляются не сразу, отчего вёрстка скачет уже после открытия страницы.
      • При листании «от края» на iOS эти блоки уже есть, но после открытия страницы реклама обычно меняется на другую (часто другой высоты).
      • Вообще, реклама сверху каждой (!) страницы, которая периодически повторяется (!!) между страницами — явно не стимулирует глубину просмотров.
      • Гамбургер призван устранить нехватку обычной навигации, но сам открывается чуть ли не секунду (и потом, за ним надо тянуться).
        +2
        Пост вообще-то про главную страницу Mail.Ru и поведение пользователей на ней, а у Вас вопросы на другую тему. Попробую ответить на некоторые из них:
        1) да, конечно, загрузка по SSL происходит несколько дольше (но, конечно, не в два-три раза), это такая «плата» за безопасность пользователя. А с чем вы сравниваете текущую скорость загрузки?
        2,3,5) Судя по вашим вопросам у вас в принципе всё долго грузится, такого не должно быть. И реклама прыгает, и навигация долго загружается, хотя обычно она сразу же открывается. Я вам в личку позадаю вопросов, посмотрим, в чем дело
        4) баннер вверху страницы на Новостях есть уже очень давно. Если говорить про глубину просмотров, то мы большинство обновлений внедряем через эксперименты, замеряя ключевые показатели, чтобы не сделать хуже пользователю
          0
          а у Вас вопросы на другую тему

          Категорически привык к оффтопам в данном блоге :)

          1) Ровно в 3 раза получилось на iOS simulator. Завтра видео с девайса постараюсь сделать.
          Сравнивал сейчас вас с Яндексом — время открытия страницы «новости» с заглавной мобильной страницы.

          Из-за SSL действительно меньше, чем в 3 раза. Часть тормозов в JS-коде главной.
            0
            Добрый день!
            В последнее время мы уделяем много внимания скорости отображения страниц наших контент-проектов и активно работаем над ее увеличением. К сожалению, это не такой быстрый процесс, потому, что решения создаются одновременно для множества проектов, архитектура которых, так же как и используемые в них наборы инструментов, могут различаться.
            Если вы уточните, в каких именно моментах и в каком окружении (модель телефона, тип подключения к сети, браузер) работа сайта кажется вам слишком медленной, мы обязательно рассмотрим варианты улучшения его отзывчивости.
            З.ы. скорость открытия hamburger menu, конкретно на тач-версии новостей установлена равной 0,2s, вероятно задержка при открытии связана с тем, что обрабатывается событие click, в ближайшем релизе обновим модуль, чтобы избавиться от задержки.
              0
              Доброго дня!

              Проект «новости» в 2-3 раза тормознее, чем у яндекса. Мне было это очень заметно, потому что яндекс-новости читаю каждый день.
              iPhone 4S, iOS 8.1.3, Safari.

              Подробнее в личку Rukola уже много букв написал. Накидал видео и добавил, что могу потестировать всё, чего ещё попросите, какие-то другие ситуации.

              И оставлю тут, вдруг набегут юзабилисты:
              Вообще вы молодцы: визуально (если брать статическую картинку) после редизайна у вас стало куда круче, чем у Яндекса. У вас нормальный контент, и не приходится выбирать между разными источниками.

              Но вот во взаимодействии (в динамике) — вам ещё много нужно продумывать. Не хватает, знаете, «диванного эффекта». У Яндекса много горизонтального скролла и прочие элементы геймификации. Гамбургеры прикольные: не в углу (до которого никто не дотянется на айфоне!), а прям посередине страницы, причём по правому краю. Идеально :)

      Only users with full accounts can post comments. Log in, please.