Аналитика мобильных приложений *

Если вы искали ответ на вопрос «Сколько людей пользуется темной темой?», то вот он, рассказываю. 

На примере букмекерского продукта, в мобильном приложении больше 40% пользователей видят темную тему, когда заходят в приложении. Это может быть как системная настройка переключения темы на устройстве (таких кстати ~85% пользователей), так и вручную переключились и сидят только на темной. 

В вебе процент меньше, около 25%. Вероятно, это связано с тем что не все компьютеры/ноутбуки умеют в системную смену темы девайса, а также с тем что часть веб (особенно десктоп) аудитории довольно таки консервативна, и для них сайт - это обязательно что-то на белом фоне.

Так что, если вы сомневались нужна ли темная тема в продукте. Не сомневайтесь, нужна.

Конец профессии? Может ли ИИ заменить аналитиков?

Всем привет на связи data dreamen!

На фоне новостей о выходе новых моделей ИИ — DeepSeek и Qwen2.5-Max, которые, судя по тестам, местами даже превосходят решения OpenAI, снова возникает вопрос: что будет дальше? Сможет ли ИИ заменить меня, аналитика? И что мне с этим делать?

Если коротко — пока нет. Это подтверждает исследование Всемирного экономического форума: профессии, связанные с аналитикой данных и Data Science, занимают 11-е место среди самых перспективных к 2030 году. DWH-инженеры находятся на 6-м месте, а специалисты по Big Data и вовсе возглавляют этот список.

Однако, несмотря на высокий спрос на аналитиков, ИИ все же серьезно повлияет на рынок и характер работы в этой сфере. Вопрос в том, как именно.

① Автоматизация инструментов. ИИ будет активно заменять рутинные задачи, в том числе у аналитиков. Написание кода, выгрузка данных, подготовка отчетов — всё это будет автоматизироваться, минимизируя ручной труд.

② Развитие self-service. Чем больше задач автоматизируется, тем меньше заказчикам потребуется обращаться к аналитикам напрямую. Многие вопросы смогут решаться через self-service инструменты, снижая нагрузку на команду аналитики.

③ Масштабирование и рост зоны ответственности. ИИ возьмёт на себя базовые аналитические задачи, а аналитикам останутся более сложные, стратегические и ответственные решения — там, где автоматизация не справляется.

Что все таки ИИ не сможет сделать с аналитиками?

① Разработка и принятие нестандартных решений. ИИ — это модель, обученная на данных, но он не обладает креативностью и не умеет находить альтернативные пути решения. Когда нужно выйти за рамки типовых сценариев, роль человека остаётся ключевой.

② Контекст, бизнес-логика и коммерческая тайна. Во многих компаниях процессы настолько сложны, что даже человеку требуется несколько лет, чтобы в них разобраться. ИИ может помогать, но учесть все нюансы и скрытые факторы ему пока не под силу. К тому же, передача коммерческих данных открытым моделям может быть небезопасной.

③ Коммуникация. Аналитика — это не только цифры, но и умение "продать" свои выводы бизнесу, донести ценность и добиться внедрения решений. Даже идеальный расчет не будет полезен, если его не смогли правильно презентовать. Ну и, конечно, навыки постановки ТЗ у заказчиков пока не оставляют шансов ИИ полностью заменить аналитиков.

Что же в итоге нас ждет?

Скорее всего, компании будут разрабатывать собственные решения или внедрять рыночные инструменты для автоматизации аналитики, например:

• конвертеры текстовых запросов в SQL-скрипты

• АВ-платформы, которые смогут работать без участия аналитиков

• визуализаторы данных, создающие отчёты по текстовому запросу

В результате акцент в работе аналитиков сместится: на первый план выйдут не базовые хард-скиллы (SQL, Python, BI-инструменты), а умение применять их в сложных и нестандартных ситуациях.

📉 К сожалению, это сильнее всего ударит по джунам — для принятия сложных решений нужен опыт, а простые задачи постепенно автоматизируются.

Но те, кто сможет адаптироваться, будут только в выигрыше! 🚀

Подписывайтесь на тг, там еще больше полезного и интересного про аналитику - https://t.me/data_dreamen

⁠⁠

12 проблем, которые убивают результаты вашего A/B тестирования. Паша Бухтик на митапе Garage Eight

В октябре собирали гостей в нашем петербургском офисе послушать доклады и понетворкать. В этот раз в числе спикеров был и приглашенный эксперт Паша Бухтик, Founder & CEO at No Data No Growth; ex-Head of Analytics at Yandex, FindMyKids, Kupibilet.

Паша поговорил о распространенных ошибках, с которыми сталкиваются многие продуктовые менеджеры и аналитики, и о том, как эти ошибки могут свести на нет результаты любого A/B-теста. Узнай из записи лекции!

И ждем тебя на следующих митапах в Garage Eight. Публикуем анонсы на сайте и в соцсетях.

Согласно данным, технология PWA стала популярнее среди мессенджеров, банков, интернет-магазинов и других видов компаний.

Основные плюсы прогрессивных веб-приложений касаются пользовательского опыта: здесь есть преимущества как по сравнению с вебом, так и с нативными приложениями. Рассмотрим эти особенности подробнее.

1. Устанавливаются в обход сторов.

Пользователи скачивают прогрессивные веб-приложения напрямую из браузера с сайта компании. Это помогает компании сэкономить бюджет на продвижение приложения в сторах.

2. Работают в офлайн-режиме.

Прогрессивные приложения может работать в автономном режиме без соединения с сервером.

3. Загружаются за секунду. 

PWA загружаются очень быстро благодаря HTML-отдаче. С момента загрузки до появления первого элемента или изображения обычно проходит не более 1 секунды.

4. Весит меньше мегабайта. 

В отличие от нативных приложений PWA занимает менее 1 Мб в памяти смартфона. 

5. Эффективно адаптируется под устройство. 

PWA подстраиваются под любое пользовательское окружение. Они работают на всех возможных системах, устройствах и браузерах. 

6. Выглядит привычно для пользователя. 

При загрузке PWA пользователь может установить ярлык или иконку приложения на экран смартфона.

Если для бизнеса существуют значимые риски, создание PWA может быть более оправданным шагом: так вы избегаете зависимости от сторов и их политики.

Как Duolingo добилась успеха на рынке и причем тут аналитика

Duolingo — одно из самых популярных приложений для изучения языков (№1 по скачиванию в магазинах приложений). Вместо скучных уроков оно напоминает игру: прогресс, уровни, награды, упражнения мини-игры и др.

По данным компании, около 34 млн. человек используют Duolingo каждый день.

Но что стоит за этим успехом?

Один из ключевых принципов компании — "Тестируй всё". Постоянные эксперименты помогают Duolingo улучшать процесс обучения и находить новые решения для роста.

В любой момент в Duolingo могут проводиться несколько сотен A/B тестов одновременно. Экспериментируют со всем: от мелких изменений интерфейса до запуска крупных функций, как Лидерборды. Для A/B тестирования компания разработала собственный сервис.

➡ Как выглядят эксперименты в Duolingo: статья.

➡ Пример A/B тестирования: формирование привычки учиться регулярно: статья.

➡ Какие аналитические инструменты использует компания для анализа данных: статья.

О других принципах успеха Duolingo и работе в этой компании писала тут.

Как Spotify добилась успеха на рынке и как аналитика помогает развитию?

Spotify — №1 среди музыкальных стриминговых сервисов по количеству ежемесячных активных пользователей (MAU). По данным компании, более 515 млн человек используют Spotify ежемесячно, а 210 млн — это подписчики на платные версии сервиса.

Пользователи могут слушать любимую музыку и подкасты по подписке или бесплатно с рекламой.

Что стоит за этим успехом?

Эксперименты. В Spotify регулярно проводят эксперименты с интерфейсом, рекомендациями и новыми функциями, чтобы улучшать сервис.
Все статьи про эксперименты

Дашборды. В 2023 году в Spotify создали более 4900 дашбордов в Tableau и Google’s Looker Studio. Чтобы было легче контролировать качество, был разработан Dashboard Quality Framework — чек-лист, который включает пункты, связанные с визуальным дизайном, удобством использования, инсайтами и доверием.
Статья и чек-лист дизайна дашборда

Дата платформа. В Spotify считают, что с ростом объема и сложности данных роль мощной платформы становится критичной для получения ценных инсайтов и стимулирования инноваций.
О платформе данных в Spotify - Часть 1
О платформе данных в Spotify - Часть 2

Машинное обучение. Spotify активно использует машинное обучение для улучшения пользовательского опыта и создания персонализированных музыкальных рекомендаций.
Все статьи Spotify про машинное обучение

Тут писала про 15 бесплатных подкастов по аналитике и не только на английском.

Какие качественные и количественные исследования стоит проводить в рамках Discovery-процесса?

Качественные:

1. Глубинные интервью
   
   Помогают получить искреннее мнение вместо социально одобряемых ответов, в отличие от фокус-групп. К глубинным интервью еще относят и другие форматы, например, CustDev, которые выявляют проблемы и потребности пользователей.

2. CJM

   Делим пользователей на сегменты и общаемся с каждым из них. Дальше просим пройти определенный сценарий и рассказать об опыте взаимодействия с продуктом, от первого знакомства до первой покупки. Так выявляем трудности на каждом этапе.

3. Юзабилити-тестирование

   Перед запуском продукта создаем кликабельный прототип сервиса и просим пользователя выполнить задачу. Главное — не подсказывать и не убеждать в удобстве прототипа, а оценить его объективно. На выходе получаете тест первого клика и тепловую карту сервиса. Метод подходит для проверки дизайна и контента и помогает выявить эффективные решения.

Количественные:

1. Количественный опрос
   
   Проводим их после качественных исследований для подтверждения результатов. Это простой способ привлечь респондентов и быстро собрать репрезентативную выборку. В итоге получаем статистически значимые данные по интересующим вопросам.

2. A/B-тесты
   
   Делим респондентов на 2 группы: тех, кто видит старый интерфейс, и тех, кто видит новый или экспериментальный. Иногда показываем два варианта дизайна для выбора лучшего. После сбора достаточного количества данных завершаем тест и подводим итоги.

Подробнее о Discovery пишем тут.

Как понять, что пора заканчивать процесс Discovery

В этом поможет закон убывающей полезности. Как он работает, объясним на примере.

Когда мы проводим качественные исследования, берем 5–7 человек на один сегмент целевой аудитории. Социология и статистика показывают, что этого достаточно, чтобы выявить 80–90% проблем сегмента. Конечно, мы можем опросить и 30 человек, но выявим ли мы таким образом 100% проблем? Скорее всего, мы потратим намного больше ресурсов, а в итоге сможем лишь незначительно уточнить данные.

Закон убывающей полезности работает и в случае исследования конкурентов — изучать всех не имеет смысла. Мы просто утонем в данных. Есть три сигнала, которые четко указывают, что Discovery пора заканчивать.

1. Когда кончаются гипотезы. Вы провели несколько итераций исследований и поняли, что пополнять бэклог больше нечем: новых инсайтов нет.

2. Когда гипотез слишком много. Вы проводите исследования и продолжаете пополнять бэклог снова и снова, задач там уже на три квартала вперед.

3. Когда заканчиваются время и деньги. Исследования можно проводить бесконечно, но у любой задачи есть дедлайны и бюджеты.

Мы всегда можем вернуться к Discovery, чтобы проверить какую-то фичу. Например, если поменяли интерфейс — можем провести юзабилити-тестирование. Но на самом первом этапе, когда мы еще только выясняем потребности пользователя, нужно уметь вовремя остановиться.

Подробнее о процессе Discovery — в большой статье.

Человек vs машина, или Почему А/Б-тесты не панацея

Недавно Spotify выкатили новую фичу на основе ML — Shortcuts. По сути, это шесть персонализированных плейлистов c музыкальными предпочтениями пользователей.

Они составляются не на базе новой музыки, а на базе того, что ты слушал недавно. Команда Spotify исследовала паттерны прослушивания музыки и обратила внимание, что, если пользователю нравится песня, он слушает ее на репите.

Так и появилась идея создать подобную фичу. Одной из задач при ее внедрении было придумать емкое название, чтобы люди сразу понимали, что это. Команда предлагала разные варианты:

🎵 Послушать сейчас.
🎵 Быстрый доступ.
🎵 Горячие кнопки.
🎵 Доброе утро.

Результаты A/B-теста не показали значительной разницы между ними.

Один из участников команды настаивал на варианте «Доброе утро»: так пользователь косвенно будет понимать, что страница с кнопками — его пространство, а горячие клавиши — его персонализированные песни.

Такой эмпатичный подход всем понравился. Фичу внедрили, и она собрала в основном положительные отзывы. Даже больше — исследования показали, что она вызывает эмоциональную привязанность у пользователей.

Правда, пришлось ее доработать: менять приветствие и состав музыки в зависимости от времени суток.

Всё это лишний раз напоминает нам, что данные и цифры не охватывают полную картину мира. Если бы мир можно было померить таким образом, всё было бы гораздо проще, в том числе и создание продуктов.

Приходите обсуждать продуктовый подход к нам в Телеграм-канал.

Почему размер телефона имеет значение

На дизайне до безобразия редко вспоминают, что люди привыкли пользоваться разными смартфонами. Одни обожают лопаты до локтя, другие — миниатюрные аппараты, которые умещаются в ладони. А между тем, первые исследования о том, как люди держат в руках телефон и планшет, появились на Западе еще в 2010-х.

Вот недавний кейс из нашей практики. Заказчик сделал в мобильном приложении ленту с фотографиями. И всё бы хорошо, но было одно «но». Чтобы листать кадры, нельзя было просто свайпать. Вместо этого нужно было жать на кнопку в самом низу фото. Причем на маленьких девайсах блок с фото, заголовком и самой кнопкой не умещался на экране. Чтобы ее увидеть, нужно было скроллить вниз. И далеко не каждый это понимал.

Более того, если пользователь находил заветную кнопку и перелистывал фото, ему приходилось скроллить вверх, чтобы увидеть ее целиком. Чувствуете, как больно? При этом на большом IPhone Pro Max всё было в полном порядке — красиво и удобно.

Этот кейс напоминает нам, что у пользователей разный опыт, и это не всегда очевидно. А ведь есть еще куча более тонких нюансов:

💬 Что, если пользователь предпочитает планшет?

💬 А если он использует только левую руку, потому что в правой держит кофе?

💬 А вдруг это приложение для готовки, и с ним удобнее работать голосом?

Иногда детали просто невозможно узнать без исследования. А без этих деталей сделать удобный интерфейс — очень, очень сложная задача.

Больше постов о метриках и исследованиях — в нашем канале.

5 принципов именования и документирования аналитических событий

В нашей практике мы часто сталкиваемся с одной и той же проблемой: компании собирают огромное количество аналитических событий, но те зачастую плохо задокументированы или не задокументированы вообще. Поэтому понять, что и как работает, особенно новичку, сложно. Чтобы исправить эту ситуацию, мы выработали пять правил, которым стараемся всегда следовать.

1. Единое место документации событий. Создайте единое место документации всех событий (будь то Notion, Confluence, Google-документ или система аналитики с встроенным трекинг-планом) и используйте только его как источник правды.

2. Единая нотация. Выберите одно соглашение о наименовании (нотацию) и придерживайтесь его. Вот наиболее используемые из них:

• all lowercase — page view;

• snake_case — page_view;

• camelCase — pageView;

• Proper Case — Page View;

• Sentence case — Page view.

3. Структура в названии событий. Обычно название события — это комбинация названия объекта, совершенного над ним действия и, при желании, категории события.

4. Понятные названия. Название события должно быть четким, понятным и легкочитаемым. Оно должно отражать логику события без необходимости изучения задачи на разработку.

5. Единый справочник параметров. Определите список параметров всех событий и пользователей, максимально опишите их, укажите возможные значения параметров, их обязательность и тип. Переиспользуйте параметры в событиях.

Подробнее о каждом пункте мы рассказываем в отдельной статье.

Что изучить, чтобы погрузиться в A/B-тесты?

Хороший вопрос! На самом деле, материалов много, но найти «те самые» не так уж просто. В основном в тему погружает либо что-то «издалека», например, базовая статистика, либо уже материалы «продвинутого» уровня с массой формул. А вот так, чтобы прочитать что-то одно усредненное и сразу разобраться, увы, не выйдет.

Именно поэтому мы обратились за рекомендациями к Даше, нашему Senior product analyst. Лови ее рекомендации:

Курс «Основы статистики» от Анатолия Карпова
Это база! Курс знакомит с основными понятиями и методами математической статистики, а полученных знаний хватит для того, чтобы начать пробовать себя в тестированиях. 

Вебинары karpov.courses
Мне очень нравится, что у них много бесплатных полезных материалов,
где доступно, внятно и с примерами в коде рассказывают об аналитике в целом и про A/B-тесты в частности. 

Книга «Доверительное а/b-тестирование», Рон Кохави
Книга полезная, но прочесть ее целиком получится не у всех, поэтому ориенти-руйся по оглавлению и своему уровню. Главное, не повторяй моих ошибок и не читай ее в русском переводе. 

Блог Рона Кохави
90% цитат и новостей из мира A/B-тестирований в русскоязычном сегменте — это пересказ его блога ;-)

Telegram-канал EXPF
Почему-то довольно мало людей знает про этих ребят, а они очень крутые.
Но имей в виду, в канале публикуются статьи продвинутого уровня. 

Кстати, именно эту подборку Даша советует для изучения потенциальным кандидатам в свою команду ;-)

Как аналитику данных искать работу и развиваться в профессии?

Ольга Матушевич, наставница на курсе «Аналитик данных» в Практикуме проанализировала 1 239 вакансий на hh.ru аналитиков данных. Вот такие рекомендации джуниорам можно дать на основе исследования:

Советы для джуниоров

• В первую очередь учите SQL и Excel. Только за их знание вас могут нанять — хотя выбор вакансий будет довольно узким. 

• Освоив SQL с Excel и начав рассылать резюме, вы можете приступить к изучению Python и BI-систем (лучше начать с Power BI или Tableau) для построения дашбордов. Это сильно расширит количество подходящих вакансий.

• Переезжайте в Москву. Или в Питер. Удалённую работу вам будет сложно найти, а большинство вакансий в офисе сосредоточено именно в этих городах.

• Развивайте аналитическое мышление и навык коммуникации.

• Повышайте свой грейд. Хотя бы до джуниора+. Для этого выполняйте пет-проекты, участвуйте в хакатонах и стажировках.

Советы для джуниоров+

• Сконцентрируйтесь на изучении Python — теперь он для вас важнее, чем Excel.

• Продолжайте развивать свои навыки в BI-системах и SQL. 

• Помните, что «мягкие» навыки для вас всё ещё важны.

• Начните изучать теорию по базам данных. Просто писать запросы уже недостаточно.

• Если уж вы целый год отработали аналитиком, можете смело писать в резюме, что знаете Confluence.

→ Посмотреть полное исследование

Приложения для часов Apple Watch. Ну или других часов.

Почему их так мало? Как спортивный калькулятор калорий многие используют. Или сообщения читают (а ответить крайне сложно и неудобно. особенно на совещаниях).
Неужели вот такой формат маленького экрана так ограничивает фантазию и никто не может придумать приличного варианта использования? Некие новые полезные функции или функции старые, но полезные и удобные именно в часах?
Ведь часов уже много поколений, а приложений для них буквально минимум.
Конечно по сравнению со смартфонами?
Или экран настолько ограничивает, что вариантов использования действительно мало?
Платить на кассе в странах где это работает? И читать сообщения?
У меня много знакомых с такими часами, но я не вижу, чтобы они пользовались кроме часов чем-то еще.
А ведь если мало приложений, то это большие перспективы? Рынок открыт и свободен. На смартфонах не пробиться со своим приложением. А тут открытый рынок. И никого на нем нет.
На Хабре последнее упоминание о часах apple в 2020

Приложение «Шедеврум» от «Яндекса» вошло в тройку ведущих мировых приложений с генеративным искусственным интеллектом по данным на конец 2023 года. Информацию об этом опубликовала аналитическая компания Data.ai (прежнее название — App Annie) в своём ежегодном исследовании глобального рынка мобильных приложений.

В составленном Data.ai рейтинге приложений с генеративным ИИ «Шедеврум» занимает третью строчку с итоговой оценкой в 95 баллов из 100. Для оценки приложений Data.ai использует собственную метрику — Mobile Performance Score (MPS). При изучении приложений категории, в которую включён «Шедеврум», она учитывает три параметра: количество загрузок и пользователей (acquisition), вовлечённость аудитории (engagement) и оценки пользователей (sentiment). Алгоритмы искусственного интеллекта Data.ai выставляют от 1 до 100 баллов по каждому из них и формируют среднюю оценку.

«Шедеврум» — это мобильное приложение «Яндекса», в котором пользователи могут создавать видео, изображения и тексты с помощью нейросетей. Нейросеть YandexART генерирует картинки и анимацию, а ИИ-система YandexGPT позволяет получать содержательные посты с заголовком и подходящей по смыслу иллюстрацией.

После запуска в апреле 2023 года проект «Шедеврум» попал на первые места по популярности в российских магазинах приложений App Store и Google Play. C тех пор его установили почти 8,5 миллионов пользователей.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_19

? Как работает Batch Normalization в PyTorch ? (Часть_2)

1. Масштабирование и сдвиг: После центрирования и масштабирования активаций, они масштабируются путем умножения на масштабирующий (scaling) коэффициент и сдвигаются путем добавления смещающего (shifting) коэффициента. Эти коэффициенты являются обучаемыми параметрами и оптимизируются вместе с другими параметрами модели.

2. Вывод активаций: Нормализованные и сдвинутые активации передаются на вход следующего слоя нейронной сети.

• ? Телеграм-канал: t.me/DenoiseLAB (Если вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_17

? Можете ли вы объяснить, как работает Prophet для прогнозирования временных рядов ? (Часть_2)

1. Прогнозирование: После оценки компонентов Prophet создает фрейм данных для прогноза, который включает будущие даты. Затем он использует оцененные параметры для генерации прогнозируемых значений временного ряда и доверительных интервалов.

2. Визуализация результатов: Prophet предоставляет инструменты для визуализации результатов прогнозирования. Он может построить график исходного временного ряда, прогнозируемых значений и доверительных интервалов, чтобы помочь пользователю оценить качество прогноза.

• ? Телеграм-канал: t.me/DenoiseLAB (Если вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_13

?Вопрос_13: Какие есть альтернативы Expectation-Maximization (EM) ?

1. Markov Chain Monte Carlo (MCMC): MCMC - это класс методов, которые позволяют проводить сэмплирование из сложных распределений, таких как постериорные распределения параметров моделей. MCMC методы генерируют последовательность сэмплов, которая соответствует искомому распределению. MCMC алгоритмы, такие как Metropolis-Hastings и Gibbs sampling, являются альтернативой EM и позволяют оценивать параметры модели, учитывая скрытые переменные.

2. Stochastic Gradient Variational Bayes (SGVB): SGVB - это метод, который комбинирует идеи градиентного спуска и вариационного вывода для оценки параметров моделей. Он позволяет приближенно оптимизировать параметры модели, используя стохастические градиенты, что делает его масштабируемым для больших наборов данных. SGVB широко применяется в глубоком обучении и моделях с динамическими параметрами.

3. Bayesian Optimization: Bayesian Optimization (байесовская оптимизация) - это метод, который позволяет находить оптимальные значения гиперпараметров модели. Вместо оценки параметров модели, как делает EM, байесовская оптимизация исследует пространство гиперпараметров с целью нахождения наилучших настроек модели с использованием итераций оптимизации и апостериорных распределений.

t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных);