Pull to refresh
66.45
red_mad_robot
№1 в разработке цифровых решений для бизнеса

Инструменты для A/B-тестирования iOS-приложений

Reading time 6 min
Views 15K

В данной статье я рассмотрю несколько инструментов для A/B-тестирования мобильных приложений с примерами и дам их краткую характеристику. Для успешного проведения тестирования также необходим сервис аналитики, в котором можно сравнивать результаты. Независимые сервисы аналитики мы сегодня рассматривать не будем, но затронем те возможности, которые есть внутри инструментов, о которых пойдет речь.

Что такое A/B-тестирование?
A/B-тестирование — метод сравнения двух или более вариантов представления элементов сайта или мобильного приложения между собой с целью определить лучший из них и принять в качестве искомого в дальнейшем, чтобы в конечном итоге улучшить UX. Части пользователей демонстрируется версия сайта с одним расположением элементов на экране, остальным – с другим. Сравнение нескольких вариантов проводится одновременно в один и тот же период времени. Если вы подумываете о том, чтобы внедрить A/B-тестирование у себя на проекте, рекомендую почитать статью с массой полезных ссылок — от помощи в составлении тестов до оценки результатов. А вот в этом материале разобраны распространенные ошибки: недостаточно продолжительный промежуток времени для A/B-тестирования, пересечение экспериментов между собой, малая база пользователей и так далее.


A/B-тестирование мобильных приложений


Существует большое количество сервисов, позволяющих проводить A/B-тестирование сайтов, но если вы хотите использовать данный метод на мобильных приложениях, то здесь тоже есть из чего выбрать. Необходимый минимум для такого рода сервисов состоит из создания переменных и распределения их между аудиторией. На разработчиках приложения лежит обязанность правильно интерпретировать эти переменные: прямая замена текстовых и числовых данных в приложении, модификация интерфейса на основании значений.

В некоторых сервисах есть удобный визуальный редактор, позволяющий без изменения приложения создавать различные вариации. Но функциональность таких редакторов всё-таки сильно ограничена, с помощью них, например, не получится изменить интерфейс какого-то экрана так, чтобы при других модельных данных этот экран отображался стандартным образом. Для фреймворка это будет один и тот же экран, и изменения будут применяться повсеместно.

Перед нами стояла задача сравнить как текстовые варианты переменных (тексты ошибок, подсказок), так и изменение интерфейса приложения (например, наличие бокового меню и таббара). Из этого исходили при составлении нашего шорт-листа инструментов для A/B-тестирования. Все сервисы, о которых пойдет речь дальше, предоставляют SDK для iOS и Android, c Windows Phone сложнее, в этом случае использование сервисов возможно через HTTP-запросы.

Apptimize


apptimize.com
image
Есть три способа для создания варианта A/B-тестирования:
  1. Визуальный (создается с помощью визуального редактора).
    Позволяет в режиме реального времени с помощью визуального редактора изменить атрибуты элементов интерфейса (текст в UILabel, изображение в UIImageView). Измененное состояние будет новым вариантом:
    image

  2. Блоки кода.
    Позволяет варьировать выполнение операций, например:
    [Apptimize runTest:@"Dummy test" withBaseline:^{
       //Базовая конфигурация 
    } andVariations:@{@"variation1": ^{
        //Альтернативная конфигурация
    }}];
    

  3. Динамические переменные.
    Варианты формируются в зависимости от разных значений. Переменные объявляются вне класса с помощью макросов
    ApptimizeString(name, value), ApptimizeInt(name, value), ApptimizeDouble(name, value), ApptimizeBoolean(name, value), ApptimizeArrayOfStrings(name, value), ApptimizeDictionaryOfStrings(name, value), ApptimizeArrayOfInts(name, value), ApptimizeDictionaryOfInts(name, value), ApptimizeArrayOfDoubles(name, value) ...
    

    Альтернативные значения переменных задаются через веб-сайт. Например:
    ApptimizeString(screenName, @"стандартное значение");
    

    При создании вариантов есть возможность выбрать базу пользователей для тестирования.

    Фреймворк позволяет логировать события:
    [Apptimize track:@"event name"] 
    [Apptimize track:@"event name" value:<double value>] 
    

    Также возможна агрегация событий других сервисов аналитики: Google Analytics, Mixpanel, Flurry, Localytics, Omniture.

    Цена и количество пользователей: есть ограниченная бесплатная версия, 300$/месяц до 100 000 пользователей, выше — не указано.

Optimizely


optimizely.com

Сервис предоставляет те же три способа создания вариантов:
  1. Визуальный


  2. Блоки кода
    [Optimizely codeBlocksWithKey:myCheckoutBlocksKey
                           blockOne:^{
    	// Первая конфигурация
        }
                           blockTwo:^{
    	// Вторая конфигурация
       }
                       defaultBlock:^{
    	// Базовая конфигурация
       }];
    

  3. Переменные
    OptimizelyVariableKeyForString(screenName, @"Hello");
    

    Как видим, возможности c Apptimize идентичные. На первый взгляд, визуальный редактор Optimizely чуть менее функционален. Optimizely возможно интегрировать с Fabric, но сервис имеет достаточно скудный инструмент для аналитики.


    Цена и количество пользователей: цены не указаны, есть ограниченная бесплатная версия.

Mixpanel


mixpanel.com





Трекинг событий:
[mixpanel timeEvent:@"Загрузка изображения"]; // Временное событие
[self uploadImageWithSuccessHandler:^{
    [mixpanel track:@"Загрузка изображения"];
}];

Переменные в Mixpanel называются твиками (tweaks). Для получения твика используется макрос MPTweakValue:

if( MPTweakValue(@"Выполнить альтернативную конфигурацию", NO) ) {
    // Выполнить альтернативную конфигурацию
} else {
    // Выполнить стандартную конфигурацию
}

Есть биндинг значений для изменения параметров на лету:
MPTweakBind(self.label, text, @"label text", @"Hello World");

Применяется в случае, если при нахождении пользователя на экране нужно динамически менять значения переменных (иными словами реализуется KVO для них).

Инструменты аналитики в Mixpanel достаточно хорошие, есть возможность выстраивать сложные фильтры, при этом используя дополнительные атрибуты, отправляемые с устройств.

Визуальный редактор есть, но работает не очень стабильно и часто «отваливается».



Цена и количество пользователей: можно выбрать вариант по количеству пользователей, либо по количеству событий за месяц. Например, 100 000 пользователей обойдутся в 250$, или за 350$ 2 миллиона событий.

SplitForce


splitforce.com

Здесь есть работа с блоками:
[[SFManager currentManager] experimentNamed:@"Имя эксперимента"
                        applyVariationBlock:^(SFVariation *variation) {
	//Альтернативная конфигурация
} applyDefaultBlock:^(NSError *error) {
	//Базовая конфигурация
}];

И возможность отслеживать время событий:
-(void)timedResultNamed:(NSString *)name;

Визуального редактора нет, агрегации аналитики тоже. Встроенная аналитика достаточно удобная.

Цена и количество пользователей: цены сопоставимы с прочими сервисами, например, 369$ за 150 000 пользователей.

Amazon


developer.amazon.com/appsandservices/apis/manage/ab-testing

Главным преимуществом перед аналогами является его бесплатность. Для того, чтобы использовать функциональность A/B-тестирования от Amazon, необходимо добавить в проект фреймворк Amazon Insights.

SDK предоставляет только «ручной» режим работы с проектами A/B тестирования:
[self.abTestClient variationsByProjectNames:[NSArray arrayWithObject:@"Имя проекта"]
                          withCompletionHandler:^(id<AIVariationSet> variationSet, NSError* error) {
 			//Меняем что-либо исходя из данных в переменной variationSet
                          }];
 
    // Логирование события
    id<AIEvent> level3Start = [self.eventClient createEventWithEventType:@“Тип события"];
    [self.eventClient recordEvent:level3Start];



На мой скромный взгляд, интерфейс слегка примитивный, но может, это и к лучшему.


Общие выводы


  1. Все сервисы кроме Amazon платные, что в некоторых случаях может стать преградой для запуска A/B-тестирования на проекте.
  2. Все сервисы достаточно просты в использовании, внедрение в существующее приложение занимает минимум времени.
  3. Все сервисы работают асинхронно, поэтому не стоит ожидать моментальных откликов при низкой скорости соединения с интернетом.
  4. Некоторые из сервисов предлагают визуальный редактор. На практике, по моему мнению, вещь не так часто используемая.
  5. Те SDK, которые представляют доступ к переменным через макросы, ограничивают себя в использовании. Внутри макроса нельзя задать динамическое значение, следовательно, получать те или иные значения. Таким образом, слегка затрудняется A/B-тестирование на сущностях, представленных в приложении большим количеством: либо придется перечислить все возможные переменные, либо получать в одной переменной данные по сущностям и разбирать значение на составляющие.

Сводная таблица


Название сервиса Удобство встраивания (1-5 баллов) UI-редактор (1-5 баллов) Аналитика (1-5 баллов) Цена за месяц Поддержка (1-5 баллов) Общий балл
Apptimize 4 5 4 300$ за 100 000 пользователей 4 17
Optimizely 4 3 3 Не указано 3 13
SplitForce 3 0 3 369$ за 150 000 пользователей 4 10
Mixpanel 5 4 5 250$ за 100 000 пользователей или 2 миллиона событий за 350$ 5 19
Amazon A/B Testing(Beta) 3 0 4 Бесплатно 3 10
Only registered users can participate in poll. Log in, please.
Используете ли вы A/B-тестирование в своих проектах?
18.31% Да, используем 13
29.58% Нет, не используем 21
52.11% Пока не используем, но собираемся 37
71 users voted. 14 users abstained.
Tags:
Hubs:
+10
Comments 0
Comments Leave a comment

Articles

Information

Website
redmadrobot.ru
Registered
Founded
Employees
1,001–5,000 employees
Location
Россия