gmaksimenko May 13 2013 at 18:25

Как я Android для тестирования выбирал

3 min

8.5K

Задача:

По производственной необходимости возникли два следующих вопроса: как определить эффективность существующего набора устройств для тестирования приложения под Android и как правильно сделать выбор следующего устройства для тестирования.

Теория:

После небольших размышлений я принялся рыть интернет в поисках решения этой проблемы, но готового решения так и не нашел (это было около полугода назад). Зато нашлось достаточно теории и описания опыта в этом направлении.

Три наиболее полезные ссылки с описаниями стратегий по выбору устройств для тестирования расположены в конце статьи.

Все описанные там стратегии можно свести к общей теории, заключенной в следующих трех пунктах:

Использовать существующую статистику (важно использовать актуальные устройства).
Учитывать параметры и характеристики устройств.
Параметры, которые могут быть учтены:
- размер экрана
- PPI (pixels per inch)
- разрешение экрана
- версия Android
- быстродействие (CPU, RAM)
- особенности конструкции, такие как тип ввода данных (клавиатура, сенсорный, трекбол и так далее), наличие камер...
- браузер
- производитель
- поддерживаемые службы (геолокация)
- цена
Учитывать бюджет

Далее, в зависимости от проекта, каждый выбирает для себя определяющие факторы или их комбинации.

Параметры, которые учитывают практически все блоггеры — это версия Android, PPI и разрешение экрана. Для web-проектов важным, наряду с перечисленными параметрами, является браузер. Для тяжелых нативных приложений не менее важным является быстродействие… и так далее…

Наиболее логичной и простой стратегией мне показалась теория popular and cheap (популярные и дешевые).

Практика. Этап 1:

Вооруженный знаниями, я приступил к действиям.
Проектом, для которого были применены полученные знания пользуется приблизительно 1000 моделей мобильных устройств ежедневно более 2 миллионов раз. Причем имелась статистика по количеству посещений для каждого устройства.

Этап сбора данных об устройствах оказался самым трудозатратным. Я собрал информацию в интернете о 123 популярных устройствах, дополняя документ версиями Android, CPU, размерами экранов, разрешениями и PPI для каждого устройства. Эта работа заняла около недели.

Оказалось, что 123 из 1000 устройств покрывают 80% посещений, и на этом я решил остановиться.

Этап анализа данных был наиболее интересным. Отметив уже имеющиеся устройства (их было 7) для тестирования в таблице, я приступил у группировкам по различным параметрам.

Группировка по major.minor версии Android показала, что для тестирования покрыты все группы начиная с 4.2 до 2.2 (76% посещений) и только устройства с версией Android 2.1 (2.95% посещений) и 1.x (0.28% посещений) не покрыты. В целом, результат неплохой.

Анализ по разрешениям показал, что второе по популярности разрешение 480x320 с 18.61% посещений никогда не проверялось. В тоже время самая популярная группа с разрешением 800x480 (27.56%) покрыта 3 устройствами.

Анализ по версиям Android и разрешениям экранов дал более интересные результаты. Три самые популярные группы 2.3 и 800x480 (15.30%), 2.3 и 480x320 (11.83%), 4.1 и 1280x720 (10.75%) вообще не покрыты. При этом суммарное покрытие набором устройств для тестирования составляло всего 8% посещений.

В результате был выдвинут ряд предложений, которые смогли значительно увеличить покрытие посещений по основным параметрам устройств.

На этом мои изыскания в этой области приостановились.

Спустя полгода...

Недавно я вернулся к этому вопросу, работая над новым проектом. Если честно, перспектива собирать информацию об устройствах меня не радовала.

Один коллега сохранил мне кучу времени, поделившись ссылкой choosedevice.com. Это оказалось готовое автоматизированное решение. В этом проекте уже собрана информация более чем по 200 устройствам, но только по 4 параметрам: api level (os version), размер экрана, PPI и разрешение экрана. Видно, что этот проект еще молод и сейчас находится в стадии beta тестирования.

Действия. Этап 2:

Вот какой получился опыт при работе с этим сервисом:

Зашел на сайт, используя свой google account.
Отметил устройства, используемые для нового проекта.
Сделал экспорт мобильных устройств из google analytics.
Подгрузил эту статистику в choosedevice.

Все это заняло 10 минут, и я получил общую статистику по мобильным устройствам.

Дальше я использовал панель поиска для группировки устройств.

Система подсчитала покрытие посещений пользователей по выбранному параметру и выдала рекомендуемые устройства.

Группировать можно также по двум параметрам. Ниже представлен результат работы сервиса по ppi/resolution.

Вывод:

Android устройство действительно необходимо выбирать с умом. ChooseDevice поможет сделать это качественно.

Tags:

Hubs:

IT systems testing