Привет! Меня зовут Арсений Батыров, я работаю в Яндексе, а также веду курсы по тестированию. В работе мне часто приходится выбирать девайсы для проведения тестирования в различных условиях. Помимо очевидных параметров вроде dpi и ОС я часто опираюсь на статистику распространенности устройств, чтобы точно покрыть все наиболее популярные комбинации. В этой статье перечислены сервисы с различной статистикой, которыми я пользуюсь при подборе устройств. Если для вас эта проблема актуальна — добро пожаловать под кат.

Критерии выбора устройств

Без сомнения, самая популярная тема в мобильном тестировании — это подход к выбору реальных устройств. С необходимостью выбора сталкивается каждый тестировщик, начинающий или работающий в отрасли давным-давно. С одной стороны, чем больше девайсов — тем больше вариативность. С другой — время и бюджеты не бесконечны. Но малое количество устройств чревато пропущенными device-specific багами и долгими правками. И если для iOS выбор более-менее ограничен, то на Android различным вариантам нет числа. Поэтому выбирать и приоритезировать придется в любом случае.

При подборе устройств можно пользоваться разными критериями: размер и разрешение дисплея, мощность процессора, версия операционной системы, производитель и так далее. Однако в первую очередь стоит смотреть на статистику использования девайсов: в первую очередь важны те из них, которыми пользуются ваши клиенты. Важность статистики для выбора сложно переоценить: с нее выбор девайсов начинается, и по ней же сверяют получившийся в результате долгого отсева список.

Естественно, лучшая статистика — это собранная на вашем же приложении. Только она может дать наиболее полную и точную картину того, какие именно устройства есть у ваших пользователей — и какие стоит закупить для тестирования. Проблема в том, что у приложения, которое находится в разработке, нет и не может быть никакой статистики. Есть только предположения, какая из групп пользователей будет для вас основной, и какими девайсами они обладают.

В таких случаях стоит обратиться к внешним данным. Многие аналитические компании собирают списки самых популярных и продаваемых устройств, и при определенной осторожности в выборе можно опираться на них. Остерегаться стоит трех главных ошибок.

Ошибки в выборе данных

Во-первых, важно проверять актуальность статистики. Любые данные, которым больше года, безнадежно устарели. Использоваться они могут только в качестве референса, когда более актуальной информации просто нет. Всего за год топ-10 популярных устройств может измениться практически полностью. В случае, если других данных нет, смотрите на названия производителей, а не на конкретные устройства: с большой вероятностью компании в списке останутся примерно те же.

Во-вторых, учитывайте рынок, на котором вы работаете. Популярность устройств очень сильно варьируется от страны к стране, зависит от их цены, операционной системы и многих других факторов. Девайс, который в США на первом месте по продажам, может даже не войти в топ-10 устройств в Индии, и наоборот. Если говорить о российском рынке, то на нем очень популярны устройства китайских производителей, в то время как в Европе их почти нет. Наконец, на рынке Центральной Африки или Южной Азии продаются и пользуются популярностью девайсы, о которых в остальном мире даже не слышали. Поэтому брать общемировые данные по популярности и использовать их на локальном рынке — большая ошибка.

В-третьих, не стоит путать списки самых популярных (то есть продаваемых) и самых лучших (мощных, дорогих, известных) устройств. От таких ошибок не застрахован никто. Например, однажды один из коллег-тренеров указал, что самым популярным устройством в России является Xiaomi Black Shark: игровой смартфон с очень мощным на момент выхода процессором и жидкостным охлаждением. Естественно, этот девайс был упомянут в списке самых лучших устройств, но не попал даже в топ-100 самых продаваемых по России. Внимательно проверяйте, что в статистике, на которую вы смотрите, упоминаются именно самые продаваемые, а не самые лучшие устройства.

Теперь давайте перейдем к конкретным источникам. Все ссылки на упомянутые сайты будут в подвале статьи.

Официальные данные

Естественно, некоторую статистику по операционным системам можно получить на официальных сайтах Google и Apple. Для Android существуют подробные списки с разбивкой по версиям, но обновляются они примерно раз в 3 месяца — обязательно учитывайте это при выборе.

Здесь же мы можем увидеть данные по девайсам с разными размерами и плотностью экранов.

На сайте Apple статистика чуть менее подробная: здесь показан график с распространенностью версий на данный момент. Подходит для быстрой оценки доли той или иной версии ОС на рынке.

Сторонние источники

Mixpanel

Более подробные данные по распределению ОС в динамике можно увидеть на ресурсе Mixpanel: один из графиков, например, показывает скорость принятия iOS 12 после выпуска.

Подобный график существует и для всех версий Android: здесь при желании можно выделить именно те версии, которые вас интересуют.

Appbrain

Хорошие топы Android устройств, достаточно часто обновляемые, предоставляет сайт appbrain.com. Здесь можно посмотреть, какие устройства распространены для разных стран, а также увидеть, насколько популярно конкретное устройство в мире. К сожалению, для просмотра популярности устройства во всех странах одновременно нужна платная подписка, но в тестировании это требуется редко. Также при желании можно выбрать страну на карте мира, и по клику перейти на популярные android-девайсы там. Помимо этого можно увидеть разбивку по версиям Android ОС в динамике, что удобно для понимания трендов. Например, на этом графике видно, что в Android 9 растет быстрее, чем снижается доля Android 8, а вот доля более старых версий практически не меняется.

Browserstack

Сайт browserstack.com, помимо возможности удаленно использовать устройства, также предлагает несколько списков смартфонов и планшетов, которые подойдут для тестирования компаниям с разным бюджетом. Если ваше приложение будет использоваться по всему миру, или вы уже знаете, что ваша статистика использования близка к общемировой статистике распределения девайсов — можете брать эти списки и закупать девайсы прямо по ним. К сожалению, обновляются они примерно раз в полгода-год, поэтому могут отставать от реального рынка. Также ниже можно увидеть, какие девайсы стоит докупить, если вы находитесь в какой-то из перечисленных стран. К сожалению, россии среди них нет, но если вдруг будете выходить на индийский или китайский рынок приложений — пользуйтесь.

David-Smith

Ресурс разработчика приложения для iOS Audiobooks david-smith.org предоставляет статистику по использованию различных девайсов на этой платформе. Наиболее полезен график Device Breakdown, который позволяет быстро оценить популярность того или иного девайса на рынке. Помимо этого, можно увидеть распределение более старых версий ОС по устройствам, что помогает при выборе таких комбинаций для тестирования. Естественно, данные даны только по одному приложению, и для отдельных регионов они могут сильно отличаться, но для использования в качестве референса сайт подходит отлично — тем более что информация обновляется регулярно.

Device Atlas

На сайте Device Atlas можно посмотреть топ-12 устройств для разных стран. Здесь, в отличие от Appbrain, можно найти как iOS, так и Android устройства. Все топы можно просматривать для всех стран из списка на одной странице, что, безусловно, добавляет удобства.

androidnik.ru

Сайт androidnik.ru предоставляет подборку самых популярных смартфонов в 2018 году. Вероятно, такие же подборки будут выпускаться и в будущем. Проблема в том, что здесь нет конкретных цифр, и такая подборка кажется субъективной. Зато информация здесь дана на русском языке.

Kantar WorldPanel

А вот на сайте Kantar WorldPanel нет статистики по России, и вообще нет разбивки по конкретным устройствам. Зато там есть таймлайн, начинающийся с января 2012 года, на котором можно в динамике посмотреть, как менялся рынок мобильных ОС в той или иной стране. На выбор дается Android, iOS, Windows Phone и Blackberry. Последние две уже не актуальны, зато можно наглядно увидеть, как они теряли свои рыночные доли.

statista.com

Статистики отдельно по планшетам не так много, поэтому приходится полагаться на данные только по вендорам с сайта statista.com. Здесь можно увидеть достаточно актуальные данные по производителям планшетов. Обновляются они примерно раз в 3 месяца.

Statcounter

На сайте gs.statcounter.com есть множество различных данных, в том числе и по мобильным. Здесь можно посмотреть распределение производителей по практически всем странам в динамике.

При этом можно посмотреть статистику за много лет: для тестирования это не так важно, но может быть интересно. Здесь же можно увидеть и данные по типам ОС для каждой страны, что полезно для быстрой оценки вашего предполагаемого парка девайсов. Графики можно настраивать, и при желании выбирать различные типы устройств, страны и способы отображения.

Perfecto

Наконец, сайт мобильной фермы Perfecto предлагает специальную утилиту, которая может подобрать нужные девайсы для тестирования в зависимости от страны, типа устройства и нужной операционной системы. К сожалению, России среди возможных стран нет, но есть США, основные страны Европы, а также некоторые другие крупные страны. После ввода email можно увидеть полные результаты, а также доли по размеру экранов, количество смартфонов и планшетов и части мобильного рынка. При желании можно выбрать топ-10 нужных устройств, или устройства для покрытия 50 и 80% рынка.

Технические характеристики

Наконец, данные по конкретным девайсам: их размеры, разрешение, процессор и количество памяти, версии ОС и все остальное — можно найти на сайте gsmarena.com. Достаточно вбить конкретный девайс в поиск — и вы получите огромный массив данных по устройству на одной странице.

Выводы

Как видите, для выбора устройств приходится пользоваться разными данными, с разной актуальностью и достоверностью. Естественно, никто не ожидает, что тестировщик будет каждый раз обращаться ко всем этим ресурсам, чтобы докупить еще пару устройств. Но всегда можно выбрать сайты, которые подходят для конкретных задач, и следить за актуальной информацией на них.
Если я забыл о каких-то популярных ресурсах, или вы знаете что-нибудь о том, где можно взять еще статистики — обязательно напишите об этом в комментариях, и я добавлю это в основную статью.

О том, как эффективно работать со статистикой и других деталях мобильного тестирования я рассказываю на своем курсе «Ручное тестирование мобильных приложений». В нем мы поговорим о базовых понятиях мобильного тестирования: что такое нативные и веб-приложения, что такое гибридные приложения и так далее. Обсудим стратегию выбора устройств для тестирования, разберем отличия эмулятором и симулятором от настоящих девайсов, научимся перехватывать мобильный трафик и многое другое. Подробно сосредоточимся на особенностях и отличиях тестирования iOS и Android приложений.
Ссылка на программу курса: learnqa.ru/manual

Если же вам интересна автоматизация тестирования мобильных приложений, у нас есть курс на стеке Java, JUnit и Appium. На нем мы узнаем о тестовых фреймворках, научимся писать тесты с нуля: делать tap, правильно работать с ожиданиями (wait), swipe и многое другое. Затем поочередно напишем порядка 15 тестов, работающих на Android, iOS и MobileWeb приложения. Научимся работать с Maven и запускать тесты в Jenkins. К концу курса у вас будет свой рабочий фреймворк для быстрого написания самых разнообразных автотестов для любой мобильной платформы.

Ссылка на программу курса: learnqa.ru/java

Спасибо за внимание!

Ссылки

Android
Apple
Appbrain
Androidnik.ru
Browserstack
David Smith
Device Atlas
GSMArena
Kantar WorldPane
Mixpanel
Perfecto Mobile
Statista
Statcounter

Сервисы статистики для мобильных приложений