AppThwack — тестируем мобильные приложения на нескольких устройствах сразу

Блуждая по просторам интернета, в ожидании хоть каких-нибудь ответов от заказчиков на проекты из фриланса, где в очередной раз произошли изменения в руководстве, я обнаружил новый и довольно интересный для Android и не только разработчиков сервис. Если верить создателям, он позволяет тестировать ваши приложения на сотнях устройств одновременно, тем самым оставив себе больше времени на более важные вещи. Более того, после тестирования можно получить отчеты и скриншоты с каждого устройства.

Для разработчиков под iOS, совсем скоро также появится аналогичный функционал, а для Web-приложений уже существует бета-версия.

Все, кто заинтересовался — под хабракатом небольшой обзор от человека, совсем далекого от Android-разработки и тестирования приложений в целом

How it works

После быстрой регистрации без подтверждения (что меня несколько удивило) становятся доступны неограниченные тесты (на деле при регистрации дают 7 дней тестов на 24 устройствах), вся основная работа с сайтом сведена к 4 шагам:

1. Создание проекта
2. Загрузка приложений (есть мультизагрузка)
3. Выбор устройств и самих тестов
4. Просмотр или скачивание отчетов и скриншотов

Если первые два шага всем понятны, то про остальные нужно написать несколько слов.

Устройства и тесты

Как видно, на данном этапе можно выбрать из списка устройства, на которых будут проходить тесты. Для удобства список разделен на группы вроде самых популярных устройств и, рискну предположить, что в платной версии, будет группировка по версиям систем или же по процессорам. В «базовом» наборе сервис может проверить приложение на предмет наличия распространенных проблем, запустит его, сделает пару скриншотов, проверит реакцию приложения на 500 случайных событий для приложения и затем удалит, после чего выдаст отчеты по каждому устройству.

Помимо всего прочего есть возможность использовать собственные тесты, используя фреймворк JUnit или Calabash, а в настройках UI Hammer можно поменять количество событий и выбрать значение для инициализации генератора событий.

Отчеты

Самая полезная часть сайта. Отчетность есть двух видов — по проекту и по приложениям. Проектная отчетность, насколько я понял, полезна при основательной и долгой разработке приложений, т.е. когда есть возможность отследить этапы разработки или те или иные версии приложения.
В отчетах по приложениям есть визуализация отчетов и некоторые статистические данные по производительности.


Отчетность по средним показателям производительности для DSPManager

Также есть возможность просмотреть отчеты по каждому устройству или тесту в отдельности. Стоит отметить, что когда я запускал тест приложения Google Maps на двух устройствах (HTC One X и Samsung Galaxy Mini), то в результирующих отчетах не оказалось вообще ничего, а по мере было видно, что SG Mini провалил тест, что собственно в скриншотах и проявилось — Google Maps там просто не запустились.

Тесты веб-приложений, пока что, судя по всему, сведены к загрузке сайта во всех браузерах и предоставлению скриншотов, однако судя по небольшой задержке в 6 минут перед стартом процесса тестирования, данный функционал более востребован, чем работа с приложениями. Можно воспользоваться localtunnel для тестирования приложений из localhost.

Сами по себе отчеты в архиве (на базовом функционале без своих тестов) представляют csv файлы выполнения logcat на каждом этапе тестирования приложения, а также отчет из Monkey UI. Отчеты по браузерам

О самом AppThwack

Данный сервис автоматического тестирования был запущен Трентом Петерсоном (Trent Peterson) и Павлом Уоджнэровичем (Pawel Wojnarowicz) (оба раньше работали в Intel) в июле прошлого года и с того времени сервис провел свыше миллиона тестов мобильных приложений веб-приложений. Естественно масштабное тестирование бесплатно никто не предлагает, однако есть возможность приглашать друзей на сайт, после регистрации которого вы оба получите 1 бесплатный (и бессрочный) прогон по всем устройствам. Платные тарифы разделены на 3 группы по количеству устройств и их цена колеблется от 29 до 299 долларов за месяц, каждый из которых дает возможность неограниченного запуска. На данный момент в базе 166 устройств и самый дешевый тариф дает возможность тестировать только 10 самых популярных девайсов.

Устройства, коллекция которых постоянно пополняется и на которых тестируются приложения, не получают рута, все подключены к интернету (и к зарядкам :)) через Wi-Fi. В наличии как операторские версии, так и обычные.

Бывшие сотрудники Intel обещают сохранять приватность ваших отчетов и никому не говорить о ваших приложениях. Если вы, конечно, сами не расшарите результаты отчетов :)

Ссылки, материалы

appthwack.com — герой сюжета
www.new-startups.com/apps/testing-your-android-app-on-100s-of-devices-in-5-minutes — «статья-исходник»
www.dropbox.com/sh/63m933ei3208h06/Ydg-J_UQOK — отчеты и скриншоты по тестам приложений Google Maps и DSPManager
testdroid.com — аналог сервиса, только Android (?)
progrium.com/localtunnel — The easiest way to share localhost web servers to the rest of the world

P.S. Очень надеюсь, что не написал бреда касательно момента тестирования и за возможное преувеличение ценности ресурса.
Отдельное спасибо тем, кто дочитал до конца.