Автоматизированное тестирование мобильных приложений

[Infernal]

маленькая ремарка. UIAutomation во бете xCode 4.2 научился записывать действия пользователей

[AlexMorgun]

Запись действий пользователя была и в более ранних версиях, в виде запоминания координат нажатий в iOS Simulator.

[Infernal]

Если не ошибаюсь, раньше это делалось через UI Recorder (даже статья на Хабре на эту тему была). Было это жутко не удобно по двум причинам:
1) Как вы уже сказали, работало оно только в симуляторе
2) Требовалось, чтобы положение окна симулятора не менялось

В 4.2 же Automation может полноценно записывать действия пользователя выдавая вполне человекочитабельный JS-скрипт. Это скрипт впоследствии можно отредактировать, добавить логирование и так же успешно запускать на симуляторе или устройстве

[junk]

А можно скринов? Очень для меня важно.

[sojik]

Xcode 4.2 Developer Preview, iOS 5 beta, iTunes 10.5 beta and Apple TV Software beta are pre-release software and are considered Apple Confidential Information and are subject to the terms of your iOS Developer Program License Agreement. Unauthorized distribution or disclosure of Apple Confidential Information is prohibited.

[Infernal]

Habrstorage почему-то отказывается работать, опишу на словах:
1) xCode 4.2, Product->Profile
2) Выбираем Automation
3) Слева, в группе Scripts, выбираем Add->Create
4) В правой части окна появится окно для ввода скрипта, в нижней — кнопки для записи и воспроизведения. Нажимаем Record, и начинаем тыкать. В процессе этого действия формируется скрипт

[junk]

В виде действий с элементами UI? Или по координатам?

[Infernal]

Если у вас обычное UIKit приложение, то в виде действий с элементами. Если OpenGL-игра и что-то подобное, то по координатам

[dzigoro]

Спасибо за статью. Дайте пожалуйста ссылку на JamoSolution и напишите, сколько оно стоит.

Я правильно понимаю, что это единственное полнофункциональное решение для автоматизированного тестирования под Android?

[junk]

Почему же, думаю, скоро допилят TestDroid, он выглядит многобещающе.

www.jamosolutions.net/ к сожалению, цен на сайте нет, и на почту разработчики мне не ответили.

А расскажите подробнее про себя, какого типа у вас приложение, почему интересует автоматизация тестирования?

[dzigoro]

У меня несколько приложений. Я интересуюсь автоматизацией пока с теоритической точки зрения. Масштабы пока не те)

[biomaks]

Напиши плз если узнаешь чтонибудь. Я им тоже написал, должны же они как-то реагировать )

[LeonSabr]

А среди вышеперечисленного есть аналоги по функционалу Selenium для мобильного браузера? Очень интересует возможность тестировать поведение мобильных веб-страницы в нативных браузерах.

[barancev]

Selenium 2.0 имеет поддержку браузера для Andriod.
На странице загрузки code.google.com/p/selenium/downloads/list ищите android-server-xxx.apk
Клиентская часть обычная, как для десктопных браузеров.

[barancev]

Для айфона вот тоже что-то якобы есть: code.google.com/p/selenium/wiki/IPhoneDriver
Но это не официально поддерживаемый драйвер, так что надо проверять.

[biomaks]

отличное исследование

[junk]

Поможет вам в работе? :)

[biomaks]

уже помогает )

[junk]

А что пишете? Какие требования к качеству? Почему автоматизируете?

[biomaks]

Автоматизирую, потому что, релизы каждый день, и рутинные операции полюбому надо автоматизировать. Пока ничего не написал, смотрю на JamoSolution.

[peanut]

Ты герой!

[rlabs]

Обзор неплохой, но где же профит?

[junk]

Какой профит имеется ввиду?

[rlabs]

ну вот там про селениум написано, «затраты на разработку тестов окупились»,
а с этими инструментами как?

[junk]

Пока никак, это был только обзор. Проектов где стоит внедрить пока нет.

Но мое мнение, что и для мобильных это окупится. FoneMonkey вполне ок.

[rlabs]

Очень бюы хотелось увидеть более развернуто, как оценивается окупаемость автоматических тестов, в особенности record-play типа.

[junk]

Запрос принят :) Напишу как внедрим.

В целом нужно оценить три критерия:
— удовлетворенность тестировщика
— производительность тестировщика
— гарантированное улучшение качества продукта

И противопоставить им время на обучение тестера и запись сценарием.

Не для всех приложений это подходит, но там где есть хотя-бы 5 итераций и требования к качеству, вполне.

[Soulreaver]

Спасибо! Очень полезный обзор! Сам как раз начинал гуглить эту тему и собирать инфу, а Вы так вовремя выложили на блюдечке!

[xy4]

на самом деле роботиум можно использовать и в функциональном тестировании через Instrumentation. Лично я так делал. Правда вот с заявленной поддержкой multiple activity testing не все так гладко.

[nadzeja]

>Тестировать можно только приложения собранные в Debug-режиме
Это голословно :)
Your test script must be a valid executable JavaScript file accessible to the instrument on the host computer. It runs outside your application, so the tested version of your application can be the same version that you submit to the iTunes App store.
Тестировала как на дебаге так и на релизе, работает на ура.
Про UI Automation можно еще добавить, что сам тул запустить не руками нельзя (ну практически нельзя ;))ю
Статья понравилась :) Автору спасибо!

[metaxa]

Спасибо!

[metaxa]

В дополнение еще один инструмент eggPlant — использует распознавание изображений для автоматизации тестирования. По заявлению разработчиков работает с любой ОС и любым девайсом используя VNC или эмуляторы

[dmitriypr]

Вот самый полный список инструментов тестирования приложений для мобильных устройств — www.enterra.ru/blog/tools_for_qa/