Да, у Calabash есть команды для сброса симулятора (sim reset) и установки языка (sim locale), но, к сожалению, при переходе на XCode 6 и iOS Simulator 8 они перестали работать. С выходом новых версий Xcode и симулятора наблюдается активная деятельность со стороны разработчиков Calabash и возможно данные проблемы уже пофикшены.
То, что касается использования Automator… На самом деле большая часть функционала, необходимого для автоматизации реализована с использованием shell-скриптов. Но их вызовы оформлены как шаги Automator-скрипта. Фактически, Automator обеспечивает удобный запуск по расписанию (с помощью Календаря) и легкий доступ к возможностям Mac OS. Думаю, те же самые скрипты легко можно использовать и в build steps CI-сервера.
Как говорится, глаза боятся, а руки делают))) Альтернативным вариантом является запуск автотестов в рамках Continuous Integration сервера, но тут можно столкнуться с проблемой, когда Calabash не может стартовать тест с ошибкой execution expired или Errno::ECONNREFUSED. Причина этого в том, что контекст, в котором запущен ssh-сервер на mac os x не поддерживает запуск GUI-приложений. Возможным решением является запуск через JNLP. Мы же пошли другим путем и изобрели свой удобный, трехколесный велосипед)) Базовых знаний bash вполне достаточно, чтобы автоматизировать процессы запуска тестов.
Мы используем и iOS-симулятор, и «живые» девайсы в зависимости от конкретных задач. Проблему установки приложений на девайс позволяет решить утилита fruitstrap github.com/igorsokolov/fruitstrap. Утилита запускается из командной строки и позволяет обойтись без использования XCode.
То, что касается использования Automator… На самом деле большая часть функционала, необходимого для автоматизации реализована с использованием shell-скриптов. Но их вызовы оформлены как шаги Automator-скрипта. Фактически, Automator обеспечивает удобный запуск по расписанию (с помощью Календаря) и легкий доступ к возможностям Mac OS. Думаю, те же самые скрипты легко можно использовать и в build steps CI-сервера.