CI может быть любой: Jenkins, Gitlab и.т.д. В разделе "Распараллеливаем тесты на CI", я показываю скрипт для запуска тестов на fastlane(раннер). И этот скрипт можно добавить в job любого удобного для вас CI. Возможно мне стоит изменить названия заголовков, чтобы не вводить в заблуждения 🤔
Скриншоты храним в основном проекте в таргете с UI-тестами. 1 скриншот экрана у нас весит примерно 74 кб. Всего у нас 254 скриншота. И папка весит всего 27,2 мб. После изменений в UI перезаписываем скриншоты. Чтобы накопились гигабайты данных, нужно сильно постараться)
Используем для параллельного запуска тестов multi_scan. Мы передаем в fileNameOptions - OS и screenSize. В планах добавить возможность передавать название модели устройства. Чтобы название содержало модель устройства + версия ОС(iPhone 8 14.4)
У нас в компании есть UI-автоматизация на мобиле. На iOS автотесты пишем на Swift +XCUItest и в качестве репортера также используем Allure. На Android Kotlin + kaspresso + Allure.
Мы используем разные подходы:
Вариант 1 — Моки. Мы используем мок сервер для того чтобы тесты проходили стабильно и можно было получить нужное состояния для тестового сценария благодаря мокам.
Вариант 2 — Api запрос. Мы конфигурируем нужные нам предусловия, дергая метод перед прогоном тестов.
Как параллелить тесты в XCUITest (1 тест = 1 тел):
— Мы пока гоняем тесты на 1 симуляторе, но в скором времени хотим использовать плагин fastlane-plugin-test_center для fastLane, плюс поресерчим эту тему, может найдем вариант интересней.
Можно ли сохранять видео теста:
— Я не встречал такого, возможно есть такая возможность. Мы используем скриншоты, когда тест не проходит, автоматом делается скриншот и потом в отчете, мы можем посмотреть, что пошло не так.
Как быстро бегут (скажем 100 тестов с 5-10 тел):
— Общее время будет зависеть от самого долгого прогона на одном из симуляторов. Допустим у вас прогон всех тестов занимает 100 минут. Вы делите их на 5 симуляторов. На первом симуляторе это занимает 60 минут, а на остальных проходит за 10 минут. В таком случае общее время прогона будет упираться в самый долгий прогон.
В заключении гиперссылка не прикрепилась к слову: "В <a href=«habr.com/ru/company/acronis/blog/522124>следующем посте"
Пока что никак, во время написания статьи использовал xcode 13.1. Спасибо за комментарий! Будем думать, что с этой проблемой делать
Поправил заголовки. Спасибо за комментарий
CI может быть любой: Jenkins, Gitlab и.т.д. В разделе "Распараллеливаем тесты на CI", я показываю скрипт для запуска тестов на fastlane(раннер). И этот скрипт можно добавить в job любого удобного для вас CI. Возможно мне стоит изменить названия заголовков, чтобы не вводить в заблуждения 🤔
Гиперссылка в фразе "Подробнее лучше прочитать в доке." не работает. Отдает 404
Скриншоты храним в основном проекте в таргете с UI-тестами.
1 скриншот экрана у нас весит примерно 74 кб. Всего у нас 254 скриншота. И папка весит всего 27,2 мб.
После изменений в UI перезаписываем скриншоты.
Чтобы накопились гигабайты данных, нужно сильно постараться)
Используем для параллельного запуска тестов multi_scan. Мы передаем в fileNameOptions - OS и screenSize.
В планах добавить возможность передавать название модели устройства. Чтобы название содержало модель устройства + версия ОС(iPhone 8 14.4)
Спасибо за перевод! Было полезно
У нас в компании есть UI-автоматизация на мобиле. На iOS автотесты пишем на Swift +XCUItest и в качестве репортера также используем Allure. На Android Kotlin + kaspresso + Allure.
Вариант 1 — Моки. Мы используем мок сервер для того чтобы тесты проходили стабильно и можно было получить нужное состояния для тестового сценария благодаря мокам.
Вариант 2 — Api запрос. Мы конфигурируем нужные нам предусловия, дергая метод перед прогоном тестов.
С реальными телефона не пробовали, но это интересный опыт, как мне кажется)
Цифр к сожалению нет
— Мы пока гоняем тесты на 1 симуляторе, но в скором времени хотим использовать плагин fastlane-plugin-test_center для fastLane, плюс поресерчим эту тему, может найдем вариант интересней.
Можно ли сохранять видео теста:
— Я не встречал такого, возможно есть такая возможность. Мы используем скриншоты, когда тест не проходит, автоматом делается скриншот и потом в отчете, мы можем посмотреть, что пошло не так.
Как быстро бегут (скажем 100 тестов с 5-10 тел):
— Общее время будет зависеть от самого долгого прогона на одном из симуляторов. Допустим у вас прогон всех тестов занимает 100 минут. Вы делите их на 5 симуляторов. На первом симуляторе это занимает 60 минут, а на остальных проходит за 10 минут. В таком случае общее время прогона будет упираться в самый долгий прогон.