Комментарии 22
Регрессионное тестирование подразумевает прогон ВСЕХ тест-кейсов по проекту.
Прям всех всех? Обычно, заводят специальный регрешн тестран, который постепенно пополняется тест кейсами.
Сколько у вас живых Android устройств в зоопарке?
А вы не в курсе случайно, как обстоят дела с Xamarin Test Cloud? Я давно подписан на бета-тест, но никаких новостей с тех пор не видел.
Подскажите, какими сервисами бета-тестирования пользуетесь (Hockey, Crittercism, TestFairy, etc)?
Чем отличается флоу для iOS и используете ли обезьянку AntEater для iOS?
Чем отличается флоу для iOS и используете ли обезьянку AntEater для iOS?
У нас количество тестироващиков на программиста зависит от проекта. Если для программиста это изменение одной строчки кода, а для тестировщика — регрешн всего приложения (1500 тест кейсов) руками, потому что автоматизации на этом прокте еще нет, а фикс важный и срочный, то может и 3-к-1 быть в пользу QA.
А бывает и наоборот, с нуля строится приложение — два back-end программиста, два UI, специалист по базам данных, тех.лид и архитектор в одном лице, и всего один тестировщик (но, правда, очень хороший). Сейчас этому тестировщику дали автоматизаторов в помощь, поскольку какое-то стабильное количество функционала набралось и его решили автоматизировать. Ну что, прошло пару месяцев, дизайн решили изменить, вся автоматизация сломалась, и бедный тестировщик опять работает ночами, пока автоматизаторы фиксят скрипты.
А бывает и наоборот, с нуля строится приложение — два back-end программиста, два UI, специалист по базам данных, тех.лид и архитектор в одном лице, и всего один тестировщик (но, правда, очень хороший). Сейчас этому тестировщику дали автоматизаторов в помощь, поскольку какое-то стабильное количество функционала набралось и его решили автоматизировать. Ну что, прошло пару месяцев, дизайн решили изменить, вся автоматизация сломалась, и бедный тестировщик опять работает ночами, пока автоматизаторы фиксят скрипты.
Занимаюсь Android-разработкой.
Во многих компаниях, с которыми я взаимодействовал, с тестированием Android-приложений все обстоит не очень хорошо — во-первых, фактически отсутствует автоматизированное тестирование, а во-вторых, никто даже не задумывается об этом. Ведь на самом деле автоматизированному тестированию поддаются очень многие вещи в мобильной разработке — конечно, нельзя говорить о том, что можно полностью отказаться от ручного тестирования, но ведь есть все возможности сократить его до минимума.
Впрочем, вам большой респект — у вас действительно выстроена достаточно неплохая и удобная система.
Во многих компаниях, с которыми я взаимодействовал, с тестированием Android-приложений все обстоит не очень хорошо — во-первых, фактически отсутствует автоматизированное тестирование, а во-вторых, никто даже не задумывается об этом. Ведь на самом деле автоматизированному тестированию поддаются очень многие вещи в мобильной разработке — конечно, нельзя говорить о том, что можно полностью отказаться от ручного тестирования, но ведь есть все возможности сократить его до минимума.
Впрочем, вам большой респект — у вас действительно выстроена достаточно неплохая и удобная система.
Кто-нибудь знает про инструменты для построения навигационных схем с макетами экранов? Или фотошоп в помощь?
Очень интересный пост, спасибо!
Написал коллегам про appthwack.com, потому что раньше о таком не слышал. И сразу возник вопрос про NDA. Я нашел упоминание об этом appthwack.com/customeragreement в пункте: 11. CONFIDENTIAL INFORMATION
На сколько я понял, они пишут, о том что прилагают все усилия для сохранения конфиденциальности информации имеющей коммерческую ценность, бла, бла, бла, что так же включает подписание их сотрудниками NDA. А вы таким вопросом задавались? Сталкивались со страхом заказчика передавать билд приложения кому-то другому или заказчики обычно не знают таких деталей? :)
Написал коллегам про appthwack.com, потому что раньше о таком не слышал. И сразу возник вопрос про NDA. Я нашел упоминание об этом appthwack.com/customeragreement в пункте: 11. CONFIDENTIAL INFORMATION
На сколько я понял, они пишут, о том что прилагают все усилия для сохранения конфиденциальности информации имеющей коммерческую ценность, бла, бла, бла, что так же включает подписание их сотрудниками NDA. А вы таким вопросом задавались? Сталкивались со страхом заказчика передавать билд приложения кому-то другому или заказчики обычно не знают таких деталей? :)
Могу рассказать про организацию тестирования в текущем проекте. Вообще это тема отдельной статьи, поэтому не буду особо вдаваться в причины выбора решений, можно в комментариях пояснить.
Мы разрабатываем iOS приложение соц. сеть, причем сервера своего нет, используем Parse.com
Были написаны интеграционные тесты с помощью SenTestingKit, которые тестируют некоторую бизнес логику приложения и код выполняющийся на сервере. Так же есть юнит тесты. Подняли сервер hudson-ci.org, который берет последний код с git, и запускает sh скрипты, которые запускают тесты. Для запуска тестов и красивого отображения логов используем xtool github.com/facebook/xctool
Так же есть скрипт, который мержит(что может) production с development.
Недавно подключился тестировщик для ручного тестирования.
Мы разрабатываем iOS приложение соц. сеть, причем сервера своего нет, используем Parse.com
Были написаны интеграционные тесты с помощью SenTestingKit, которые тестируют некоторую бизнес логику приложения и код выполняющийся на сервере. Так же есть юнит тесты. Подняли сервер hudson-ci.org, который берет последний код с git, и запускает sh скрипты, которые запускают тесты. Для запуска тестов и красивого отображения логов используем xtool github.com/facebook/xctool
Так же есть скрипт, который мержит(что может) production с development.
Недавно подключился тестировщик для ручного тестирования.
Тоже работаю тестером на Андроиде в одной большой компании.
Ручное тестирование на данный момент единственный вариант. Устройств на разных версиях ОС около 15 (не все используются сразу) — разработчикам тоже нужны аппараты, не только тестерам.
Софт — TestLink, Eclipse для снятия и небольшого анализа логов.
Сейчас изучаю тему автоматизиации. Столкнулся с тем, что документация Google пропускает важные шаги, что что начинающему автоматизатору просто не понятно, какой первый шаг надо сделать. Что-то работает не так, как написано в документации. В общем, Google в помощь, но именно как поисковик. Но уже хорошо разобрался, в Eclipse можно писать тексты для нашего приложения, даже не имея его исходного кода, не редактируя его. Правда, для этого требуется Андроид 4.1 и выше. В нем появился UIAutomator, кардинально упрощающий работу. Можно имитировать основные действия с устройством (нажатия на экран, свайпы), анализировать содержимое экрана и свойства элементов интерфейса.
Впрочем, не все автоматизируется. Если надо проверить, как наше приложение обработает звонок с другого телефона, надо брать это второй телефон и звонить на тестовый. Как это обойти, пока не придумал. А ведь одна из самых сложных функций приложения, ее бы автоматизировать.
Ручное тестирование на данный момент единственный вариант. Устройств на разных версиях ОС около 15 (не все используются сразу) — разработчикам тоже нужны аппараты, не только тестерам.
Софт — TestLink, Eclipse для снятия и небольшого анализа логов.
Сейчас изучаю тему автоматизиации. Столкнулся с тем, что документация Google пропускает важные шаги, что что начинающему автоматизатору просто не понятно, какой первый шаг надо сделать. Что-то работает не так, как написано в документации. В общем, Google в помощь, но именно как поисковик. Но уже хорошо разобрался, в Eclipse можно писать тексты для нашего приложения, даже не имея его исходного кода, не редактируя его. Правда, для этого требуется Андроид 4.1 и выше. В нем появился UIAutomator, кардинально упрощающий работу. Можно имитировать основные действия с устройством (нажатия на экран, свайпы), анализировать содержимое экрана и свойства элементов интерфейса.
Впрочем, не все автоматизируется. Если надо проверить, как наше приложение обработает звонок с другого телефона, надо брать это второй телефон и звонить на тестовый. Как это обойти, пока не придумал. А ведь одна из самых сложных функций приложения, ее бы автоматизировать.
Да, просьба автору — сделайте, пожалуйста, картинки открываемыми в большем размере!
которые из, вроде все видно?
Как минимум:
1. Тестирование требования, первая картинка.
2. Таблица критичности бага
На десктопе все же гонять туда-сюда масштаб не всегда удобно.
Спасибо.
1. Тестирование требования, первая картинка.
2. Таблица критичности бага
На десктопе все же гонять туда-сюда масштаб не всегда удобно.
Спасибо.
1. dl.dropboxusercontent.com/u/4094245/3seas11%20%281%29.pdf (но она не имеет отношения к картинке с тестами, нав схема от другого проекта)
2. docs.google.com/spreadsheet/ccc?key=0Au7nnmDv6Mp1dFVzVUh1ZUFFb25ES21QdGxmU2Nlb3c#gid=0
2. docs.google.com/spreadsheet/ccc?key=0Au7nnmDv6Mp1dFVzVUh1ZUFFb25ES21QdGxmU2Nlb3c#gid=0
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Процесс тестирования мобильных приложений