Комментарии 3
Сколько времени у вас уходит/уходило на прогон всех 3К ручных тестов?
Сколько человек занято в автоматизации тестирования этого проекта?
Какую долю "ручных" тестов вы уже автоматизировали?
Как введение автоматизации повлияло на распределение рабочей нагрузки "ручных" тестировщиков
Как и кто решает какие тесты автоматизировать?
--
На моем проекте сейчас используется Ranorex, там тесты гоняются на виртуальных машинах windows, поскольку эмулируются действия пользователя. В этом есть свой резон. Тесты максимально приближены к картине пользователя. Т.е. браузер практически черный ящик.
Под линукс однако драйверов нет. Поддерживает тестирование десктопных и мобильных приложений. У инструмента низкий порог вхождения. Хорошая документация. Можно легко делать гибридные сценарии, например, загрузка файла через окно Explorer.
Но есть и свои недостатки. Если сразу не поставить правильно архитектуру, модуляризацию и не договориться о правилах, то можно нагородить такой огород, что черт ногу сломит. Еще, поскольку используется кодогенерация, коммиты практически невозможно нормально ревьюить.
А так, тоже интеграция с jenkins, удобные отчеты из коробки, сразу с картинками. Можно скриншотить что хочешь и когда хочешь и все это попадает в лог. Есть PDF экспорт логов. Есть junit совместимый отчет. Можно по желанию вести видеозапись по ходу выполнения. Интеграция с Jira, он может выкидывать ошибки прямо туда. Интеграция с Xray.
Если нужны кастомные действия, типа доступ к базе данных, или REST, можно писать их на C#. Ну и он денежек стоит, хотя не так много как некоторые другие. Там пожизненная лицензионная модель, пока. Есть 30-дневный трайал. Хороший саппорт, много записей вебинаров у них на странице.
Все сразу 3К ручных тестов мы не гоняем. В зависимости от различных параметров (циклов тестирования и областей тестирования), мы делаем выборку из всех существующих тестов и гоняем только её. В среднем, одному человеку для прогона 100 ручных тестов требуется 1 месяц, т. к. длительность выполнения одного теста может занимать как несколько минут, так и несколько дней.
На данный момент 2 человека заняты автоматизацией.
На сегодня у нас автоматизировано около 130 тестов.
Для каждого регрессионного цикла прогон 130 автотестов экономит чуть больше месяца ручного тестирования. Также тестировщикам нет необходимости «руками» прогонять Sanity тесты после еженедельного выхода новой сборки.
На общей встрече с командой заводим задачи на автоматизацию в backlog и оттуда уже берём задачи.
Спасибо, не знали о таком решении, ознакомимся.
Вобщем-то класссический стэк для Web UI тестов на Python. Такой, наверное, в большинстве компаний применяется, где тесты пишут на Python.
Процесс автоматизации UI-тестов в проекте DELL EMC XtremIO Management Server (XMS)