Краткий ответ - да, большую часть ошибок находят автотесты и ручное тестирование непокрытых сценариев. Анализ покрытия позволяет нам учитывать риски при выборе сценариев для ручного тестирования, тщательнее покрывать ручными проверками недостаточно автоматизированные части приложений. Надо помнить о том, что само по себе знание и/или увеличение покрытия не гарантирует уменьшение числа ошибок, но дает информацию для управления и анализа качества автоматизации.
После прочтения сложилось впечатление, что чинили автотесты, а не QA-отдел) Но опыт интересный, спасибо что поделились.
Правильно поняла из контекста, на GO переезжали только интеграционные автотесты? Или Web-тесты тоже переписывали?
Посмотрев на наши инциденты и влияние автотестов на качество - вот тут возникает вопрос, как оценивали влияние автотестов, которые "лежат", на качество?
Привет! для gRPC у нас есть клиент с подсчетом покрытия (самописный), но не такого полного, как нам бы хотелось. В планах это доработать
Привет! Да, за основу брали пакет swagger-coverage.py. Немного изменили его под наш API-клиент и дописали генерацию общего HTML-отчёта API по проекту.
Краткий ответ - да, большую часть ошибок находят автотесты и ручное тестирование непокрытых сценариев. Анализ покрытия позволяет нам учитывать риски при выборе сценариев для ручного тестирования, тщательнее покрывать ручными проверками недостаточно автоматизированные части приложений. Надо помнить о том, что само по себе знание и/или увеличение покрытия не гарантирует уменьшение числа ошибок, но дает информацию для управления и анализа качества автоматизации.
После прочтения сложилось впечатление, что чинили автотесты, а не QA-отдел) Но опыт интересный, спасибо что поделились.
Правильно поняла из контекста, на GO переезжали только интеграционные автотесты? Или Web-тесты тоже переписывали?
Посмотрев на наши инциденты и влияние автотестов на качество- вот тут возникает вопрос, как оценивали влияние автотестов, которые "лежат", на качество?