Измеряй и властвуй: как мы покрытие автоматическими тестами измеряли

[blizzak]

а багов-то стало меньше на продакшене?

[MessiSea]

Краткий ответ - да, большую часть ошибок находят автотесты и ручное тестирование непокрытых сценариев. Анализ покрытия позволяет нам учитывать риски при выборе сценариев для ручного тестирования, тщательнее покрывать ручными проверками недостаточно автоматизированные части приложений. Надо помнить о том, что само по себе знание и/или увеличение покрытия не гарантирует уменьшение числа ошибок, но дает информацию для управления и анализа качества автоматизации.

[RemiZOffAlex]

А тест на падение метеорита учтён?

[nekdan]

Привет, интересная статья. А для использования swagger-coverage с pytest используете эту обёртку swagger-coverage-py? Хотелось бы побольше информации как внедрили swagger-coverage в свой проект.

[MessiSea]

Привет! Да, за основу брали пакет swagger-coverage.py. Немного изменили его под наш API-клиент и дописали генерацию общего HTML-отчёта API по проекту.

[Vilko]

Привет
Не упоминается покрытие тестами gRPC апи, а он у вас, насколько я знаю, также активно используется. Планируете расширять тесты на него, и если да - каким инструментарием?

[MessiSea]

Привет! для gRPC у нас есть клиент с подсчетом покрытия (самописный), но не такого полного, как нам бы хотелось. В планах это доработать