Предисловие
Этот топик не ставит своей целью рассказать о code coverage, и о том, нужно это средство или нет. Также, не будет подниматься вопрос о целесообразности тестов в iOS проектах (положим, что они все-таки кому-то нужы, а значит есть).
Мотивация
Очень удобно, когда средства для профилирования/анализа встроены в IDE. История С code coverage в xCode не совсем безоблачная: во времена xCode 3.x и GCC все было просто и нужные ссылки и флаги компилятора гуглились на раз. C приходом xCode 4.1 все стало немного сложнее ввиду использования LLVM-GCC, приходилось идти на некоторые ухищрения (вплоть до сборки LLVM своими руками). А в 4.3 библиотеку libprofile_rt переместили в другую директорию, что тоже вызвало немало проблем.
Опытным путем было установлено, что для xCode 4.4 настройка code coverage занимает несколько минут, а раз это дешево, то почему бы не использовать? Альтернативный практический вариант использования, проверенный на практике — тестирование непосредственно кода проекта и поиск 'мертвого' кода, с последующим его анализом и чисткой.
Настройка проекта в xCode 4.4
Создадим новый проект (iOS / OS X) c галочкой Include Unit Tests. Можно использовать мой тестовый проект с готовыми юнит-тестами.
Настройка проекта включает два шага:
1. Открываем таргет %project-name%, и выставляем флаги в секции Code generation:
Generate Test Coverage Files = YES
Instrument Program Flow = YES
2. Только для iOS. Во избежание крешей, описаных здесь, необходимо добавить в проект *.c файл со следующим содержимым:
#include <stdio.h> FILE* fopen$UNIX2003(const char* filename, const char* mode); size_t fwrite$UNIX2003(const void* ptr, size_t size, size_t nitems, FILE* stream); FILE* fopen$UNIX2003(const char* filename, const char* mode) { return fopen(filename, mode); } size_t fwrite$UNIX2003(const void* ptr, size_t size, size_t nitems, FILE* stream) { return fwrite(ptr, size, nitems, stream); }
Вот и вся настройка проекта. Теперь, после запуска %projectname%Tests, необходимо открыть директорию (для iOS) "/Users/%user%/Library/Developer/Xcode/DerivedData/%project-nameBLABLABLABLA%/Build/Intermediates/%project-name%.build/Debug-iphonesimulator/%project-name%.build/Objects-normal/i386". В этой директории нас интересуют файлы *.gcda и *.gcno, которые содержат данные о покрытии. Важно: если вы собираетесь тестировать покрытие кода приложения, а не тестов, необходимо в *.plist указать UIApplicationExitsOnSuspend = YES, так как файлы *.gcda создаются только после 'усрешного' завершения работы программы.
Для наглядности привожу код тестируемого класса и несколько тестов:
#import "MyCalc.h" @implementation MyCalc - (CGFloat)performOperation:(MyMathOperation)operation withA:(CGFloat)a B:(CGFloat)b { CGFloat result = 0.f; switch (operation) { case MyMathOperationAdd: result = a + b; break; case MyMathOperationSubtract: result = a - b; break; case MyMathOperationDivide: result = a / b; break; case MyMathOperationMultiply: result = a * b; break; default: NSLog(@"Unsupported operation"); break; } return result; } - (CGFloat)negate:(CGFloat)number { //this method works incorrectly return number; } @end
- (void)testNegation { CGFloat input = 3; CGFloat expected = -3; CGFloat result = [self.calculator negate:input]; STAssertEquals(result, expected, @"Negation failed. Expected: %f, Actual: %f", expected, result); } - (void)testAddition { CGFloat a = 3; CGFloat b = 4; CGFloat expected = a + b; CGFloat result = [self.calculator performOperation:MyMathOperationAdd withA:a B:b]; STAssertEquals(result, expected, @"Addition failed. Expected: %f, Actual: %f", expected, result); } - (void)testMultiplication { CGFloat a = 14; CGFloat b = 3; CGFloat expected = a * b; CGFloat result = [self.calculator performOperation:MyMathOperationMultiply withA:a B:b]; STAssertEquals(result, expected, @"Addition failed. Expected: %f, Actual: %f", expected, result); }
Анализ результатов
Рассмотрим несколько средств для представления статистики в удобном для человека формате.
gcov
gcov — утилита, которая генерирует статистику покрытия на основании файлов *.gcda и *.gcno. До недавнего времени работала только с GCC, в настоящий момент отлично работает и с LLVM. На выходе получаем plain-text отчет.
Для примера, вот результат запуска на файлах MyCalc.gcda из тестового проекта:
На выходе имеем статистику в процентах о покрытии, а также файл MyCalc.m.gcov:
-: 0:Source:/Users/dlebedev/src/sandbox/Coverage/iOS/iOSCoverage/../../Common/MyCalc.m -: 0:Graph:MyCalc.gcno -: 0:Data:MyCalc.gcda -: 0:Runs:0 -: 0:Programs:0 -: 1:// -: 2:// MyCalc.m -: 3:// iOSCoverage -: 4:// -: 5:// Created by Denis Lebedev on 23.08.12. -: 6:// Copyright (c) 2012 Denis Lebedev. All rights reserved. -: 7:// -: 8: -: 9:#import "MyCalc.h" -: 10: -: 11:@implementation MyCalc -: 12: 2: 13:- (CGFloat)performOperation:(MyMathOperation)operation withA:(CGFloat)a B:(CGFloat)b { 2: 14: CGFloat result = 0.f; -: 15: 2: 16: switch (operation) { -: 17: case MyMathOperationAdd: 1: 18: result = a + b; 1: 19: break; -: 20: case MyMathOperationSubtract: #####: 21: result = a - b; -: 22: #####: 23: break; -: 24: case MyMathOperationDivide: #####: 25: result = a / b; -: 26: #####: 27: break; -: 28: case MyMathOperationMultiply: 1: 29: result = a * b; 1: 30: break; -: 31: default: #####: 32: NSLog(@"Unsupported operation"); #####: 33: break; -: 34: } 2: 35: return result; -: 36:} 1: 37:- (CGFloat)negate:(CGFloat)number { -: 38: //this method works incorrectly 1: 39: return number; -: 40:} -: 41: -: 42:@end
#####:- строка не выполнилась.
n: — строка исполнилась n раз.
Более подробно можно почитать здесь.
CoverStory
CoverStory — GUI надстройка над gcov, дополнительно позволяет генерировать html-отчеты с помощью Apple Script.
lcov
lcov — еще один графический фронт-енд для gcov. Очень удобен при наличии большого количества файлов, так как группирует html по директориям, а также при автоматизации процесса — утилита работает из терминала.
Установка lcov:
# sudo mkdir -p /usr/local/src; cd /usr/local/src # sudo wget http://downloads.sourceforge.net/ltp/lcov-1.6.tar.gz # sudo tar -xzvf lcov-1.6.tar.gz # cd lcov-1.6
# sudo vim /usr/local/src/lcov-1.6/bin/install.sh</code>
В строке 34 (install -D $SOURCE $TARGET) необходимо удалить флаг -D.
# sudo make install
Для получения отчета выполним следующие команды в папке с *.gcda-файлами:
lcov -t 'Code coverage report' -o report.info -c -d . genhtml -o html-report report.info
Результат в папке html-report:
Автоматизация
Как уже упоминалось выше, lcov удобен в continuos integration. Демонстрируемый пример будет исключительно академическим и с досадными недостатками (так и не удалось применить скрипт к проекту, использующему CocoaPods).
Код скрипта (его также можно найти в папке с тестовым iOS проектом):
#!/bin/sh TARGET_NAME="iOSCoverage" TEST_TARGET_NAME="iOSCoverageTests" BUILD_CONFIG="Debug" SDK_VERSION="iphonesimulator5.1" rm -rf build rm -rf html-report echo Building and running tests xcodebuild -target $TEST_TARGET_NAME OBJECT_FILE_DIR_normal=/build/ TEST_AFTER_BUILD=YES -sdk iphonesimulator5.1 -configuration $BUILD_CONFIG -xcconfig settings.xcconfig echo Copying files mkdir build/gcda cp build/$TARGET_NAME.build/$BUILD_CONFIG-iphonesimulator/$TARGET_NAME.build/Objects-normal/i386/*.gcda build/gcda/ cp build/$TARGET_NAME.build/$BUILD_CONFIG-iphonesimulator/$TARGET_NAME.build/Objects-normal/i386/*.gcno build/gcda/ echo Generating report cd build/gcda lcov -t 'Code coverage report' -o report.info -c -d . cd .. cd .. genhtml -o html-report build/gcda/report.info
Содержимое settings.xcconfig (в проекте можно не прописывать флаги):
GCC_INSTRUMENT_PROGRAM_FLOW_ARCS = YES GCC_GENERATE_TEST_COVERAGE_FILES = YES
Кладем скрипт и файл settings.xcconfig рядом с проектом (предварительно заменяем переменные названий таргетов и SDK на нужные), запускаем… и получаем ошибку. Так как изначально iPhone Simulator не умеет запускать тесты из командной строки. Как починить это досадное недоразумение, описано здесь. После этого, запускаем скрипт еще раз и получаем папку html-report со статистикой.
UPD: Для боле�� тесной интеграции с Jenkins можно использовать gcovr + Cobertura Plugin . Спасибо moborb за наводку.
