Для того, чтобы ускорить тестирование крупных приложений, как правило, проверки вручную сочетают с автотестами. После их прогона QA или SDET-специалисты разбирают успешные и «упавшие» тесты – их нужно проверить вручную и зафиксировать результаты, например, в Confluence.
Рассмотрим на примере, как можно ускорить экспорт этих данных, если вы работаете с некоммерческой версией Allure Framework. При использовании Allure-EE такие доработки не нужны – информацию по ручному прохождению кейсов можно хранить в самих отчетах.
![](https://habrastorage.org/getpro/habr/upload_files/515/0e3/e68/5150e3e6894b7cf7c9bbfbe00cf17ca2.png)
В описанном ниже кейсе мы работали с Allure, поскольку этот инструмент использовался и на других подпроектах заказчика. При этом шапка таблицы создавалась из шаблона, а данные для каждого автотеста приходилось вручную копировать из Allure-отчета. При большом количестве упавших автотестов этот процесс становился трудоемким и занимал достаточно много времени. Мы решили автоматизировать его и разработали утилиту, с помощью которой создавалась таблица, уже заполненная необходимыми данными из Allure-отчета.
![](https://habrastorage.org/getpro/habr/upload_files/a65/e54/88e/a65e5488eaa90b9b02d36f42f9c593f5.jpg)
Задачи, которые нам требовалось решить:
Найти и структурировать необходимые данные из json-файлов, которые создает Allure.
Сгенерировать html-код таблицы, используя полученные ранее данные.
Создать таблицу в Confluence с помощью POST-запроса, в теле которого передать html-код таблицы.
Получение данных из json-файлов
Json-файлы с которыми мы будем работать, находятся в каталоге allure-report\data\test-cases
Для каждого автотеста создается отдельный json-файл с информацией по его прохождению. Это достаточно большой файл, который содержит все шаги автотеста, поэтому в статье мы не будем приводить его полностью. Нас интересуют такие параметры:
"status" : "failed”,
"name" : "Test_0001",
{
"name" : "epic",
"value" : "iOS"
},
{
"name" : "feature",
"value" : "Авторизация"
},
{
"name" : "story",
"value" : "Превышение попыток"
}
Эти данные будем размещать во 2 - 5 колонках таблицы, используя определенные цвета для заливки фона ячеек. Статус автотеста может иметь несколько значений: "failed" (выделяем красным), "unknown" (фиолетовый), "broken" (желтый), "skipped" (серый).
Создадим два класса с моделями. Для генерации моделей удобно использовать IntelliJ IDEA плагин RoboPOJOGenerator. Также обратимся к Lombok, чтобы не создавать методы геттеры.
import com.google.gson.annotations.SerializedName;
import lombok.Getter;
import java.util.List;
@Getter
public class TestCase {
private String epic;
private String feature;
private String story;
@SerializedName("name")
private String name;
@SerializedName("status")
private String status;
@SerializedName("labels")
private List<LabelsItem> labels;
public void initLabels() {
if (labels != null) {
for (LabelsItem labelsItem : labels) {
switch (labelsItem.getName()) {
case "epic" : epic = labelsItem.getValue();
break;
case "feature" : feature = labelsItem.getValue();
break;
case "story" : story = labelsItem.getValue();
}
}
}
}
}
import com.google.gson.annotations.SerializedName;
import lombok.Getter;
@Getter
public class LabelsItem {
@SerializedName("name")
private String name;
@SerializedName("value")
private String value;
}
Создадим метод, который будет получать эти параметры из json-файла. Преобразовывать json в класс модели будем при помощи Gson.
/**
* Получает данные из json файла
*
* @param path путь к папке с файлами
* @return данные из json файла
*/
public static TestCase readTestCasesJson(String path) {
try (Stream<String> stream = Files.lines(Paths.get(path))) {
String text = stream.reduce("", String::concat);
return new Gson().fromJson(text, TestCase.class);
} catch (IOException e) {
throw new RuntimeException(e.getMessage());
}
}
Для получения списка всех json-файлов воспользуемся следующим методом:
/**
* Получает список названий файлов в папке
*
* @param path путь к папке с файлами
* @return список названий файлов
* @throws IOException ошибка доступа к данным
*/
public static List<Path> getFilesInFolder(String path) throws IOException {
return Files.walk(Paths.get(path))
.filter(Files::isRegularFile)
.collect(Collectors.toList());
}
Теперь создадим метод, который будет собирать данные по всем упавшим тестам.
/**
* Получает данные по всем упавшим
*
* @param paths путь к папке с файлами
* @return список с данными по упавшим тестам
*/
public static List<TestCase> getTestCasesDataInFolder(List<Path> paths) {
List<TestCase> testCases = new ArrayList<>();
TestCase testCase;
for (Path path : paths) {
testCase = readTestCasesJson(path.toString());
if (!testCase.getStatus().equals("passed") ) {
testCase.initLabels();
testCases.add(testCase);
}
}
return testCases;
}
Генерация таблицы
Далее создадим метод, который будет получать информацию по автотестам для всех статусов, сортировать их и создавать таблицу в формате html.
/**
* Формирует html код таблицы
*
* @param testCasesPath путь к папке с json файлами отчета
* @param link ссылка на прогон в CI
* @param name название прогона
* @return строка с html кодом таблицы
* @throws IOException ошибка доступа к данным
*/
public static String createTableBody(String testCasesPath, String link, String name) throws IOException {
List<Path> filesPath = getFilesInFolder(testCasesPath);
List<TestCase> tests = getTestCasesDataInFolder(filesPath);
List<TestCase> notPassed = tests.stream()
.sorted(Comparator.comparing(TestCase::getStatus)
.thenComparing(TestCase::getEpic, nullsFirst(naturalOrder()))
.thenComparing(TestCase::getFeature, nullsFirst(naturalOrder()))
.thenComparing(TestCase::getStory, nullsFirst(naturalOrder()))
.thenComparing(TestCase::getName, nullsFirst(naturalOrder())))
.collect(Collectors.toList());
String lines = createTableLines(notPassed);
return (format(TABLE_HEADER, name, link, link) + lines + TABLE_TAIL).replace("\"", "\\\"");
}
Для формирования строк таблицы используем следующий метод:
/**
* Формирует строки таблицы в Confluence
*
* @param testsCases список упавших тестов
* @return html код строк таблицы
*/
private static String createTableLines(List<TestCase> testsCases) {
StringBuilder result = new StringBuilder();
String colorValue = "";
for (TestCase test : testsCases) {
colorValue = getColorValue(test.getStatus());
result.append(
format(
TABLE_LINE,
++testNumber,
Strings.isNotNullAndNotEmpty(test.getEpic()) ? test.getEpic() : " ",
Strings.isNotNullAndNotEmpty(test.getFeature()) ? test.getFeature() : " ",
Strings.isNotNullAndNotEmpty(test.getStory()) ? test.getStory() : " ",
colorValue,
getColorName(test.getStatus()),
colorValue,
test.getName()
)
);
}
return result.toString();
}
Для создания html-кода таблицы проще всего скопировать код из шаблона в Confluence и подставить нужные значения в определенные места с помощью функции format().
Сначала формируем хедер таблицы. После поочередно добавляем строки. Последней добавляем строку с тегами, закрывающими таблицу. Таким образом, мы сформируем html-код таблицы, который передадим в теле запроса.
Создание таблицы с помощью POST-запроса
Для создания таблицы с помощью запросов используем документацию Confluence REST API.
Для начала создадим в Confluence пустую страницу, которую будем использовать для нашего генератора таблиц. Так нам будет удобно отправлять запросы к странице с определенным id (пусть это будет 123456789), который можно посмотреть в адресе самой страницы https://***.ru/pages/viewpage.action?pageId=123456789
Для того чтобы сохранить новую таблицу, нам нужно узнать текущую версию страницы. Для этого используем GET запрос https://***.ru/rest/api/content/123456789?expand=version
Для работы с api используем RestAssured https://rest-assured.io/
И создадим метод для получения номера следующей версии страницы
/**
* Получает версию таблицы в Confluence
*
* @param url адрес страницы
* @param login логин от учетки Confluence
* @param password пароль от учетки Confluence
* @return номер следующей версии страницы
*/
public static int getNextPageVersion(String url, String login, String password) {
int result = RestAssured
.given()
.auth()
.preemptive()
.basic(login, password)
.get(url)
.jsonPath().get("version.number");
return result + 1;
}
Для создания таблицы используем POST-запрос https://***.ru/rest/api/content/123456789/ с телом:
{
"body": {
"storage": {
"value": "наш html код таблицы",
"representation": "storage"
}
},
"type": "page",
"title": "Генератор таблиц",
"version": {
"number": "100"
}
}
Здесь мы указываем заголовок страницы, html-код самой таблицы и номер новой версии страницы. Так будет выглядеть метод:
/**
* Создает таблицу в Confluence
*
* @param url адрес страницы
* @param login логин от учетки Confluence
* @param password пароль от учетки Confluence
* @param table html код таблицы
* @param title Название страницы
* @param pageVersion Версия страницы
*/
public static void createConfluenceTable(String url, String login, String password, String table, String title, int pageVersion) {
String TABLE_BODY = "{\n" +
" \"body\": {\n" +
" \"storage\": {\n" +
" \"value\": \"%s\",\n" +
" \"representation\": \"storage\"\n" +
" }\n" +
" },\n" +
"\n" +
" \"type\": \"page\",\n" +
" \"title\": \"%s\",\n" +
"\n" +
" \"version\": {\n" +
" \"number\": \"%s\"\n" +
" }\n" +
"}";
RestAssured
.given()
.auth()
.preemptive()
.basic(login, password)
.header("Content-Type", "application/json")
.header("Connection", "keep-alive")
.body(format(TABLE_BODY, table, title, pageVersion))
.when()
.put(url)
.then()
.statusCode(200);
}
И главный метод для выполнения программы:
import utils.RequestExecutor;
import java.io.IOException;
import java.util.Scanner;
import static utils.TableGenerator.createTableBody;
public class App {
public static void main(String[] args) throws IOException {
//Путь до папки с отчетом
String PATH = "C:\\Users\\User\\Desktop\\allure-report\\data\\test-cases";
//Название страницы в Confluence
String TITLE = "Генератор таблиц iOS";
//Название таблицы
String NAME = ": \"№1 Смоук 1.01\"";
//Ссылка на отчет в CI
String LINK = "Отчет в CI";
//Запрос для получения номера текущей версии страницы в Confluence
String URL_GET = "https://***.ru/rest/api/content/123456789?expand=version";
//Запрос для создания таблицы в Confluence
String URL_POST = "https://***.ru/rest/api/content/123456789/";
System.out.println("Для подключения к учетной записи Confluence");
Scanner in = new Scanner(System.in);
System.out.print("Введите логин: ");
String login = in.nextLine();
System.out.print("Введите пароль: ");
String password = in.nextLine();
RequestExecutor.createConfluenceTable(
URL_POST,
login,
password,
createTableBody(PATH, LINK, NAME),
TITLE,
RequestExecutor.getNextPageVersion(URL_GET, login, password)
);
}
}
Заключение
За счет того, что мы автоматизировали работу с отчетами, в нашем проекте удалось сделать тестирование быстрее и проще:
QA-специалисты смогли оперативно приступать к разбору отчетов, не затрачивая время на ручное создание таблиц и перенос данных из Allure-отчета.
Снизилась вероятность ошибок, которые могли возникнуть при ручном переносе данных из Allure-отчета в таблицу.
Работать с данными в таблице стало удобнее.
В рамках проекта тестирование проводили на трех платформах: web, Android и iOS. Генератором таблиц первоначально пользовались только мобильные команды, при этом веб-команда уже к следующему регрессу оценила их опыт и тоже начала пользоваться предложенным методом.
Полный код к статье доступен на GitHub.
Спасибо за внимание! Надеемся, что наш опыт был вам полезен.