В конце марта в питерском офисе Wrike прошел Allure server meetup. В несколько часов удалось поместить концентрированную информацию по новому инструменту Allure server, по современным практикам работы с тестовой документацией и автотестами и по интересному опыту взаимодействия тестирования компании Wrike и нового вендора на рынке TMS систем.
Для тех, кто не смог прийти, мы публикуем видеозаписи докладов.
Антон Башкиров (Wrike QA Lead) рассказал про концепцию и сам продукт Allure server, про то как наши потребности в быстрой и дешевой тестовой документации и централизованной работе с ней срастались и взаимно проникали с идеями команды qameta.io. Обрисовал дальнейшие наши планы по работе с Allure server.
Антон Башкиров – Allure server: трансформация test case менеджмента в Wrike
Обычный процесс документирования может выглядеть так: QA Manual пишет чек лист → расписывает тест-кейсы → отдаёт их на автоматизацию → поддерживает документацию по мере изменения автотестов. Мы придумали, как можно упростить и удешевить эту цепочку, благодаря встраиванию QA и QAA в общий командный флоу работы, перейдя к единой системе документации.
Мы учимся использовать все артефакты тестирования в качестве документации о нашем продукте, активно используем аннотации кода автотестов, связывая их с соответствующими признаками в базе аллюр сервера, что позволяет нам работать с тест-кейсами, чек-листами, end2end и интеграционными тестами в единой упорядоченной экосистеме.
Иван Варивода (Wrike QA automation) осветил очень важную для нас историю тестового карантина, позволяющего поставить на поток вывод из запусков, починку и возвращение стабилизированных автотестов. Опять же, это решение, построенное сначала отдельно от Allure server, и интегрированное в эту систему в коллаборации с разработчиками.
Иван Варивода – Карантин тестов или как не сойти с ума с 10К селениум тестами
В автоматизации тестирования, к сожалению, не редки ситуции, когда часть автотестов временно перестает корректно работать. Возможно, это флаки тесты или на их работоспособность повлияла инфраструктурная проблема или баг – так или иначе нам приходится “выключать” такие тесты из запусков или их игнорировать.
Когда в проекте небольшое количество тестов и они гоняются не часто — особых проблем нет, но с увеличением количества тестов и ежедневных запусков становится крайне необходимо выключать сломанные тесты как можно быстрее и уметь контролировать “выключенные” тесты.
Артем Ерошенко (qameta.io), Михаил Левин (Wrike QA Director) при участии Дмитрия Баева (qameta.io) совместно с аудиторией обсудили Allure server и в целом взгляды на современную тестовую документацию.
