Инструментов управления тестированием существует большое множество, и понять, какой из них подходит для конкретного проекта, бывает довольно сложно. Будучи руководителем QA-отдела, я протестировал, проанализировал и оценил самые популярные инструменты управления тестированием и составил спиок лучших из них.
Как выбрать подходящий инструмент
Учитывайте следующее:
- Какую проблему вы хотите решить? Для начала определите функциональный пробел, который вы пытаетесь закрыть, чтобы понять, какую функциональность должен включать инструмент.
- Кто будет его использовать? Чтобы оценить затраты и требования, выясните, кто будет использовать софт и сколько лицензий потребуется. Выясните, будет ли нужен доступ к инструментутолько тестировщикам или всей организации. Далее стоит подумать, что для вас в приоритете — простота использования для всех или скорость для опытных пользователей инструментов управления тестированием.
- С какими другими инструментами он должен работать? Проясните, какие инструменты вы заменяете, какие остаются, а с какими придётся интегрироваться — например с бухгалтерским программами, CRM- или HR-системами. Вам нужно решить, должны ли эти инструменты интегрироваться друг с другом, или, наоборот, можно заменить несколько инструментов одним консолидированным инструментом управления тестированием.
- Какие результаты важны? Подумайте, какой результат должно принести выбранное программное обеспечение, чтобы считаться успешным. Подумайте, какие возможности вы хотите получить или что вы хотите улучшить, и как вы будете измерять успех. Например, результатом может быть получение большей видимости производительности. Вы можете сравнивать фичи инструментов до посинения, но если вы не думаете о желаемых результатах, вы можете потерять много времени.
- Как оно будет работать в вашей организации? Рассмотрите выбор инструмента в рамках ваших рабочих процессов и методологии поставки. Оцените, что работает хорошо, а в каких областях возникают проблемы, требующие решения. Помните, что все бизнесы отличаются друг от друга — не стоит быть уверенным в том, что если инструмент популярен, то он будет гарантированно работать и в вашей компании.
Обзор инструментов
Теперь перейдем непосредственно к инструментам. Они помогают в процессе обеспечения качества и сокращают объём ручного тестирования, чтобы вы тратили меньше времени на возню с Excel таблицами или старыми тест-кейсами, а больше времени уделяли самому тестированию и исправлению багов.
1. PractiTest
PractiTest — это сквозная SaaS-платформа для управления тестированием в одном месте. Имеет 14-дневную бесплатную пробную версию. Стоимость: от $2490/год
Панель тестовых прогонов фиксирует статус тестового задания, ответственных лиц и дат.
Являясь общим местом встречи для всех заинтересованных сторон по части обеспечения качества, PractiTest обеспечивает полную видимость процесса тестирования, а также более глубокое и широкое понимание результатов тестирования. Инструмент является полностью настраиваемым и гибким; закрывает все потребности QA-команд, позволяя им настраивать поля, представления, разрешения, рабочие процессы и многое другое.
Этот инструмент также позволяет пользователям повторно использовать тесты и сопоставлять результаты в разных релизах и продуктах, а также избегать дублирования работы с помощью фичей защиты от дублирования багов, перестановок, параметров шагов и фичи вызова тестов.
Ещё одна замечательная фича — уникальные иерархические деревья фильтров, которые отлично подходят для организации и быстрого поиска. Члены QA-команды могут визуализировать данные с помощью расширенных дашбордов и отчётов.
PractiTest поддерживает множество сторонних интеграций с такими распространёнными баг-трекерами, как Redmine, Jira, Pivotal Tracker и другими, а также с инструментами автоматизации. Инструмент в том числе предлагает надёжный API для дальнейших интеграций.
2. Tuskr
Tuskr — интересное решение благодаря доступной цене и полному набору фичей управления тестированием. Стоимость: от $9 за пользователя в месяц (минимум пять пользователей). Доступна бесплатная пробная версия.
Tuskr позволяет создавать и выполнять гибкие тестовые прогоны, включая фильтрованные или полные тест-кейсы в рамках текущего проекта.
Tuskr — это комплексное решение для управления тестированием для продакт-менеджеров, QA-инженеров, команд разработчиков и ИТ-специалистов. Простой, но интуитивно понятный пользовательский интерфейс оснащён мощными инструментами и возможностями для проведения тестирования. Вы можете создавать тест-кейсы с помощью WYSIWYG-редактора с RTF-форматированием. Огромные тестовые данные можно легко организовать с помощью HTML-таблиц.
Вы можете создавать гибкие тестовые прогоны с настраиваемыми полями и фиксировать результаты. Софт позволяет создавать пользовательские статусы результатов, соответствующие конкретным требованиям, а функция массового режима позволяет переназначать тест-кейсы или добавлять пользовательские результаты. С помощью Tuskr можно создавать подробные отчёты о состоянии и экспортировать их в формате PDF, чтобы поделиться ими со стекхолдерами и клиентами. Доступна диаграмма рабочей нагрузки, которая поможет определить, кто из тестировщиков загружен или недогружен. Также можно сравнивать графики плановой и фактической производительности, чтобы отличить лучших исполнителей от тех, кто работает неэффективно.
3. TestRail
TestRail — универсальный инструмент управления тестированием с кастомизируемыми дашбордами и широкими возможностями интеграции. Стоимость: от $37 за пользователя в месяц. Имеет 14-дневную бесплатную пробную версию.
В TestRail есть настраиваемые шаблоны для создания планов тестирования и тестовых случаев.
TestRail — это платформа управления тестированием для QA-команд и разработчиков, которая помогает управлять тест-кейсами, планировать и выполнять тесты, а также отслеживать результаты ручного и автоматизированного тестирования. Её можно использовать как в agile-проектах, так и в проектах с каскадной моделью управления. Вы можете организовать тест-кейсы в папках и разделах, а также настроить тест-кейсы с помощью шаблонов, статусов и полей.
API TestRail позволяет инженерам по автоматизации тестирования загружать результаты тестирования из автоматизированных скриптов, что позволяет отслеживать результаты как ручных, так и автоматизированных тестов. TestRail также предлагает дашборды и отчёты, которые помогут команде сообщать о количестве пройденных и проваленных тестов, отслеживать ход цикла тестирования и оценивать текущий уровень риска нового релиза.
TestRail интегрируется с Jira, GitHub, GitLab, Asana и 20 другими инструментами баг-трекинга. Он поддерживает отчётность по тестам, запущенным с помощью Selenium, Cypress, Appium, Cucumber, Junit, TestNG, Pytest или любого другого инструмента автоматизации тестирования или фреймворка с использованием TestRail API. TestRail также можно интегрировать с CI/CD-пайплайнами, такими как Jenkins, GitHub Actions, GitLab CI, Azure DevOps и другими.
4. Tricentis qTest
Tricentis qTest — решение для перехода к Agile и поддержки проектов с каскадной моделью. Стоимость: от $1,200 за пользователя за год. Есть 14-дневная бесплатная пробная версия.
Tricentis qTest и Jira могут быть интегрированы и работать вместе, что облегчает процессы управления тестированием.
Tricentis qTest — это инструмент управления тестированием, который масштабируется и подходит для бизнеса любого масштаба. Софт даёт командам DevOps и QA единое представление о задачах и действиях на протяжении всего жизненного цикла разработки программного обеспечения. Централизованный контроль и оркестровка всех автоматизированных рабочих процессов облегчает внедрение тестирования в пайплайн непрерывной разработки. Команды тестировщиков и разработчиков могут использовать этот инструмент для перехода к Agile-методологии или для поддержки своих проектов с каскадной моделью.
Команды DevOps и QA могут повторно использовать свои тест-кейсы и обмениваться ими между проектами, чтобы создавать и продвигать установленные стандарты и масштабировать лучшие практики. Это также упрощает создание и поддержку большего количества тест-кейсов. Пользователи могут объединить или централизовать свои решения для автоматизированного, исследовательского и ручного тестирования в одном и том же программном обеспечении. Кроме того, они могут создавать настраиваемые отчёты о данных по тестированию, используя более 60 готовых настраиваемых отчётов.
Этот инструмент имеет встроенные интеграции с некоторыми из наиболее распространённых решений для планирования, разработки и тестирования продуктов, такими как Selenium, Jira, Jenkins и GitHub.
5. Tricentis Test Management
Tricentis Test Management — решение для поддержки рабочих процессов DevOps с помощью интеграций. Стоимость: от $1,38 за пользователя в месяц (первые 100 пользователей). Имеет 30-дневную бесплатную пробную версию.
Tricentis Test Management позволяет отслеживать состояние различных тестов и видеть, в каких из них есть проблемы.
Tricentis Test Management — это софт для управления тестированием, который интегрируется с различными инструментами планирования, тестирования и DevOps, включая Jenkins, Selenium и Jira, что позволяет командам иметь единое представление о процессе тестирования ПО.
Данное решение помогает подходить к тестированию стратегически и совместно. Это достигается благодаря нескольким полезным фичам, включая:
- qTest Manager для планирования этапа тестирования,
- qTest Pulse для автоматизации событий,
- qTest Launch для автоматизации тестирования и
- qTest Explorer для документирования.
Tricentis Test Management использует автоматизированный подход к тестированию, без написания кода и с использованием искусственного интеллекта, что позволяет ускорять релизы. Кроме того, это решение масштабируется, а миграция данных из электронных таблиц и старых решений для управления тестированием не представляет сложности, что позволяет при внедрении Tricentis без проблем продолжить тестирование. Эта платформа помогает:
- отслеживать, организовывать и составлять отчёты о процессе тестирования,
- создавать пользовательские рабочие процессы,
- управлять автоматизированным тестированием,
- записывать сеансы тестирования,
- а также использовать настраиваемый дашборд для аналитики и отчётности.
Tricentis позволяет пользователям плавно переходить от старых систем управления к Tricentis и интегрироваться с несколькими Agile- и DevOps-инструментами. Эти интеграции могут быть настроены для поддержки управляемых событиями рабочих процессов с любым сторонним инструментом, включая Bamboo, Azure Pipelines, Teams и Slack.
6. Xray
Xray — приложение для управления тестированием в Jira, которое использует родные типы вопросов Jira для управления артефактами тестирования. Стоимость: от $10 за пользователя в месяц. Есть 30-дневная бесплатная пробная версия.
Xray позволяет управлять ручными и автоматизированными тестами как Jira issues, настраивать экраны, поля и рабочие процессы.
Xray для Jira — это полноценный инструмент управления тестированием, который помогает организовать, спланировать, выполнить тесты и отчитаться о ходе тестирования и готовности к развёртыванию.
Xray использует встроенные в Jira типы проблем (issues), а все требования связаны с тест-кейсами — благодаря этому вы не пропустите ни одного теста. Поскольку Xray интегрирован в Jira, и разработчики, и тестировщики работают в одной единой экосистеме, что обеспечивает прозрачность работы, видимость хода тестирования и улучшает процесс сотрудничества между разработчиками и тестировщиками. Таким образом, все говорят на одном языке, а каждый тест учитывается.
С помощью Xray можно использовать agile-доски для отслеживания состояния требований и хода выполнения тестов в режиме реального времени. Кроме того, вы получаете широкие возможности по созданию отчётности, ипользуя встроенные отчёты для отслеживания и анализа покрытия, а также дашборд с элементами, позволяющими оценить состояние тестирования. Xray также поддерживает тестирование на основе данных с параметризованными тестами, что позволяет быстро тестировать большие наборы итераций.
Интеграция с инструментами непрерывной интеграции, включая Cucumber и Jenkins, проводится с помощью встроенного REST API. Xray также интегрируется с популярными фреймворками для автоматизации тестирования, включая Cucumber, JUnit, NUnit, Robot Framework, а также поддерживает тестирование в BDD с помощью фреймворков на основе Gherkin.
7. Kualitee
Kualitee — решение для управления тест-кейсами и отслеживания багов. Стоимость: от $15 за пользователя в месяц. Есть 7-дневная бесплатная пробная версия.
Управление проектами, тестированием и дефектами в одном месте.
Kualitee — это облачный инструмент управления тестированием. Он поддерживает как ручное, так и автоматизированное тестирование. Тестировщики могут создавать и импортировать тест-кейсы, а также связывать их со сборками и требованиями, чтобы обеспечить полную сквозную прослеживаемость.
Благодаря фиче управления дефектами Kualitee обеспечивает полный цикл тестирования — от планирования тестов до их выполнения и отслеживания проблем. Это инструмент «всё в одном», который могут одновременно использовать тестировщики, разработчики и руководители проектов.
С помощью этого инструмента можно создавать пользовательские отчёты о проведённом тестировании и багах, а также использовать функции планирования требований. Интерактивные дашборды интуитивно понятны и удобны в пользовании.
Kualitee интегрируется с Jira, Selenium, Jenkins и Bitbucket. Также есть мобильное приложение.
8. TestMonitor
TestMonitor — инструмент управления тестированием с функцией управления рисками. Стоимость: от $39 в месяц. Есть 14-дневная бесплатная пробная версия.
TestMonitor отслеживает тесты, чтобы обеспечить оптимальную эффективность и прогресс, предоставляя пользователям статистику в режиме реального времени.
TestMonitor позволяет командам создавать, выполнять и контролировать тест-кейсы, управлять дефектами; а также предоставляет функции отслеживания и отчётности.
Этот инструмент поддерживает ручное и автоматизированное тестирование, облегчая управление тестами во всех тестовых средах. TestMonitor интегрирован с различными фреймворками автоматизированного тестирования, что позволяет запускать скрипты непосредственно из инструмента. Можно создавать комплексные планы тестирования для последующего использования на протяжении всего цикла разработки ПО.
В TestMonitor можно добавлять комментарии, создавать и назначать действия, а также следить за процессом устранения дефектов. Вы также можете создавать тест-кейсы, назначать их тестировщикам и устанавливать ожидаемые результаты. Чтобы помочь другим членам команды понять цель каждого тест-кейса, добавьте скриншоты или видео. Кроме того, есть возможность импортировать тест-кейсы из внешних источников, то есть перенести в платформу любые уже существующие тест-кейсы.
Вы можете создавать этапы, представляющие ключевые события в процессе тестирования, и назначать соответствующие тест-кейсы для каждого этапа. Это поможет расставить приоритеты и обеспечить решение всех критических проблем перед переходом к следующему этапу. TestMonitor также включает в себя функцию drag-and-drop, которая пригождается при расстановке приоритетов и группировке тест-кейсов.
Функция управления требованиями и рисками TestMonitor позволяет создавать, отслеживать и управлять требованиями, обеспечивая учёт всех необходимых функциональных возможностей. Одновременно инструмент предлагает комплексный подход к управлению рисками, выявляя потенциальные проблемы и их влияние на проект.
Настраиваемые отчёты о проделанной работе позволяют анализировать данные о результатах тестирования и отслеживать показатели качества.
Доступны интеграции с Jira, Asana, DoneDone, MantisBT, Azure DevOps, Slack, Microsoft Teams и TOPdesk. Вы также можете подключить TestMonitor к учётной записи Zapier, чтобы получить доступ к дополнительным интеграциям.
9. Testiny
Testiny — инструмент для управления тестированием с бесплатным планом для 3-х пользователей. Стоимость: от $17 за 4-х пользователей в месяц. Есть 14-дневная бесплатная пробная версия.
Пользователи могут отслеживать состояние своих тестов в режиме реального времени.
Testiny — это инструмент управления тестированием, который облегчает планирование, выполнение и подготовку отчётности. Его настраиваемые рабочие процессы помогают командам эффективно управлять тест-кейсами, требованиями и дефектами. Testiny может обрабатывать различные процессы тестирования, такие как функциональное тестирование, тестирование производительности и регрессионное тестирование.
Пользователи могут создавать в программе планы тестирования, которые описывают требования к тестированию, тест-кейсы и ожидаемые результаты. Планы могут быть назначены членам команды, а система отчётности может генерировать отчёты, которые дают представление о процессе тестирования. Эта фича помогает пользователям выявлять баги, отслеживать решение проблем и обеспечивать соответствие процесса тестирования общим целям проекта.
Инструмент поддерживает совместное управление тестированием через обмен документами, командные чаты и назначение задач. Пользователи могут создавать автоматизированные тесты, которые могут выполняться многократно, а функции настраиваются в соответствии с конкретными потребностями. Функции автоматизации помогают оптимизировать процессы тестирования и снизить риск появления ошибок, связанных с человеческим фактором. Функция просмотра выполнения тестов позволяет пользователям отслеживать ход выполнения тестов и определять, какие тесты были успешно завершены, а какие требуют дополнительного внимания.
С программой работают баг-трекеры, такие как JIRA, Bugzilla и Trac.
10. aqua ALM
aqua ALM — решение для управления требованиями, тест-кейсами и дефектами. Стоимость: от $38/месяц. Есть 30-дневная бесплатная пробная версия.
QA-команды могут создавать отчёты и визуализации данных, используя интерфейс aqua ALM с функцией drag-and-drop.
aqua — это простая в использовании немецкая система управления тестированием, известная тем, что предоставляет услуги корпоративного уровня для клиентов всех уровней по доступной цене (тарифы начинаются от 39 евро в месяц). С помощью aqua можно организовывать тесты и команды, запускать сценарии тестирования любой сложности и масштаба и плавно переходить от ручного к автоматизированному тестированию. Аналитика в реальном времени и отчёты корпоративного уровня обеспечивают ясность рабочих процессов тестирования и разработки: вы видите, что нужно улучшить и автоматизировать.
С 2008 года aqua служит в качестве решения для управления тестированием и ALM для крупнейших предприятий Германии. С 2022 года они также запустили облачный уровень для SMB, который включает поддержку и гибкость корпоративного уровня.
К каждому тарифу прилагается возможность подключения неограниченного числа бесплатных пользователей «Basic» уровня, которые могут просматривать отчёты, а также создавать и выполнять тест-кейсы (что идеально подходит для ручных тестировщиков). Это поможет сэкономить расходы — платную версию aqua можно приобрести только для тест-менеджеров и тестировщиков, занимающихся автоматизированным тестированием.
Больше практических навыков по управлению командами, проектами, а также разработкой и тестированием вы можете получить в рамках практических онлайн-курсов от экспертов отрасли.
