Быстрое развитие IT-сферы провоцирует рост нагрузки на QA-команду, увеличивается число сотрудников, задачи усложняются. Для обеспечения конкурентного темпа работы при высоких требованиях к качеству необходимо создавать особую IT-инфраструктуру и привлекать современные удобные инструменты, способные при этом подстроиться под запросы конкретной QA-команды.
Мы снова провели срез-анализ рынка старых и новых TMS-решений, выбрали основные функции, которые хотели бы видеть в системах управления тестированием, сравнили их возможности и цены. Не было цели составить рейтинг, так как у каждого инструмента есть свои плюсы и минусы. Делимся свежим списком тулзов для тест-менеджмента, один из которых точно вам подойдёт.
Что должна уметь хорошая Test Management System?
Устанавливаться просто, иметь техподдержку или комьюнити (в случае с опенсорсом)
Позволять вести и управлять проектными областями и пользователями
Интегрироваться с внешними сервисами и системами
Позволять управлять версиями тестовых артефактов, давать возможность откатиться назад
Возможность работать с автотестами и мануальными тестами из единого интерфейса
Простой UX, освобождающий от придумывания костылей
Уметь создавать отчеты по метрикам итерационного тестирования, проекта и времени затраченному на процессы тестирования
Давать возможность кастомизировать тест-планы, параметры тестов и что угодно
Возможность чатиться с коллегами в рамках системы
Иметь гибкую ролевую политику, в том числе по уровням доступа в систему
Зачем нужна подобная система?
В первую очередь, TMS-система решает проблему ведения тестовой модели и взаимодействия членов команд или отделов между собой. Но работать со всей документацией проекта можно несколькими способами:
Самый дешёвый способ — взять Google Docs для матрицы трассируемости, а дефекты вести в open-source баг-трекере.
Другой способ — использовать одну из популярных TMS-ок, интегрированную с баг-трекером компании.
Next-level способ — выбрать Test Management System, исходя из специфики проектов, объемов задач, типов документации и используемых видов тестирования.
И хотя тестирование не добавляет ценности продукту и стоит денег, этот этап является важнейшим, так как предотвращает ошибки на продакшене и последующие серьёзные репутационные и финансовые убытки.
Популярные системы управления тестированием на 2021 год:
(Попытались сделать якорное меню, но оно сработало не на всех устройствах)
Рассмотрим выбранные инструменты подробнее:
Azure DevOps
Azure DevOps (он же Team Foundation Server) – это продукт компании Microsoft, предлагающий мощный и понятный в освоении инструмент для создания, хранения и прохождения тестовой документации. Azure воплощает более чем 15-летний опыт создания инструментов для разработки программного обеспечения. Также данная система представляет собой комплексное решение, есть возможность использовать только необходимую функциональность под конкретную задачу, не переплачивая.
Azure DevOps позволяет совмещать ручное\автоматическое тестирование, в нём также удобно вести и отслеживать метрики по своим тестовым сценариям, настраивать рабочие процессы, собирать или строить необходимое покрытие требований к разработке систем и многое другое.
Отдельно стоит упомянуть возможность интеграции с IDE всё от той же компании Microsoft, так что вы можете редактировать и настраивать свой код прямиком через Azure и интегрироваться со всевозможными системами из зоопарка Microsoft.
Возможности:
Простая установка и сопровождение системы
Интеграция с любым продуктом компании Microsoft
Комплексное решение, управление тестированием является лишь одним из инструментов
Мануальные\автотесты из единого интерфейса
Расширенные метрики по отчётности
Кастомизация интерфейса\пользовательских атрибутов
Кастомизация и последующее использование параметров
Наличие читабельной документации
Наличие внутреннего баг-трекинга
Цены: от $52 в месяц за базовую функциональность + тест планы
ALM Octane
ALM Octane — это давно обкатанный в боях и достаточно мощный инструмент, который позволяет оптимизировать и наблюдать за своими рабочими процессами, объединить мануальное и автотестирование, управлять и настраивать релизные циклы. Продукт сложный в освоении, однако его функциональность закрывает потребности больших компаний со сложной внутренней структурой разработки. Система масштабируема в рамках компании что позволяет добавлять в базу знаний всё новых и новых пользователей в том числе делиться с ними уже наработанными данными. Также есть возможность вести требования напрямую в продукте.
Всю систему можно кастомизировать под свои потребности\нужды, гибкий функционал по разработке и ведении тестов позволяет существенно сократить время и силы затрачиваемые на повышение качества выпускаемых продуктов компании.
Возможности:
Давно проверенный на рынке инструмент с большой базой уроков\материалов по изучению и способам работы с продуктом
Общий доступ к библиотекам требований и ресурсов
Подробные сведения о коде, тестировании, управлении рисками и их оценке, а также о соответствии требованиям
Быстрый доступ к показателям, например к данным о не устранённых дефектах
Масштабируемая среда разработки и ведения тестовой документации
Работа с мануальными и автоматизированными тестами в едином интерфейсе
Настраиваемый интерфейс и шаринг базы знаний в рамках компании
Создание требований и отслеживание их выполнения на всех этапах жизненного цикла приложения
Расширенные данные по аналитике процессов тестирования и трудозатрат
Интеграция с 50+ инструментами
Цены: от $28 в месяц
Бесплатная пробная версия: 30 дней
Test IT
Test IT — российская система управления тестированием, которую создают тестировщики для тестировщиков. Данный продукт быстро набирает обороты и постоянно расширяет свои функциональные возможности. Умеет в мануальное\автотестирование в рамках единого интерфейса, поддерживает гибкую ролевую политику, кастомизацию.
Присутствуют расширенный возможности по ведению, оформлению и прохождению тестовых артефактов, в том числе в связке с параметрами тестов и используемых конфигураций. Благодаря простым и кастомизируемым отчётам возможно собрать всю необходимую информацию как о мануальных, так и об автотестах. Система подходит как для небольших команд от 3-х тестировщиков, так и для крупных команд.
Систему отличает приятный дизайн, оперативная техподдержка, частые релизы и обратная связь от разработчиков данного решения.
Возможности:
Удобное управление, оптимизация и выполнение тестовых артефактов
Работа с мануальными и автотестами из единого интерфейса
Расширенный анализ автоматизированных тестов и тест-ранов
Кастомизация интерфейса и пользовательских локальных\глобальных атрибутов
Работа с параметрами\конфигурациями в рамках системы
Полноценное версионирование тестовых артефактов
Кастомизируемые дашборды, которые позволяют вывести всю необходимую информацию по процессам тестирования
Внутренний чат и вебхуки во внешние системы
Гибкая ролевая политика как доступа к системе, так и к проектным областям
Двусторонняя интеграция с JIRA\Azure DevOps
Расширенный функционал публичного API
Игровой элемент
Цены: от 3-х лицензий 2121 рублей в месяц
Бесплатная пробная версия: на 30 дней для 25 юзеров
TestRail
За последний год TestRail приобрёл своего конкурента Xray (плагин для Jira), что позволило им покрыть пользователей, которые плотно работают в Jira. Система одна из самых старых на рынке, поэтому эксплуатирует отточенные методологии тестирования, поддержана функциональность внутреннего чата и оповещений во внешнюю систему, есть возможность удобно настраивать свои рабочие процессы и за последние 2-3 релиза была существенно расширена документация API.
Возможности:
Широкие возможности настройки, облачные или локальные варианты установки
Большая база знаний по работе с продуктом
Отслеживание состояния и результатов отдельного теста
Расширенный REST API
Типизация проектов под специфику продукта
Наличие внутреннего чата и нотификаций
Достаточно широкие отчётные метрики по проектным и тестовым областям
Интеграция с JIRA, Redmine, YouTrack, GitHub, Jenkins, Selenium и Visual Studio
Цены: от $36 в месяц
Бесплатная пробная версия: 14 дней
Qase
Qase достаточно удобен для небольших и средних размеров команд. Продукт отличается широкими возможностями кастомизациии при аскетичностьи интерфейса. Удобная система отчётов и выполнения тестовых артефактов в совокупности с настройками интерфейса позволяют достаточно быстро и точно настроить свои рабочие процессы.
Возможности:
Тестовый репозиторий: выстраивание тестов в логические группы
Оповещения во внешние сервисы об изменениях в тестах
Удобный интерфейс и расширенной кастомизацией
Хранение документации по проекту
Автотрекинг дефектов в интегрированные TTS
Удобный и простой REST API
Расширенные возможности интеграций с внешними системами
Гибкая ролевая политика
Цены: до 3 юзеров бесплатно, далее от $24 в месяц
Бесплатная пробная версия: 30 дней
Allure TestOps
Allure TestOps – платформа управления качеством ПО, построенная с фокусом на автоматизацию, DevOps-процессы и гибкий цикл разработки. За счёт гибкости системы и большого количества клиентских библиотек и фреймворков её легко интегрировать с уже используемыми инструментами автоматизации тестирования.
Система преимущественно направлена на работу с автоматизированным тестированием, присутствует и мануальное, что позволяет вывести новый путь разработки тестовой документации: от автотеста – к тесту. Можно вести свои тестовые артефакты в коде, синхронизировать шаги мануального и автотеста и анализировать расширенный отчёты по автоматизированному тестированию.
Возможности:
Клиентские библиотеки
Легкая интеграция с automation tools
Хранение мануальных тестов в коде
Кастомизируемые отчёты по автотестам
Совмещение работы с мануальными и автоматизированными кейсами
Многопоточность автотестов, отложенные запуски автотестов
Кастомизация интерфейса\пользовательские атрибуты
Тайм-менеджмент (TimeLine)
Цены: Allure TestOps стоит от $30 за пользователя в месяц
Бесплатная пробная версия: 30 дней по запросу
Zephyr Squad (Zephyr For Jira)
Zephyr Squad — простой, лёгкий в освоении и настройки плагин для Jira, который позволяет создавать, настраивать и проходить свои тестовые сценарии в Jira, предназначена для небольших команд с последующим масштабированием на другие продукты компании SMARTBEAR. Плагин отлично подходит для команд, у которых пока что нет сложных процессов тестирования или потребности в сложных структурах, есть всё необходимое в отчётности и приятные возможности по кастомизации сущностей наследуемые от интерфейса Jira.
Возможности:
Простая установка и настройка плагина
Кастомизация интерфейса\пользовательские атрибуты
Простая и понятная система отчётов в Jira
Масштабируемость под команду
Ведение, отслеживание и покрытие дефектов и требований в Jira
Большое количество видео-уроков, документации
Интеграция с внешними сервисами
Цены: от $10 в месяц за облачную версию
Бесплатная пробная версия: 30 дней
Zephyr Scale (TM4J)
TM4J он же Adaptavist, за последний год был приобретен компанией SMARTBEAR и переименован в Zephyr Scale.
Zephyr Scale – это масштабируемое, решение для управления тестовыми артефактами, релизами и отчётностью по тестам внутри Jira с расширенными функциями планирования тестирования и повторного использования. Предназначена для среднего размера команд и небольших компаний с возможностью переноса своих исторических данных с Zephyr Squad.
Продукты компании SMARTBEAR на данный момент позиционируют себя так:
Zephyr Squad – для небольших команд
Zephyr Scale – для среднего размера команд и небольших компаний
Zephyr Enterprise – для больших команд и среднего\большого размера компаний
Возможности:
Покрытие требований, релизных циклов и ведение отчётности напрямую в Jira
Ведение, отслеживание и покрытие дефектов в Jira
Простой в освоении UI
Расширенные дашборды в Jira
Масштабируемость под команду
Широкие возможности кастомизации проектов\тестовых артефактов
Большое количество видео-уроков, документации
Интеграция с внешними сервисами
Цены: от $10 в месяц за облачную версию
Бесплатная пробная версия: 30 дней
Tricentis qTest
Tricentis qTest — это простое в использовании, масштабируемое решение для управления тестами, которое позволяет тестировщикам централизовать и ускорить управление тестами. Система предоставляет возможности отслеживания, управления, организации и отчётности для тестирования программного обеспечения и управления тестовыми сценариями. Также продукт управляет требованиями и тест-кейсами, выполняет тесты, отслеживает дефекты и сообщает о тестовых данных. Есть интеграция с JIRA, Rally и VersionOne, а также с другими популярными инструментами автоматизации.
Возможности:
Легко интегрируется с инструментами Agile и DevOps
Создание значимых отчётов с данными из Jira
Централизует управление и автоматизацию тестирования
Интегрируется с любым открытым или проприетарным инструментом автоматизации тестирования
Идёт зачастую в связке с Tricentis Tosca, что позволяет покрыть и мануальное и авто тестирование
Работа с параметрами и конфигурациями тестов
Цены: Tricentis не указывает свои цены напрямую, запрос можно отправить по этой ссылке
Бесплатная пробная версия: 14 дней
Kiwi TCMS
Kiwi TCMS – бесплатная система управления тестовыми сценариями, написанные на Python и Django. У данной системы достаточно мощных и полезных функций, к примеру интеграция с Bugzilla и JIRA, быстрый план тестирования и выполнения умного поиска, настраиваемый контроль доступа для каждого тест-плана, выполнения теста и прочих артефактов, а также API-интерфейсы и XML-RPC.
Система отлично подходит под небольшие команды\продукты и предназначена помочь тестировщикам сделать их работу более организованной, прозрачной и подотчётной для всех членов команды.
Возможности:
Линкование тестовых сценариев и issue не выходя из JIRA
Работа с автоматизированными тестами
Внутренний баг-трекер
Понятная система отчетов
Использование общего шага
Фактическое время прохождения теста
Экспорт данных в Excel
Цена: Бесплатная система с открытым исходным кодом, но есть платные планы за донейшен или подписку
Понравился пост? Не забудьте поделиться им!
И помните, только тестировщик стоит между багами и клиентом! :)
