Топ-12 лучших систем управления тестированием 2020

    Каждый проект уникален и у каждой команды свои запросы. Однако всех нас объединяет желание работать с качественными инструментами, которые экономят время и позволяют QA-специалистам тестировать качественнее и быстрее, в идеале чтобы TMS могла совмещать ручное и автоматизированное тестирование.

    Мы вновь проанализировали проверенные временем и новые системы управления тестированием, которые сейчас популярны на рынке. Выбрали функции, которые должны быть в Test Management System нашей мечты, сравнили возможности продуктов и изучили отзывы пользователей. Делимся списком инструментов, один из которых точно подойдёт вашей команде.

    Здесь нет рейтинга, у каждого инструмента есть свои преимущества и недостатки. В основном инструменты тест-менеджмента платные, однако у всех есть бесплатная пробная версия.

    image

    Что мы хотим от удобной Test Management System?


    Пользователь TMS ожидает увидеть следующее:

    • Удобная установка и поддержка.
    • Удобный и понятный интерфейс.
    • Создание и управление проектами.
    • Создание пользователей и проектных ролей для пользователей.
    • Удобная интеграция с автоматическими тестами.
    • Работа с тестовыми артефактами: тест-план, тест-кейс, чек-лист, общие шаги.
    • Версионирование тест-кейса/чек-листа.
    • Создание пользовательских атрибутов/конфигураций.
    • Понятная система отчётности.
    • Встроенная система баг-трекинга.
    • Возможность оповещения коллег внутри и вне системы.
    • Возможность интеграции с другими инструментами.

    Зачем нужна TMS?


    Решить задачу создания единой TMS для работы со всей документацией проекта можно несколькими способами:

    1. Самый дешёвый способ — не заморачиваться и выбрать Google Docs для матрицы трассируемости, а дефекты вести в open-source баг-трекере.
    2. Другой способ — использовать одну из популярных TMS-ок, интегрированную с баг-трекером компании.
    3. Next-level способ — выбрать Test Management System, исходя из специфики проектов, объемов задач, типов документации и используемых видов тестирования.

    Очень важно подойти к вопросу выбора TMS ответственно, ведь для компании цена ошибки может оказаться высокой.

    Популярные системы управления тестированием на 2020 г


    • ALM Octane
    • Test IT
    • TestRail
    • Zephyr
    • Allure EE
    • TM4J
    • Qase
    • PractiTest
    • Testuff
    • Azure
    • MTM TFS
    • Kualitee

    Рассмотрим выбранные инструменты подробнее:

    1. ALM Octane


    ALM Octane — долгожитель среди систем управления и жизненным циклом продукта, и его тестировании. Инструмент позволяет осуществлять планирование, создание, тестирование и контроль на всех этапах разработки. Сложен в первоначальном освоении, но незаменим для компании крупной руки, где особое внимание уделяется деталям производства. Поддержана функциональность общих шагов. Работа с автоматизированными тестами. Фактические время прохождения для каждого тестового сценария. Реализована функциональность вебхуков.
    Присутствует внутренний баг-трекер. Удобная система конструирования отчетов.

    Именно потому, что продукт уже обкатан, в интернете есть великое множество мануалов и видеогайдов по настройке и использованию.

    image

    Возможности:

    • Общий доступ к библиотекам требований и ресурсов
    • Подробные сведения о коде, тестировании, управлении рисками и их оценке, а также о соответствии требованиям
    • Быстрый доступ к показателям, например к данным о не устранённых дефектах
    • Быстрая настройка лабораторной среды для устранения ошибок конфигурации в средах Agile
    • Работа с автоматизированными тестами
    • Вебхуки
    • Удобная система отчетов
    • Создание требований и отслеживание их выполнения на всех этапах жизненного цикла приложения
    • Аналитика на любой вкус и цвет: гибко настраиваемые отчёты
    • Интеграция с 50+ инструментами

    Бесплатная пробная версия: 30 дней
    Ссылка на скачивание

    2. Test IT


    Test IT — шустрая российская TMS, которую создают тестировщики для тестировщиков. Основная фишка — совмещение ручных и автотестов в одном интерфейсе, что здорово способствует объединению QA-команды. Анализ автотестов теперь возможен в одной системе с тестовой моделью! Разработчики приложения уделяют большое внимание автоматизированному тестированию, каждый тестовый случай в библиотеке тестов можно линковать с автотестами по API. Правильно настроенная интеграция с автотестами позволяет следить за прогонами и их результатами прямо из TMS в режиме реального времени. Вы сможете видеть, какие автоматические тесты в процессе выполнения, анализировать их результаты и просматривать исходный код прямо из Test IT. При необходимости можно создать тест-ран вне системы и заполнить его своими автотестами без линка с тестовыми сценариями.

    Этот инструмент отличает продуманный и красивый интерфейс. Внутри системы можно создавать проекты и вести для каждого структурированную библиотеку тестовых случаев и чек-листов, часто повторяющиеся операции выделяются в общие шаги. Инструмент гибкий — в каждом проекте создаются дополнительные пользовательские атрибуты/конфигурации, распределяются проектные роли и права, что упрощает настройку TMS под процессы компании. Test IT помогает менеджерам равномерно распределять нагрузку между тестировщиками и контролировать исполнение работ с помощью пользовательских запросов и отчётов. Также в рамках самой системы есть возможность общаться с коллегами, не используя сторонние мессенджеры. Есть элемент геймификации и возможность собирать ачивки.

    Test IT активно развивается, берет фичареквесты от своих пользователей и забивает ими 40% беклога, есть грамотная техподдержка.

    image

    Возможности:

    • Управление тест-планами, тест-кейсами и чек-листами
    • Общие шаги для повторяющихся действий
    • Создание пользовательских атрибутов/конфигураций
    • Автоматическое распределение тестов на QA инженеров
    • Интеграция автоматических тестов с помощью API
    • Создание тест-ранов вне системы с управлением состояния
    • Аналитика как по автоматическим, так и по ручным тестам
    • Внутренний чат и вебхуки во внешние системы
    • Ролевая модель и персонализация
    • Геймификация и ачивки
    • Двусторонняя интеграция с JIRA
    • Расширенная функциональность Public API
    • Импорт из других систем управления тестированием

    Бесплатная пробная версия: Открытая демо-версия на сайте
    Ссылка на скачивание

    3. TestRail


    Это программное обеспечение удобно как для команд QA, так и для разработки. План тестирования можно выстроить как по сценарию гибкой методологии, так и для более традиционного подхода. Инструмент позволяет получить представление о ходе тестирования в реальном времени. Вы можете строить конфигурированные отчеты по необходимым вам метрикам. В новых версиях появилась интеграция с Assembla. Так же была поддержана функциональность внутреннего чата и оповещений во внешнюю систему.

    image

    Помимо возможности разложения своих тестовых сценариев по тест-ранам с их дальнейшим помещением в тест-планы, вы можете использовать такую сущность как Milestone, которая позволит удобно настроить процесс прохождения тестирования.

    Можно настроить типизации проекта для ведения в нем тестовой документации.

    Возможности:

    • Отслеживание состояния и результатов отдельного теста
    • Сравнение результатов нескольких тестов, конфигураций и этапов
    • Типизация проектов для ведения тестовой документации
    • Внутренний чат и оповещения во внешнюю систему
    • Отслеживание рабочей нагрузки команды для корректировки задач и ресурсов
    • Развёрнутые отчёты и метрики
    • Широкие возможности настройки, облачные или локальные варианты установки
    • Интеграция с JIRA, Redmine, YouTrack, GitHub, Jenkins, Selenium и Visual Studio
    • Удобный REST API

    Бесплатная пробная версия: 30 дней
    Ссылка на скачивание

    4. Zephyr


    Zephyr — это плагин для всем известной JIRA, который интегрирует тестирование в проектный цикл, позволяя вам отслеживать качество программного обеспечения и принимать решения в стиле go / no-go. В новых версиях была поддержана работа с автоматизированными тестами.

    image

    Тест кейсы могут создаваться, выполняться и отслеживаться так же, как и любые другие задачи в JIRA. Для более оптимальной фиксации процесса тестирования есть интеграция с инструментами управления качеством, автоматизации, непрерывной интеграции и аналитики. Присутствует возможность создания пользовательских атрибутов. Кроме того, у продукта быстро отвечающая техподдержка.

    Возможности:

    • Ссылка на user-stories, задачи, требования, дефекты
    • Конфигурации деплоя: в облаке, на сервере, в дата-центре
    • Расширенная информация на дашбордах аналитики и DevOps
    • Интеграция с JIRA, Confluence, Selenium, Jenkins и Bamboo
    • Автоматизированные тесты
    • Создание пользовательских атрибутов
    • Понятная система отчетов.

    Бесплатная пробная версия: 30 дней
    Ссылка на скачивание

    5. Allure EE


    Allure – это фреймворк для создания простых и понятных отчётов автотестов (для любого языка), представляет из себя инструмент, позволяющий внести прозрачность в процесс создания и выполнения функциональных тестов. Отчёты Allure помогают команде решить многие проблемы и начать наконец разговаривать на одном языке. Allure Enterprise стал логичным продолжением подхода automation first и поддерживает обновление тестовой документации из кода автотестов. У инструмента есть множество интеграций с фреймворками тестирования и разными языками программирования.

    image

    Возможности

    • Интеграция с automation tools
    • Компиляция кода в кейсы
    • Детальные отчеты по автотестам
    • Совмещение работы с мануальными и автоматизированными кейсами
    • Многопоточность автотестов
    • Пользовательские атрибуты
    • Тайм-менеджмент (TimeLine)

    Бесплатная пробная версия: 30 дней
    Ссылка на скачивание

    6. TM4J


    TM4J он же Adaptavist – это приложение для управления тестированием в JIRA, позволяет вести тестовую документацию в JIRA. Линкование тестовых сценариев и issue непосредственно в JIRA. Поддержана работа с автоматизированными тестами. Возможность объединения повторяющихся шагов в общий шаг.

    image

    Возможности:

    • Линкование тестовых сценариев и issue не выходя из JIRA
    • Работа с автоматизированными тестами
    • Внутренний багтрекер
    • Понятная система отчетов
    • Использование общего шага
    • Фактическое время прохождения теста
    • Экспорт данных в Excel

    Бесплатная пробная версия: 30 дней
    Ссылка на скачивание

    7. Qase


    Qase это облачная TMS, которая поможет вашей команде повысить производительность и организовать удобный флоу тестирования программного обеспечения. Поддержана функциональность объединения постоянно повторяющихся действий в общий шаг, импорт данных из других TMS. Управление ролями и разрешениями для пользователей системы. В новой версии была доработана система отчетов.

    image

    Возможности:

    • Тестовый репозиторий: выстраивание тестов в логические группы
    • Составление шагов для кейсов, установка приоритета и серьёзности
    • Запуск тестовых прогонов с трекингом времени по каждому тест
    • Хранение документации по проекту
    • Автоматическое заведение дефектов в интегрированные трекеры
    • Интеграция с JIRA, Redmine, YouTrack и Slack
    • Объединение результатов автотестов с REST API

    Бесплатно для небольших компаний
    Ссылка на скачивание

    8. PractiTest


    PractiTest — это комплексное средство управления тестами. Оно дает полную картину процесса тестирования и более глубокое понимание результатов тестирования. Этот инструмент поможет организовать тест-сьюты в соответствии с вашими циклами и спринтами. Тестовые наборы можно формировать по различным критериям, таким как компоненты, версии или типы. Тул заточен на Agile-тестирование, регрессионное тестирование, тестирование микросервисов и DevOps.

    image

    В новых версиях была доработана функциональность работы с автоматизированными тестами.

    В техподдержке работают обученные QA-сотрудники, которые могут быстро понять вашу проблему.

    Возможности:

    • Лёгкое добавление тестов новых фич в регрессионное тестирование
    • Группировка тестов на основе микросервисов, которые они охватывают, даже кросс-сервисные
    • Различное отображение информации для разных групп пользователей
    • Дашборды в реальном времени показывают состояние тестов, прогонов на этапах разработки и при деплое на прод
    • Интеграция с JIRA, Redmine, Jenkins, GitLab и Slack

    Бесплатная пробная версия: 14 дней
    Ссылка на скачивание

    9. Testuff


    Команда Testuff делает действительно удобный инструмент, данная TMS старается объединить в себе все методы тестирования, начиная от waterfall model и заканчивая black box testing.
    Разработчики Testuff отдельно выделили свой продукт как единственную TMS, которую можно использовать на любом девайсе: смартфоны, планшеты и т.д

    image

    В данном решении есть все необходимое для TMS: классный интерфейс, понятный и удобный способ ведения тестовой документации, конфигурации и пользовательские атрибуты, два способа интеграции с любым существующим баг-трекером, а также добавили видеорекордер.

    Возможности:

    • Планирование тестов
    • Интуитивный drag-n-drop интерфейс
    • Наглядные отчёты с подробными графиками
    • Два способа интеграции со сторонними инструментами баг-трекинга
    • Возможность тестировать с любого девайса

    Бесплатная пробная версия: 30 дней
    Ссылка на скачивание

    10. Azure DevOps Server


    Это мощный инструмент работы с тестами и автотестами, за счет своей комплексности вы можете настроить своё рабочее пространство, как вам необходимо. Работайте напрямую со своими CI/CD сервисами, интегрируйте свои репозитории прямиком в Azure, ведите тестовую документацию по спринтам, которые будете раскладывать по бордам, делайте максимально детальные отчеты по вашей тестовой документации и результатам её прохождения.

    image

    Отдельно стоит упомянуть возможность интеграции с IDE от компании Microsoft, вы можете редактировать и настраивать свой код прямиком через Azure и интегрироваться со всевозможными системами от компании Microsoft.

    Возможности:

    • Интеграция с любым продуктом компании Microsoft
    • Нативный интерфейс
    • Интеграция с любым CI/CD
    • Ведение удобных Dashboards
    • Работа с автотестами
    • Пользовательские атрибуты

    Бесплатная пробная версия: 30 дней
    Ссылка на скачивание

    11. MTM TFS


    Team Foundation Server (TFS) — комплексное решение от Microsoft, которое включает в себя систему управления версиями, сбор данных, построение отчетов, отслеживание статусов и изменений по проекту.

    Microsoft Test Manager — часть этого продукта и требует установки Visual Studio. Такое сочетание дает возможность связать задачи, которые поставлены перед тестировщиком, с заведенными дефектами и отчетами о затраченном на работу времени.

    image

    Планы и результаты тестирования сохраняются на сервере Team Foundation Server.
    МТМ включает в себя тест-план, тест-кейс и конфигурации.

    Сам TFS является проприетарным ПО, лицензия — коммерческая. Работает на трех уровнях: клиентский уровень, прикладной уровень и уровень данных, в зависимости от чего возможна работа или через web, или через десктоп-приложение. МТМ работает только на прикладном уровне, поэтому требуется установка на сервер (если сервер удаленный, работа проводится через VPN).

    Возможности:

    • Исследовательское тестирование
    • Планирование и выполнение ручных тестов
    • Кроссплатформенные конфигурации тестов (разные версии одного теста для разных платформ/релизов)
    • Диагностика прохождения теста (логи, видео и т. п.)
    • Импорт-экспорт тестов
    • Межпроектный импорт-экспорт тестов
    • Запись и воспроизведение ручных тестов (рекордер)
    • Автоматизация тестов

    Бесплатная пробная версия: 30 дней
    Ссылка на скачивание

    12. Kualitee


    Kualitee — продукт Kualitatem, компании по тестированию программного обеспечения и информационной безопасности, специализирующейся на обеспечении безошибочной работы приложений повсюду.

    image

    Kualitee предлагает функции управления проектами, управления тестированием, управления дефектами с интеграцией с баг-трекерами. Гибкая система пользовательских атрибутов позволяет очень точно настроить необходимое рабочее пространство. Дополнительно есть возможность глубокой настройки профилей пользователя и его прав доступа.

    Возможности:

    • Управление проектами
    • Управление дефектами
    • Управление тестовой документацией
    • Персональная панель инструментов
    • Продуманная настройка пользователей

    Бесплатная пробная версия: 30 дней
    Ссылка на скачивание

    Понравился пост? Не забудьте поделиться им!
    И помните, только тестировщик стоит между багами и клиентом! :)

    Похожие публикации

    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 13

      0
      Не ожидал, что TMS'ок так много!
      Странно, что в рейтинге нет Allure EE, тем более, что он разрабатывается нашими соотечественниками и отлично подходит под ваш список критериев =)
        0
        добавил :)
        0
        Спасибо за статью, однако, после ее прочтения появился вопрос:
        Учитываю моду на автоматизацию тестирования (в идеале чтобы TMS могла в автотесты), я не очень понял как Вам удалось пройти мимо allure-ee?
        Если test-it, например, позволяет линковать автотест с кейсом, но при этом нужно очень усердно следить за идентичностью обеих сторон (иначе в кейсе может покрываться все, а в автотесте assert true), то allure-ee позволяет просто генерировать кейсы из автотестов, что кажется в разы удобнее, и экономит уйму сил и времени. В остальном функционал так же обширен.
        А если добавить что альтернативы allure report для автотестов нет (я знаю только selenium report, но это такое)…
        Очень интересно было бы увидеть комментарий автора на эту тему.
          0
          Исправлюсь, дополню чуть позже :) про Allure EE знаем, просто не получилось пока собственноручно потыкать
          0
          Статью еще дополню, оставляйте в комментариях рекомендации! Основывался по большей части на личном опыте и сервисах рекомендаций типа G2
            0
            На личном нулевом опыте, мне бы хотелось после названия продукта видеть ссылку на официальный сайт или хотя бы произовдителя, а не лезть в гугл каждый раз или открывать ссылку на скачивание чтобы посмотреть кто это. Да и думаю порядок стоимости продуктов был бы интересен.
              0

              Вот про порядок стоимости поддержу. Все же это одна из основных причин принятия решения за или против.

                0
                Ок, не у всех на сайтах есть открытые данные по стоимости, но попробую наскрести, сколько смогу, хотя бы диапазоны. Согласен, цена часто становится блокером, даже если инструмент хорош.
            0
            а есть что opensource?
              0
              Вот эта штука попадалась на глаза несколько раз, но не щупал
              kiwitcms.org

              ну и пресловутый TestLink
              0

              Без Allure-EE этот обзор не полный. Мы достаточно долго выбирали TMS и перепробовали большинство систем, представленных в статье. В итоге в нашем рейтинге первое место уверенно занял именно Allure-EE. Его и используем.

                0
                Добавил на основе информации, которую смог разузнать. Потрогать самостоятельно пока не получалось. Поделитесь впечатлениями, что понравилось?
                0
                Мы внутри компании пользуемся everyqa.io тоже российская штука. Вполне неплохо заходит

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое