Привет! Я Женя, работаю QA-инженером. У нас в компании случился классический сюжет: с ростом команды появились проблемы из-за отсутствия системы управления тестированием. Решили внедрять, но какую выбрать? Устроили мини-исследование. Где-то радовал функционал, но пугали возможная блокировка или цена. Где-то нужно было пройти квест по настройке под себя. Были и неожиданно приятные находки. Что в итоге оказалось под капотом у пяти TMS из нашего топ-листа — в моей статье.
Как мы дошли до TMS
На старте работы ведение тест-кейсов в Google-таблице было удобным, но с увеличением числа тестировщиков процессы превратились в сущий ад. Для каждого создавалась копия тест сьюта для прохождения тестов, статистика прохождения была разрознена, а версии тест-кейсов иногда бесконтрольно менялись. А с ростом библиотеки тестов усложнился и поиск нужного артефакта в одной «простыне». Решение увидели во внедрении TMS.
Прежде всего, мы составили список наших болей, расставив им приоритеты. Среди наших основных потребностей было:
наличие функционала для комфортного создания библиотеки тестов;
логирование изменений тестовых артефактов;
понятная система настройки доступов;
простая навигация;
возможность совместного прохождения тестов командой тестирования без конфликтов;
просмотр результатов автотестов в интерфейсе;
интеграция с Yandex Tracker;
возможность быстрого пилотного внедрения.
Другие не менее важные нюансы — бюджет был ограничен и новый инструмент должен предсказуемо работать на российском рынке, в том числе иметь возможность оплаты со счета российской компании.
В каждой команде потребности или их приоритеты могут отличаться. Но общие критерии TMS все же существуют.
Критерии, которые важны в работе QA
Получилось выделить шесть пунктов. По ним можно оценить, насколько TMS будет удобна и полезна в повседневной работе и в контексте вашего запроса.
Удобство работы с тест-кейсами и структура тестов
Тест-кейсы — это основа. Важно, чтобы система позволяла нормально строить иерархию: проекты → папки → кейсы, а внутри кейсов — предусловия и шаги с ожидаемыми результатами. Желательно иметь поддержку чек-листов, общих шагов и шаблонов, чтобы не плодить копипасту. Наличие версионирования и истории изменений помогает отслеживать, кто и что правил. А в навигации среди изобилия кейсов сильно помогают теги и атрибуты. Если же TMS перегружена или шаги редактируются неудобно, команда начинает вести кейсы в гугл доках, и весь смысл инструмента теряется.
Работа с автотестами и CI/интеграции
TMS должна уметь принимать результаты прогонов из CI/CD, а лучше — иметь двустороннюю интеграцию: тесты связаны с кейсами, статусы обновляются автоматически, отчеты подтягиваются без ручной рутины. Важны API и Webhooks, чтобы можно было встроить TMS в пайплайн. И, конечно, интеграция с баг-трекером (Jira, YouTrack или другим), чтобы заводить дефекты прямо из упавшего шага.
Отчеты, аналитика, визуализация
Хорошая TMS показывает не только зеленые и красные галочки. Нужно видеть прогресс прогона с детализацией: сколько кейсов в работе, сколько провалено, какие модули продукта горят. В идеале — дашборды для разных ролей: тестировщик видит детализацию по шагам, менеджер — общую картину по релизу. Нужна статистика по времени, по исполнителям, по найденным багам. А еще — traceability: возможность связать требования с кейсами и видеть, что именно покрыто.
Стоимость, лицензия, развертывание
В нашем случае было важно обосновать выделение бюджета на новый инструмент, ведь может возникнуть вопрос: «Зачем платить, если раньше использовали бесплатные инструменты вроде Google-таблиц?». Для этого цена должна быть адекватна, а функционал достаточным, чтобы покрыть потреб��ости команды тестирования и улучшить эффективность работы. И локализация: для многих команд критично, чтобы интерфейс и поддержка были на русском, и оплачивать можно было с российского счета. Не менее важно, чтобы продукт имел российские корни и не исчез с рынка без предупреждения.
Простота входа и UX
В TMS часто заходят новички — стажеры, джуны. Если интерфейс перегружен, люди теряются. Поэтому важен легкий UX: легкий старт, минимум лишних кликов, быстрая навигация с помощью поиска по кейсам, фильтров по тегам и статусам. Идеальная система — та, где человек за первый час уже создает кейсы и запускает их для прохождения без чтения мануала.
Безопасность и разграничение прав
В реальной жизни в TMS работает не только QA-команда, но и менеджеры, аналитики, иногда разработчики. Поэтому нужно иметь гибкую систему ролей: кто-то может только просматривать, кто-то редактировать, а кто-то управлять доступом. История изменений (audit log) помогает разбирать спорные ситуации. А в крупных компаниях дополнительно важна интеграция с LDAP/SSO и соответствие стандартам безопасности.
Приступаем к разбору
Если вы работали хоть в одной крупной компании, скорее всего, видели TestRail. Тут полный фарш: проекты, секции, подпапки, разные типы кейсов, шаблоны, приоритеты, предусловия, шаги с ожидаемым результатом. Есть параметризация и версии. Интерфейс может показаться не слишком современным и переусложненным, но это не особо критично.
Функции Milestones, Test Runs и Configurations позволяют разделять прогоны по веткам разработки, релизам и окружениям — без дублирования кейсов. В TestRail удобно контролировать покрытие и видеть, какие требования не имеют тестов или провалены. Есть готовые интеграции с Jira, Jenkins, GitLab, а также множество сторонних плагинов. Гранулярное разграничение ролей, история изменений и контроль действий пользователей — важный плюс для enterprise-команд. Переезжать с другой TMS, судя по опыту этих ребят, не слишком просто, но критично не выглядит.
В чем подвох? TestRail — немецкая система. Она не ушла с российского рынка, как Qase, но вероятность блокировки в будущем все же не нулевая. И оплачивать можно только с иностранного счета. Плюс интеграции с Яндекс Трекером, важной для нас, здесь нет. Вдобавок — это довольно дорогой вариант: при покупке на год — 38 долларов в месяц за пользователя в обычном тарифе, 76 долларов — в тарифе Enterprise. Но есть скидки при приобретении сразу 40 и более лицензий.
Мы не хотели рисковать и в случае чего вынужденно перекатываться на другую TMS, поэтому для работы решили рассматривать российские решения. О них и поговорим дальше.
Интерфейс не перегружен, все по делу. Понравилась темная тема приложения. Кроме стандартных тест-кейсов можно создавать чек-листы с многоуровневой вложенностью пунктов. Есть роли и уровни прав. Можно настроить, кто видит проекты, кто редактирует кейсы, кто запускает прогоны. Отчеты гибкие и детализированные: прогресс прогонов, статистика по статусам кейсов и шагов, кто и сколько времени затратил.
Система умеет принимать отчеты автотестов через API. Если в CI (GitLab/Jenkins) гоняешь автотесты, то результаты можно отправить прямо в DoQA. На текущий момент данный функционал автотестов для нас достаточный, хотя хотелось бы видеть отчеты автоматизированных прогонов вместе с мануальными, а не в отдельном разделе.
Есть интеграции с самыми популярными трекерами задач вроде Jira и Yandex Tracker и YouTrack, а также Redmine, GitLab и Битрикс. Настройка интеграции с Yandex Tracker была достаточно простой, а создание баг-репортов через интеграцию значительно упрощает рутину: DoQA предзаполняет сценарий воспроизведения бага, остается только указать фактический результат теста.
Подумали и об удобной миграции с других систем в DoQA. Можно импортировать документацию из Qase, Test IT, Zephyr, Google-таблиц и Excel.
Как и у других, не все идеально. В нашем случае хотелось бы иметь возможность добавления в прогон тестов с разными наборами параметров, чтобы не плодить одинаковые тест-кейсы, чего DoQA не умеет, но это заявлено в планах развития на их сайте.
Очевидный плюс системы — в быстром развитии: мы пробовали ее в начале лета, а уже к его концу они зарелизили несколько полезных фичей. Например, ИИ для создания и ревью тест-кейсов. Нейронки, кстати, прикручены на данный момент только у DoQA и еще одной системы, про нее будет ниже. Преимущество DoQA в том, что для использования ИИ не нужно выполнять никаких настроек.
Стоимость одной лицензии в облачной версии — 990 рублей в месяц (скидка 20% при оплате за год), в серверной — 18 000 в год, доступно от 10 пользователей (скидка 20% каждый последующий год). При прочих равных (или почти равных) — весомый аргумент. Порадовала возможность не платить за пользователей, которые имеют права только на просмотр.
Не самый раскрученный инструмент, судя по отсутствию подробных обзоров в интернете. Это скорее легкая альтернатива, чем универсальный комбайн.
Есть интеграции с Jira, Яндекс Трекер, Планфикс, Redmine. Поддержка многоуровневых вложенностей ограничена, но для простых сценариев этого достаточно. Аналитика без наворотов: прогресс прогонов, базовая статистика по результатам. Пока в FireTMS нет возможности запускать автотесты из TMS и повторно, что не является для нас блокером на текущий момент, но хотелось бы иметь такой функционал в будущем. Нельзя посмотреть историю тест-кейсов, нет защиты тест-планов от изменений. Интеграция с фреймворками автотестов вроде Selenium и Pytest находится в разработке.
Главный плюс Fire TMS — цена. В системе могут работать бесплатно до 5 пользователей, но, естественно, будут ограничения: дискового пространства, количества проектов и возможностей для тестирования внутри них. Стоимость для команды из 6 и более специалистов начинается с 1605 рублей в месяц за пользователя. Чем больше людей, тем дешевле стоимость одной лицензии. Дополнительно есть скидка при оплате сразу за год.
Богатый функционал, гибкая работа с автотестами, интеграции. Есть связки с Jenkins и GitLab, интеграции с Jira, EvaProject, Яндекс Трекер и другими сервисами. Поддерживается импорт результатов автотестов, запуск прямо из TMS. И это еще одна TMS, в которой есть ИИ (среди российских продуктов мы увидели AI-фичи только у DoQA и здесь, если у кого-то еще уже в релизе, напишите в комментах).
Понравились возможности группировки и фильтрации тестов в библиотеке, просто найти нужный артефакт. Иногда возникает ощущение, что под руками не оказывается нужной кнопки, но, скорее всего, со временем можно привыкнуть к интерфейсу и использовать функционал по максимуму.
С точки зрения аналитики — метрики качества, покрытие, дефекты, прогресс по релизам, по командам. Руководители кайфуют: можно рисовать красивые дашборды и показывать на митингах. Но для тестировщика впечатления от системы немного смешанные.
На практике Test IT не про «сел и поехал», настройка требует времени и компетенций. Для команды это превращается в отдельный проект по внедрению. Помощь понадобится и по настройке дашбордов, и по пробрасыванию автотестов в TMS, и по управлению лицензиями, и в целом по адаптации системы под ваши нужды. С этим помогают менеджеры, как и с миграцией, если требуется. Но все же сложноватый процесс.
Что по стоимости за пользователя в год: облачная версия для команд — от 26 828 рублей (2235 в месяц), серверная — от 53 600 рублей в тарифе Enterprise и от 61 258 рублей в тарифе Enterprise MAX (доступны от 3 и более пользователей). Из участников моего исследования цена выше только у TestRail.
Выглядит скорее как надстройка для управления процессом. Интерфейс не всегда дружелюбен, но есть все базовые возможности по ведению кейсов. Разнообразные интеграции, дашборды, аналитика — все по делу.
Есть интеграция с автотестами и CI/CD, через API можно получить доступ к стягиванию результатов прогонов. Реализованы интеграции с Jira, Яндекс Трекер, Битрикс24, Ютрек. ТестОпс родом из экосистемы QATools (создателей Allure), поэтому поддержка Allure-форматов встроена «из коробки». Это позволяет автоматически подхватывать отчеты автотестов без дополнительной настройки и конвертации.
Из неудобств — нужно вручную синхронизировать тест-кейсы после каждого прогона автотестов. Дело в том, что в ТестОпс реализована политика очистки старых данных, чтобы не засорять базу бессрочно: по прошествии заданного времени старые прогоны (результаты тестов) удаляются. Побочный эффект этой политики — вместе с «устаревшими результатами» удаляются шаги тест-кейсов, связанные с этими запусками. В результате тест-кейсы становятся пустыми — вроде бы есть кейсы, но внутри уже нет сценариев, шагов, описаний, которые были до этого. Как с этим справиться, вот тут рассказывает спец.
Увы, подробной информации о тарифах, ценах и скидках на сайте нет. Указана стоимость за пользователя в месяц — от 2899 рублей. Цена выше, чем у DoQA и FireTMS.
Зафиналим
Выбор TMS — это не про поиск «самой лучшей системы», а про поиск своей. Поэтому четко сформулируйте:
какие конкретно потребности должна закрывать TMS;
кто в ней будет работать (ручные тестировщики, автотестеры, менеджеры, заказчики);
какие ограничения есть у компании — по бюджету, безопасности, инфраструктуре.
А дальше — пробуйте. Большинство TMS дают бесплатный доступ или демо-период, и это единственный способ понять, подходит ли инструмент именно под ваш процесс. Если система решает большинство ваших задач, в ней приятно и легко работать и укладывается в бюджет, значит, вы нашли свой баланс.
Возможно, мы не обратили внимание на другие достойные системы. Но в нашем случае по итогам пилотного внедрения одной из TMS поняли, что хотим остаться в ней.
Догадаетесь, какую TMS выбрала наша команда? Пишите в комментариях.