С одной стороны, “Постоянство не заслуживает ни похвал, ни порицаний, ибо в нем проявляется устойчивость вкусов” (с) - зачеркнуто “Привычка - страшная сила”. Но с другой, когда ты выпускаешь цифровые продукты, такая ригидность часто ведёт в тупик. В данной статье хотим рассказать, почему мы пошли на риск и решились перетаскивать с привычного инструмента тысячи тест-кейсов, и что из этого вышло.

Как всё начиналось…

В 2019 году в нашей компании Solit Clouds в отделе QA назрел вопрос о смене инструмента управления тестированием (TMS). Для нас это был непростой и рискованный шаг, с точки зрения поддержания бесперебойного процесса тестирования. Как мы пришли к решению, что пора менять систему?

Существенных, хоть и банальных причин, несколько.

Причина №1. UX и версионирование

В используемом на тот момент инструменте управления тестированием TestRail нам всегда не хватало гибкости, то есть возможности настроить инструмент под процессы, существующие в отдельном проекте, в отделе тестирования и в компании целом. Если с сотней-другой кейсов можно было справиться, то хранить десяток тысяч тестов уже сложнее (более 15 тысяч). В параллели нужно было выпускать несколько версий продуктов, что заставило принять решение о поиске альтернатив, т.к. TestRail не облегчал нам жизнь в указанных условиях.

Причина №2. Поддержка

Время от времени мы сталкивались с проблемами сложной коммуникации, а также долгого отклика от технической поддержки. Компания, занимающаяся разработкой инструмента, не была готова к сотрудничеству в части развития своего инструмента, им это было не интересно. Все наши предложения по развитию оставались без должного ответа - общение сводилось к формальной отписке компании-разработчика.

Причина №3. Деньги

Дорого! Финансовые расходы на содержание инструмента управления тестированием возросли многократно. Это было связано с интенсивным ростом численности сотрудников отдела тестирования - в отделе на данный момент более 50 человек, а стоимость зависит от количества пользователей. А во-вторых, инструмент управления тестированием импортный, и растущий год от года курс валют делал его для нас всё менее привлекательным.

Как выбирали инструмент

Мы отчётливо понимали, что к выбору нового инструмента надо подойти ответственно, так как цена ошибки для отдела тестирования и продуктовых команд достаточно высока. Социально-значимые проекты (один из основных проектов, ЕМИАС - Единая Медицинская Информационно-Аналитическая Система, которая успешно работает в каждой поликлинике г. Москва) - наше ключевое направление, срыв срока выпуска версий из-за внутренних проблем для нас недопустим и может стоить крайне дорого.

По каким критериям выбирали новый инструмент:

Адекватное соотношение цены и качества
Удобный и надежный импорт тест-кейсов из других систем управления тестированием
Возможность кастомизации инструмента под процессы отдела тестирования
Открытость компании-разработчика к предложениям по улучшению инструмента
Отзывчивая техническая поддержка
Удобный, понятный и современный интерфейс
Понятная и комфортная интеграция с автоматическими тестами
Возможность интеграции с другими инструментами, например, с таск-трекерами

Общий список состоял более чем из 20 систем управления тестами. Мы начали подробно их анализировать и только несколько дошли до финального отбора, их функционал мы разбирали значительно глубже на соответствие нашим ожиданиям.

Затем определили наиболее подходящие системы управления тестированием, которые могли бы соответствовать установленным критериям:

TestLink,
Zephyr,
Xray,
QaSpace

Test Link

TestRail

Zephyr for Jira

Будем честными, полный список требований, которые мы выбрали для себя ключевыми, не сохранился, но часть истории мы подняли, к сожалению, указанные системы на момент перехода не соответствовали большинству критериев:

Удобный интерфейс:
a. Возможность форматирования текста
b. Быстрая фиксация результатов
c. Наличие "дерева" не только в структуре хранения тестовой документации, но и в тестовом прогоне
Скорость работы системы, отклика UI
Версионирование тестовой документации
Архивация базы данных с кейсами
Возможность использования тестовых наборов в разных прогонах
Удобство иерархии, использование вложенных кейсов
Удобный анализ дефектов, найденных по итогам прохождения тест-рана
Неизменность данных в тестовом прогоне при изменении кейсов после фиксации результатов прохождения
Возможность импорта/экспорта из системы в систему
Выгрузка отчетности в разных форматах
История изменения кейсов, возможность сравнения версий
Гибкость настроек:
a. Плагины, расширяющие возможности системы
b. Кастомизация полей
c. Подключение вспомогательных инструментов для проектирования кейсов
Аудит действий пользователя
Фиксация времени прохождения тестового прогона, общая статистика
Уведомления о завершении работы, изменении статуса: мессенджеры, почта, смс
Гибкая система поддержки, компания-разработчик, открытая к предложениям и совершенствованию
Возможность интеграции с JIRA и другими инструментами

Мы все проанализировали, протестировали на триалах, но в результате не смогли окончательно определиться и выбрать инструмент, который подошел бы нам по всем параметрам. Самым близким по критериям оказался Testlink, если бы не слабая техподдержка продукта с открытым исходным кодом и недружественный интерфейс.

Поиски подходящего инструмента продолжались около года…

Случайно в одном из профессиональных сообществ мы познакомились с ребятами из российского стартапа Test IT, они в 2019 году только начинали свой путь и готовили первый релиз своего одноименного инструмента, но коммерческих клиентов у компании ещё не было. Мы и так уже перепробовали весь мировой рынок тмс-ок, поэтому попробовать еще одну - решить было несложно. После обсуждения возможных планов сотрудничества мы решили рискнуть и попробовать пилотное внедрение.

Те, кто это читает, сейчас подумали: ну вот, опять реклама. Спешим вас расстроить… Test IT настолько порадовали нас своей открытостью и тем, что приняли решение тягаться с перечисленными гигантами, что мы написали статью! Нам правда жаль, что многие о них еще не слышали.

Test IT

Чем порадовала система Test IT и компания-разработчик?

Приведем лишь часть важных аргументов:

Открытость и готовность команды Test IT улучшать свой продукт, учитывая наши пожелания.
Обширная функциональность Test IT при сравнительно выгодной стоимости: совмещение ручных и автоматических тестов, удобная библиотека для хранения тестовой модели, API, интеграция с JIRA, возможности аналитики.
Высокий уровень организации решения возникающих проблем, грамотная техническая поддержка.
Возможность миграции тестовой документации из текущей системы управления тестированием.
Приятный и современный интерфейс.

Как внедряли инструмент в компании

Мы разработали план постепенного перехода отдела на новую систему управления тестированием.

Во-первых, после пилота определили список критичных для полноценного старта работы в Test IT доработок и передали его разработчику TMS. Эти отзывы помогли компании Test IT усовершенствовать инструмент, выпустить обновления и пополнить ряды своих клиентов.

Во-вторых, составили дорожную карту перехода продуктовых команд на новую систему управления тестированием. На тот момент отдел тестирования трудился одновременно более чем над 15 продуктами, а мы понимали, что задержки при выполнении производственных задач недопустимы. Переход должен был быть практически бесшовным.

В-третьих, специалисты из Test IT рассказали про возможности новой системы управления тестированием и сопровождали в процессе перехода от начала и до конца.

Переход состоял из трех этапов миграции кейсов, и в общей сложности занял 4 месяца.

А что сейчас?

После завершения последнего этапа миграции тест-кейсов и полного внедрения Test IT прошло полтора года. И мы готовы поделиться своими впечатлениями о ежедневном использовании Test IT TMS.

Самое главное, что мы отметили для себя это то, что Test IT - живой и развивающийся продукт. Конечно, остаются моменты в Test IT, которые нужно улучшать и внедрять.

Например:

Версионирование тест-кейсов - на текущий момент реализовано в виде истории изменений с подсветкой диффов и откатом версии, но в планах у разработчиков довести до полноценной аналогии GIT;
Интеграция с автотестами, в т.ч. не совсем гибкая в настройке, которая усложняется постоянными изменениями;
Структура ответов API местами бывает избыточна;
Периодические проблемы с производительностью, в большинстве своём, решенные, и в настоящее время команда-разработчик реализует масштабный проект по нагрузке, что до конца года снимет проблему в полном объёме.

Даже глядя на этот список, можно увидеть, что команда Test IT много сил вкладывает в развитие своего продукта и готова дальше продолжать делать его только лучше. И тем самым помогать становиться лучше каждому продукту, который тестируется с помощью Test IT.

Спасибо, ребята!

В заключении хотим привести частные мнения наших специалистов по тестированию о работе в Test IT. Успешная работа с большим количеством продуктов и проектов, а также приведенные ниже отзывы подтверждают, что выбранная система управления помогает нам качественно решать задачи, поставленные перед отделом тестирования:

«Приятный лаконичный и при этом функциональный интерфейс. Взаимодействие с элементами комфортное и интуитивно понятное»
«Система постоянно совершенствуется, в частности, функциональность связи автотестов с кейсами в тест-плане»
«Статистика и отчетность: подсчет времени на прохождение кейса; отображение статистики по назначенным кейсам; возможность отдельно посмотреть отчет и заведенные дефекты в рамках тест-плана; возможность печати отчета»
«Дашборды с инфографикой по активностям на проекте, общие шаги для тест-кейсов, быстрая обратная связь от разработчиков TMS, геймификация профиля пользователя».

QA в эпоху перемен. Как мы выбирали инструмент управления тестированием