Как стать автором
Обновить

QA в эпоху перемен. Как мы выбирали инструмент управления тестированием

Время на прочтение6 мин
Количество просмотров3K

С одной стороны, “Постоянство не заслуживает ни похвал, ни порицаний, ибо в нем проявляется устойчивость вкусов” (с) - зачеркнуто “Привычка - страшная сила”. Но с другой, когда ты выпускаешь цифровые продукты, такая ригидность часто ведёт в тупик. В данной статье хотим рассказать, почему мы пошли на риск и решились перетаскивать с привычного инструмента тысячи тест-кейсов, и что из этого вышло.

Как всё начиналось…

В 2019 году в нашей компании Solit Clouds в отделе QA назрел вопрос о смене инструмента управления тестированием (TMS). Для нас это был непростой и рискованный шаг, с точки зрения поддержания бесперебойного процесса тестирования. Как мы пришли к решению, что пора менять систему?  

Существенных, хоть и банальных причин, несколько.

Причина №1. UX и версионирование

В используемом на тот момент инструменте управления тестированием TestRail нам всегда не хватало гибкости, то есть возможности настроить инструмент под процессы, существующие в отдельном проекте, в отделе тестирования и в компании целом. Если с сотней-другой кейсов можно было справиться, то хранить десяток тысяч тестов уже сложнее (более 15 тысяч). В параллели нужно было выпускать несколько версий продуктов, что заставило принять решение о поиске альтернатив, т.к. TestRail не облегчал нам жизнь в указанных условиях.

Причина №2. Поддержка  

Время от времени мы сталкивались с проблемами сложной коммуникации, а также долгого отклика от технической поддержки. Компания, занимающаяся разработкой инструмента, не была готова к сотрудничеству в части развития своего инструмента, им это было не интересно. Все наши предложения по развитию оставались без должного ответа - общение сводилось к формальной отписке компании-разработчика.

Причина №3. Деньги

Дорого! Финансовые расходы на содержание инструмента управления тестированием возросли многократно. Это было связано с интенсивным ростом численности сотрудников отдела тестирования - в отделе на данный момент более 50 человек, а стоимость зависит от количества пользователей.  А во-вторых, инструмент управления тестированием импортный, и растущий год от года курс валют делал его для нас всё менее привлекательным.

Как выбирали инструмент

Мы отчётливо понимали, что к выбору нового инструмента надо подойти ответственно, так как цена ошибки для отдела тестирования и продуктовых команд достаточно высока. Социально-значимые проекты (один из основных проектов, ЕМИАС - Единая Медицинская Информационно-Аналитическая Система, которая успешно работает в каждой поликлинике г. Москва) - наше ключевое направление, срыв срока выпуска версий из-за внутренних проблем для нас недопустим и может стоить крайне дорого.

По каким критериям выбирали новый инструмент: 

  • Адекватное соотношение цены и качества

  • Удобный и надежный импорт тест-кейсов из других систем управления тестированием

  • Возможность кастомизации инструмента под процессы отдела тестирования

  • Открытость компании-разработчика к предложениям по улучшению инструмента

  • Отзывчивая техническая поддержка  

  • Удобный, понятный и современный интерфейс

  • Понятная и комфортная интеграция с автоматическими тестами

  • Возможность интеграции с другими инструментами, например, с таск-трекерами

Общий список состоял более чем из 20 систем управления тестами. Мы начали подробно их анализировать и только несколько дошли до финального отбора, их функционал мы разбирали значительно глубже на соответствие нашим ожиданиям.

Затем определили наиболее подходящие системы управления тестированием, которые могли бы соответствовать установленным критериям:

  • TestLink, 

  • Zephyr, 

  • Xray, 

  • QaSpace

Test Link

TestRail

Zephyr for Jira

Будем честными, полный список требований, которые мы выбрали для себя ключевыми, не сохранился, но часть истории мы подняли, к сожалению, указанные системы на момент перехода не соответствовали большинству критериев:

 

  1. Удобный интерфейс:

    a. Возможность форматирования текста

    b. Быстрая фиксация результатов

    c. Наличие "дерева" не только в структуре хранения тестовой документации, но и в тестовом прогоне

  2. Скорость работы системы, отклика UI

  3. Версионирование тестовой документации

  4. Архивация базы данных с кейсами

  5. Возможность использования тестовых наборов в разных прогонах

  6. Удобство иерархии, использование вложенных кейсов

  7. Удобный анализ дефектов, найденных по итогам прохождения тест-рана

  8. Неизменность данных в тестовом прогоне при изменении кейсов после фиксации результатов прохождения

  9. Возможность импорта/экспорта из системы в систему

  10. Выгрузка отчетности в разных форматах

  11. История изменения кейсов, возможность сравнения версий

  12. Гибкость настроек:

    a. Плагины, расширяющие возможности системы

    b. Кастомизация полей

    c. Подключение вспомогательных инструментов для проектирования кейсов

  13. Аудит действий пользователя

  14. Фиксация времени прохождения тестового прогона, общая статистика

  15. Уведомления о завершении работы, изменении статуса: мессенджеры, почта, смс

  16. Гибкая система поддержки, компания-разработчик, открытая к предложениям и совершенствованию

  17. Возможность интеграции с JIRA и другими инструментами

 Мы все проанализировали, протестировали на триалах, но в результате не смогли окончательно определиться и выбрать инструмент, который подошел бы нам по всем параметрам. Самым близким по критериям оказался Testlink, если бы не слабая техподдержка продукта с открытым исходным кодом и недружественный интерфейс.

Поиски подходящего инструмента продолжались около года…

Случайно в одном из профессиональных сообществ мы познакомились с ребятами из российского стартапа Test IT, они в 2019 году только начинали свой путь и готовили первый релиз своего одноименного инструмента, но коммерческих клиентов у компании ещё не было. Мы и так уже перепробовали весь мировой рынок тмс-ок, поэтому попробовать еще одну - решить было несложно. После обсуждения возможных планов сотрудничества мы решили рискнуть и попробовать пилотное внедрение.  

Те, кто это читает, сейчас подумали: ну вот, опять реклама. Спешим вас расстроить… Test IT настолько порадовали нас своей открытостью и тем, что приняли решение тягаться с перечисленными гигантами, что мы написали статью! Нам правда жаль, что многие о них еще не слышали.

Test IT

Чем порадовала система Test IT и компания-разработчик?

Приведем лишь часть важных аргументов:

  • Открытость и готовность команды Test IT улучшать свой продукт, учитывая наши пожелания.

  • Обширная функциональность Test IT при сравнительно выгодной стоимости: совмещение ручных и автоматических тестов, удобная библиотека для хранения тестовой модели, API, интеграция с JIRA, возможности аналитики.

  • Высокий уровень организации решения возникающих проблем, грамотная техническая поддержка.

  • Возможность миграции тестовой документации из текущей системы управления тестированием.

  • Приятный и современный интерфейс.

Как внедряли инструмент в компании

Мы разработали план постепенного перехода отдела на новую систему управления тестированием. 

Во-первых, после пилота определили список критичных для полноценного старта работы в Test IT доработок и передали его разработчику TMS. Эти отзывы помогли компании Test IT усовершенствовать инструмент, выпустить обновления и пополнить ряды своих клиентов.

Во-вторых, составили дорожную карту перехода продуктовых команд на новую систему управления тестированием. На тот момент отдел тестирования трудился одновременно более чем над 15 продуктами, а мы понимали, что задержки при выполнении производственных задач недопустимы. Переход должен был быть практически бесшовным.

В-третьих, специалисты из Test IT рассказали про возможности новой системы управления тестированием и сопровождали в процессе перехода от начала и до конца.

Переход состоял из трех этапов миграции кейсов, и в общей сложности занял 4 месяца. 

А что сейчас? 

После завершения последнего этапа миграции тест-кейсов и полного внедрения Test IT прошло полтора года. И мы готовы поделиться своими впечатлениями о ежедневном использовании Test IT TMS.

Самое главное, что мы отметили для себя это то, что Test IT - живой и развивающийся продукт. Конечно, остаются моменты в Test IT, которые нужно улучшать и внедрять. 

Например: 

  • Версионирование тест-кейсов - на текущий момент реализовано в виде истории изменений с подсветкой диффов и откатом версии, но в планах у разработчиков довести до полноценной аналогии GIT;

  • Интеграция с автотестами, в т.ч. не совсем гибкая в настройке, которая усложняется постоянными изменениями; 

  • Структура ответов API местами бывает избыточна;

  • Периодические проблемы с производительностью, в большинстве своём, решенные, и в настоящее время команда-разработчик реализует масштабный проект по нагрузке, что до конца года снимет проблему в полном объёме.

Даже глядя на этот список, можно увидеть, что команда Test IT много сил вкладывает в развитие своего продукта и готова дальше продолжать делать его только лучше. И тем самым помогать становиться лучше каждому продукту, который тестируется с помощью Test IT.

Спасибо, ребята!

В заключении хотим привести частные мнения наших специалистов по тестированию о работе в Test IT. Успешная работа с большим количеством продуктов и проектов, а также приведенные ниже отзывы подтверждают, что выбранная система управления помогает нам качественно решать задачи, поставленные перед отделом тестирования:

  • «Приятный лаконичный и при этом функциональный интерфейс. Взаимодействие с элементами комфортное и интуитивно понятное»

  • «Система постоянно совершенствуется, в частности, функциональность связи автотестов с кейсами в тест-плане»

  • «Статистика и отчетность: подсчет времени на прохождение кейса; отображение статистики по назначенным кейсам; возможность отдельно посмотреть отчет и заведенные дефекты в рамках тест-плана; возможность печати отчета»

  • «Дашборды с инфографикой по активностям на проекте, общие шаги для тест-кейсов, быстрая обратная связь от разработчиков TMS, геймификация профиля пользователя».

Теги:
Хабы:
Всего голосов 3: ↑3 и ↓0+3
Комментарии0

Публикации

Истории

Работа

Ближайшие события

Антиконференция X5 Future Night
Дата30 мая
Время11:00 – 23:00
Место
Онлайн
OTUS CONF: GameDev
Дата30 мая
Время19:00 – 20:30
Место
Онлайн
Конференция «IT IS CONF 2024»
Дата20 июня
Время09:00 – 19:00
Место
Екатеринбург
Summer Merge
Дата28 – 30 июня
Время11:00
Место
Ульяновская область