TestRail — Индивидуальные настройки под проект

[Bvalo]

А это какой-то фреймворк для тестов или просто хранилище тестов и их результатов приходящие из других источников?

[Panarik]

Да, фреймворк. Тут их пишешь, запускаешь раны. Репорты по результатам ранов можно тут писать, но лучше в Jira. TestRail корреспондируется с Жирой и пробрасывает в обе стороны репорты.

[theRavel]

Боюсь что правильный ответ на вопрос выше: TestRail — это хранилище текстового описания тестов и хранилище репортов. Да, результаты могут быть запушены автоматически через API, но сам по себе TestRail не умеет выполнять тесты, и не является тестовым фреймворком.

[Panarik]

Спасибо большое, что оставили интересный комментарий. Возможно у нас с Вами разные требования с слову фреймворк в целом. Для меня слово framework это некий функционал позволяющий выполнять некую work и всё это в UI оболочке. (frame)
Что же применительно к данным штукам, на мой взгляд, позволяет тестрейл из базового:
1. Создавать и хранить тесткейсы
2. Запускать по ним тестраны и асайнить их
3. Проходить тестраны.
4. Получать результат тестирования (та часть тестирования, которая про получение текущего статуса качества ПО)
5. Создавать отчеты по пройденным тестранам.

Простите меня пожалуйста, но я не смог понять, что Вы вложили во фразу: «TestRail не умеет выполнять тесты»? Можно Вас попросить описать более подробнее? Это может помочь развить тему в целом.

[theRavel]

Jest, JUnit, PHPUnit — вот примеры тестовых фреймворков.

Я не знаю, какой у вас опыт с автоматизированными тестами, но обычно тестовый фреймворк предоставляет возможность написать тест в виде кода, запустить этот тест и получить результат (бинарный — прошел тест или нет, или более сложный типа репорт по покрытию кода тестами). Т.к. TestRail хранит только текстовое описание теста, то требуется человек (или внешняя система) для его прохождения — это я имел в виду под фразой "TestRail не умеет выполнять тесты".

[Panarik]

да, идеален только эксель, которого можно крутить вертеть на VBA абсолютно всё:)))
Кстати, замый заметный недостаток для меня — это отсутствие показа изображений в тестах по внешним ссылкам. (что вдвойне странно, т.к. тестрейл работает из браузера) Чаще всего народ или хардкодит скриншоты внутри теста или вообще без изображений обходится. Оба варианта очень плохие:))