В тестировании ПО очень важна организация процесса: кто чем занят? Кто, что, когда тестировал? На какой сборке впервые появилась та или иная ошибка? Кто это тестировал? Какой у нас статус требований?
Пытаясь ответить на все эти вопросы, мы организовывали хранение требований и чек-листов в виде google-таблиц, но со временем поняли: пора искать специализированный инструмент. Результатами поиска и сравнения вариантов я и хочу поделиться с вами в этой статье.
В связи с удалённой рабочей командой и в целом в силу привычки мы рассматривали только веб-варианты. Отбросив по первичному анализу совсем неподходящие нам решения, на выбор остались три кандидата:
TestLink
![](https://habrastorage.org/r/w780q1/files/32c/bd3/555/32cbd355596745e782afab8adba2100c.jpg)
TestRail
![](https://habrastorage.org/r/w780q1/files/433/401/528/433401528a3b49c4a83a97c299933626.jpg)
Sitechco
![](https://habrastorage.org/r/w780q1/files/8f6/d22/6cc/8f6d226cc8d44cc2bddd616fde421a32.jpg)
Получаем в результате: Triple Threat Match. Кто кого — увидим в честном бою.
Для начала, мы в команде определили критерии отбора:
По этим критериям и разберём каждого из кандидатов.
Пойдём по мере убывания:
Что касается совместимости, все браузеры заявлены в поддержке TestRails и TestLink, но IE не поддерживается в Sitechco:
![](https://habrastorage.org/files/8bc/879/0ba/8bc8790ba30a4ceebf17328274ed6497.PNG)
Учитывая наш набор окружений, это не критично, но для многих пользователей (особенно, тестирующих какое-нибудь банковское ПО в урезанных окружениях) может быть.
Самым главным критерием в выборе системы для нас, естественно, является ее функционал. Мы совместно проработали список необходимых “фич”:
Из желательных, но не обязательных, в список вошли:
В TestRail создание тестов реализовано c помощью Test Suite, в которые помещаются Тесты.
![](https://habrastorage.org/files/d31/169/740/d31169740c644dacbaa2546d14955e8e.PNG)
Добавление производится быстро, по принципу создания Test Case и отдельного описания, с возможностью разделения на секции и прикрепления, при необходимости, файлов. Внутри теста можно подробно расписывать шаги, но мы в большинстве случаев ограничились понятными заголовками.
![](https://habrastorage.org/files/7f5/967/272/7f5967272cf847d694cb80be9c730a34.PNG)
Sitechco реализовало тестовые наборы в виде Чек- и Чит-листов. Сами Чек-листы просты, ничего лишнего или заумного: тест, проверка, приоритет, ну и различные дополнения: прикрепление требований, трудозатратность, иерархия в виде групп и мастер-группы.
![](https://habrastorage.org/files/a39/e84/06a/a39e8406acde4e02bcc59764c9c7d826.PNG)
Важную, как по мне, роль имеют чит-листы, с уже существующим набором тестов. Сэкономит время на создание своих и будет полезно на будущее. Эти элементы играют роль конструктора: написал стандартные чит-листы и вставляешь их в чек-листы по мере необходимости. Удобно, когда есть много стандартных проверок, например, нам надо разные поля проверять и на юзабилити гайдлайны, и на XSS-/SQL-инъекции. Данные повторяются, копипастить — зло, но нужен статус прохождения в разных контекстах и для разных полей.
![](https://habrastorage.org/files/527/3dd/71f/5273dd71f941480d9c7170f3f144bf43.PNG)
Создание тестов в TestLink напоминает чем-то формы создания в TestRail. По аналогии тестовые наборы создаются в Test Suite, в которые вкладываются тесты.
Смотрится довольно запутанно и при этом примитивно:
![](https://habrastorage.org/files/f2d/0ca/0b2/f2d0ca0b2b814380ac2b03fa0a3f57f1.PNG)
Одни и те же тесты можно будет добавлять в разные сценарии, что в нашем случае выполняет похожую функцию, как и чит-листы в Ситечко. Но чтобы тесты были атомарными и маленькими (с наглядным результатом для отчёта) в TestLink показалось слишком много телодвижений. Ну ОЧЕНЬ много.
Разработчики TestRail предложили своим клиентам несколько вариантов отчетности:
![](https://habrastorage.org/files/2ac/2a9/b48/2ac2a9b482254f2ca5a4bffd83117687.PNG)
Что позволяет собрать информацию о тестировании по багам, результатам, запускам и пользователям. Но! Каждый отчет необходимо обрабатывать, что очень неудобно и заставляет делать лишние движения для получения информации, плюс затрачивается время на формирование отчета:
![](https://habrastorage.org/files/9fc/a8e/2bd/9fca8e2bd01242f2a482ed4598881231.PNG)
Хотя в этом есть свой плюс — присутствует возможность рассылки отчетности на несколько е-mail-ов. Что касается самого типа отчета, то отображается графическое представление результатов и перечень всех тестов с соответствующим значением.
![](https://habrastorage.org/files/e7c/660/33c/e7c66033c6fe4b84b7bb70c2f19f5dc8.PNG)
Sitechco позволяет формировать отчеты автоматически, не производя лишних действий для его получения. 4 основных вида отчета дают полную информацию о тестировании проекта.
![](https://habrastorage.org/files/5ea/4fb/53b/5ea4fb53bbf74390882f0ac44e427ef7.PNG)
Отчет по запускам отображает весь список Чек-листов, по которым производилось тестирование, присутствует возможность просмотра общей и подробной информации. По результатам прохождения возможно увидеть отчет по 5 последним запускам Чек-листа, плюс, позволяет настроить отчет под себя. Форма группового отчета показывает в графической форме представление результата:
![](https://habrastorage.org/files/f05/203/420/f0520342022d4ebdbf053faa2bf8daf7.PNG)
TestLink заставил попотеть и помучатся с запуском тестов для прохождения. Долго не поддавалась система, что уже не понравилось. После совместных разбирательств, мы догадались, как это сделать. Вариант отчета разработчики предложили в таком виде, который показался нам недостаточно информативным:
![](https://habrastorage.org/files/d6f/600/333/d6f6003333544fd88e19a041ab8b9158.PNG)
Хотя вариантов отчетов очень много, но все однотипные и в неприемлемом, во всяком случае для нас, формате.
![](https://habrastorage.org/files/bfc/e2e/b21/bfce2eb21a8d429491a39317c1ecbf0a.PNG)
В TestRail возможен экспорт в 3 форматах: xml, CSV и Excel. Но как ни странно, при попытке получить отчет в Exсel мне выдавалось в формате CSV.
![](https://habrastorage.org/files/e78/31d/bab/e7831dbaba874c5fb8565a493fbad731.PNG)
В импорте всё выглядит проще и представлено в форме выбора файла с ПК в формате xml. Также присутствуют возможности добавления в уже существующий список тестов и создание нового.
![](https://habrastorage.org/files/da5/ad0/655/da5ad0655bc549d5a06fb20865ca2190.PNG)
Sitechco не теряет своих амбиций и представил своим пользователям экспорт данных в формате xls. Но, здесь тоже своя загвоздка, открытие файла возможно только в Microsoft Office.
![](https://habrastorage.org/r/w780q1/files/534/dc0/a13/534dc0a137124839930ba21cc7deac8d.jpg)
А вот импорт был очень даже интересным. Не пришлось ничего сохранять в отдельный файл — вставка из файла на ПК или Google Docs произошла успешно и без лишних телодвижений, простым копипастом нужных строк таблицы.
![](https://habrastorage.org/files/3d0/cd4/18b/3d0cd418bee14946abf4346c5ca6ff5d.PNG)
Экспорт в TestLink представлен только в одном формате — xml. Есть возможность скачивания как полного списка тест кейсов, так и отдельных папок.
![](https://habrastorage.org/files/6b0/49d/863/6b049d86360842a8886499333975942a.PNG)
Импорт поддерживается в аналогичном формате — xml. Представлено в виде загрузки отдельного файла с ПК для общего списка и для папки в отдельности.
![](https://habrastorage.org/files/5fe/ba8/193/5feba819359b48baadf95b271fc4a9a9.PNG)
Итак, начнём по порядку. TestRail предлагает нам на выбор 4 роли:
![](https://habrastorage.org/files/9d6/b25/0ad/9d6b250adb864612b36c65cefe073604.PNG)
Роли легко редактируются, при помощи выставления чек-боксов для разрешения действий:
![](https://habrastorage.org/files/a63/339/0d1/a633390d145d442fa271fa5de7176e7c.PNG)
Также порадовала функция создания отдельных групп пользователей, что позволяет разбить пользователей по отдельным спискам:
![](https://habrastorage.org/files/395/7b9/486/3957b9486f75418ab95914acc77dc5b0.PNG)
В “кухонном” друге я обнаружил 5 ролей пользователей:
![](https://habrastorage.org/r/w1560/files/641/0de/418/6410de4188414650bde6f0c52473b24d.png)
Долго пытался понять кто и что может, но ответ был “на поверхности” — в справке присутствует подробное описание, что упрощает задачу. Единственное, что хотелось бы — создавать свои списки, но видимо в веб-версии это не предусмотрено.
TestLink предлагает своим пользователям воспользоваться уже встроенными вариантами:
![](https://habrastorage.org/files/3e3/4c3/75b/3e34c375b1294586ade8e475ccbe1e61.PNG)
Также присутствует возможность создавать свои списки пользователей, с выставлением прав:
![](https://habrastorage.org/files/409/56d/8d3/40956d8d336641d886e60651c18c4561.PNG)
У меня сложилось мнение, что TestLink и TestRail имеют в некоторых моментах идентичную модификацию в настройках. Но вот в TestRail поработали над удобством использования, а TestLink не радует удобством.
Наша компания использует Redmine и логично, что мы искали систему, поддерживающую интеграцию с данным баг-трекером. Под список выбора попадают все три претендента. Постараюсь описать подробнее по каждому.
Testrail. Интеграция, как уже говорили другие пользователи ранее: “проста и гениальна” одновременно:
Данная настройка подходит для большей части онлайн баг-трекеров. При заведении бага форма, как мне показалось, не была продумана до конца и потому содержала минимальное кол-во полей.
![](https://habrastorage.org/files/4ff/2c6/cca/4ff2c6cca5c94f11854370e1c626d1a4.PNG)
Возможно, разработчики не захотели усложнять себе жизнь, а возможно было сделано на скорую руку. Но лично мне не сильно понравилось, мы заполняем больше полей при заведении ошибок, и неудобно после заведения ошибки из TMS заходить и редактировать её в Redmine. Сама ссылка на баг отображается рядом с тестовыми данными, что не затрудняет восприятие, а при нажатии можно посмотреть информацию подробнее — это очень удобно:
![](https://habrastorage.org/r/w780q1/files/81f/acd/464/81facd4641bc49c2b794b61af124ad1d.jpg)
Но главным минусом интеграции через TestRail является авторизация только одного пользователя, что в следствии очень неудобно при разборе багов программистом. Появляются лишние вопросы и излишняя суета.
Настройки интеграции в Sitechco довольно просты и осуществляется пошагово. Запутаться сложно. Изначально выбирается проект, ссылка на сам баг-трекер и администраторский доступ к нему.
![](https://habrastorage.org/files/e37/147/280/e371472806ed421495839a72f65d9021.PNG)
По началу всё обычно, а вот дальше — явный плюс: возможность настройки полей, которые будут отображаться в форме заведения дефекта. Несомненно нужная штука!
![](https://habrastorage.org/files/e04/89c/5fd/e0489c5fddeb4f12af87a2ac98de71fa.PNG)
Все мои настройки имели влияние на формы для заполнения. Ничего не скажешь, добротно продуманно и для людей.
![](https://habrastorage.org/files/5f3/f82/e47/5f3f82e476e94d6a8ddfc3c760233a94.PNG)
В отчетах тоже ничего сверхъестественного, список багов через запятую, данные ссылочные и отображают статус бага в данный момент.
![](https://habrastorage.org/files/2e8/eb9/82c/2e8eb982ca9645129a60110cee99d810.PNG)
TestLink. Интеграция по аналогии с TestRail, потому сильно распыляться не буду, так как сама интеграция мне не понравилась изначально.
![](https://habrastorage.org/files/4a9/374/6ab/4a93746abb14469e8b27bc1c47336c7d.PNG)
Уж очень неудобно заводить баги в таком формате, живя в мире развивающихся технологий.
Следующий важный нам пункт — связи с проектными требованиями. У нас на проекте они ведутся не детально, но статус по ним должен быть прозрачным, своевременным, и раньше мы использовали google-табличку, в которой всё время забывали что-то актуализировать.
Поклацав всех трёх наших кандидатов, я не заметил очевидного в TestRail, так что по этому пункту он из игры выбывает.
В Sitechco пункт “Требования” есть в главном меню, но заставил меня покорпеть, прежде чем я смог сделать его активным (через настройки проекта, как оказалось).
Дальше попадаем в список требований, которые можем создавать или импортировать из таблиц.
Окно создания не содержит ничего лишнего: название и описание. Не хватает только добавления вложенных файлов — возможно, придётся пользоваться ссылками на сторонние файлхостинги.
![](https://habrastorage.org/files/3a3/5dc/717/3a35dc71741543f5ae047e3c626b7a30.PNG)
Меня порадовал также импорт требований, видимо создано по аналогии с импортом тестов, также ничего сложного и заумного. Представлено в виде окна, с выбором каталога для импорта и самим полем. Присутствует также справка:
![](https://habrastorage.org/files/ecd/234/d83/ecd234d83471441c9104f3691a096c21.PNG)
Создав/импортировав требования, мы можем осуществить связку между каждым тестом (проверкой в чек-листе, а не всем чек-листом) и требованием, работает эта связка по принципу многий ко многим:
![](https://habrastorage.org/files/f08/dd2/30d/f08dd230d2b94a2c9290a64dd393437a.PNG)
Давайте посмотрим как обстоят дела в TestLink. Производитель предлагает набор функций для работы с требованиями: создать, импортировать, экспортировать, создать тестовые наборы и скопировать требования.
![](https://habrastorage.org/files/c09/640/59f/c0964059f35143b0a4200483c8c43e79.PNG)
Операции по созданию требований довольно просты, имеют возможность прикрепления файлов, что более чем покрывало все мои желания к виду требований. Но пользоваться было не очень неудобно — как и почти всё в TestLink.
![](https://habrastorage.org/r/w1560/files/b71/93e/e40/b7193ee40e204d749b34853a9f199112.png)
Сам импорт как и экспорт поддерживается в формате CSV\XML\DocBook. Видимо весь проект Testlink ориентирован на формат CSV.
![](https://habrastorage.org/r/w1560/files/e4b/f16/7c3/e4bf167c33ba4b1c9375b5f39f37b0e5.png)
Требования прикрепляются к Test Case и помогают в процессе тестирования, дабы проверить полноту покрытия требований проверками и не допущения пробелов во время тестирования.
О простоте работы я немного сказал вначале, хотелось бы продолжить разговор на эту тему и раскрыть следующие особенности. Возможность использования горячих клавиш для создания тестов и групп в чек-листах реализована только в Sitechco.
![](https://habrastorage.org/files/bd8/69e/91d/bd869e91df2141838592e25217abf2b8.PNG)
Такие же моменты, как описание групп пользователей и простота использования отмечаются у всех трех продуктов. Но на фоне всех стандартных требований, очень понравилось то что TestRails позволяет самостоятельно создать адрес проекта, а testlink шагнул еще дальше и предложил собственный сервер хранения данных. Sitechco же, отличилось консервативностью в этом плане и не стало баловать дополнительными наворотами, видимо уповая на широчайший функционал и простоту использования.
Чего-то сверхъественного мне обнаружить не удалось. Единственное, что мне бросилось в глаза, так это планировщик задач Ситечка, которые чем-то напоминает Todoist, в силу отображения количества задач на мне и возможности планировать на будущее.
![](https://habrastorage.org/r/w1560/files/1dd/dc1/bcb/1dddc1bcb9aa4877afa8dea67e396426.png)
Что самое главное, как сказал наш тест-менеджер: “Я теперь смогу вас контролировать” и ехидно улыбнулся. Оказывается, что данная вкладка позволяет также просматривать какой из чек-листов на данный момент запущен, какой был завершён. “Паливо”- подумал я и попытался поискать данную функцию в TestRail и TestLink. Увы! Данный функционал поддерживается только в Sitechco, а считать это плюсом или минусом — мы с начальством придерживаемся разных точек зрения.
В силу развития всяческих мобильных фишек я также ожидал, что откопаю подобные вещи (мобильные версии, мобильные приложения), но, к сожалению, ни один из соперников не имел данного функционала в своём вооружении. Проводить тестирование с кучей вкладок неудобно, согласитесь. Потому было бы “в кассу” производить отметки о результатах на планшете и при этом не загромождать пространство на столе.
Как говорит одна из телеведущих украинского канала, Ольга Фреймут, в своих проверках: “Ну що? Поговоримо?” (Ну что? Поговорим?)
Основывайтесь на свои предпочтения, я постарался объективно сравнить этих трёх бойцов, но пока не определился с 2 победителями: кухонной утварью или штукой бизнес-класса. Оба кандидата имеют свои плюсы и минусы, чем по-своему привлекают. В любом случае, вопрос будет решать фин. директор основываясь на выделенный бюджет, ну а мне остаётся только ждать.
Пытаясь ответить на все эти вопросы, мы организовывали хранение требований и чек-листов в виде google-таблиц, но со временем поняли: пора искать специализированный инструмент. Результатами поиска и сравнения вариантов я и хочу поделиться с вами в этой статье.
В связи с удалённой рабочей командой и в целом в силу привычки мы рассматривали только веб-варианты. Отбросив по первичному анализу совсем неподходящие нам решения, на выбор остались три кандидата:
TestLink
![](https://habrastorage.org/files/32c/bd3/555/32cbd355596745e782afab8adba2100c.jpg)
TestRail
![](https://habrastorage.org/files/433/401/528/433401528a3b49c4a83a97c299933626.jpg)
Sitechco
![](https://habrastorage.org/files/8f6/d22/6cc/8f6d226cc8d44cc2bddd616fde421a32.jpg)
Получаем в результате: Triple Threat Match. Кто кого — увидим в честном бою.
Для начала, мы в команде определили критерии отбора:
- Стоимость лицензии: желательно бесплатно, или хотя бы, недорого;
- Поддерживаемые окружения: в команде используются Google Chrome, Mozilla Firefox, Safari — отказываться или менять браузеры никто не готов;
- Функционал управления тестами: здесь нам важнее всего было удобное создание тестовых наборов, ведение статистики прохождения и наглядной отчётности;
- Наличие элементов тест-менеджмента: очень хочется от инструмента возможностей планирования своих задач, контроля за планами и сроками;
- Юзабилити: если кому-то в команде что-то не понравится, то тратить своё время и “вникать” вряд ли будем. Всё должно быть понятно сразу.
По этим критериям и разберём каждого из кандидатов.
Стоимость
Пойдём по мере убывания:
- TestRails нам предлагает исключительно платные лицензии, в зависимости от их условий стоить она будет от 69$ до 8999$, серьезная плата для серьезного продукта. Дабы не покупать кота в мешке, нам предлагают воспользоваться тестовой версией на 30 дней, которая будет бесплатной — по ней и проводили анализ. В нашем случае (до 15 пользователей) TestRails будет стоить 1399€ или 2149$.
- Sitechсo для локальной установки обходится в 12000 рублей, SaaS использование бесплатно. Учитывая работу по https-протоколу и не слишком строгих, в плане безопасности, заказчиков, нас веб-версия вполне устроила.
- TestLink бесплатный при условии установки его к себе на сервер. Пришлось повозиться, но стартовало. По цене однозначный лидер.
Поддерживаемые окружения
Что касается совместимости, все браузеры заявлены в поддержке TestRails и TestLink, но IE не поддерживается в Sitechco:
Учитывая наш набор окружений, это не критично, но для многих пользователей (особенно, тестирующих какое-нибудь банковское ПО в урезанных окружениях) может быть.
Функционал управления тестами
Самым главным критерием в выборе системы для нас, естественно, является ее функционал. Мы совместно проработали список необходимых “фич”:
- Создание тестов и чек-листов;
- Контроль прохождения тестирования;
- Импорт и экспорт тестов (желательный формат — таблицы);
- Отчёты о проведении тестирования и по оценке качества ПО;
- Деление прав пользователей;
Из желательных, но не обязательных, в список вошли:
- Интеграция с Redmine;
- Ведение требований с анализом тестового покрытия;
- Внешний API для авто-тестов;
Создание тестов и чек-листов
В TestRail создание тестов реализовано c помощью Test Suite, в которые помещаются Тесты.
Добавление производится быстро, по принципу создания Test Case и отдельного описания, с возможностью разделения на секции и прикрепления, при необходимости, файлов. Внутри теста можно подробно расписывать шаги, но мы в большинстве случаев ограничились понятными заголовками.
Sitechco реализовало тестовые наборы в виде Чек- и Чит-листов. Сами Чек-листы просты, ничего лишнего или заумного: тест, проверка, приоритет, ну и различные дополнения: прикрепление требований, трудозатратность, иерархия в виде групп и мастер-группы.
Важную, как по мне, роль имеют чит-листы, с уже существующим набором тестов. Сэкономит время на создание своих и будет полезно на будущее. Эти элементы играют роль конструктора: написал стандартные чит-листы и вставляешь их в чек-листы по мере необходимости. Удобно, когда есть много стандартных проверок, например, нам надо разные поля проверять и на юзабилити гайдлайны, и на XSS-/SQL-инъекции. Данные повторяются, копипастить — зло, но нужен статус прохождения в разных контекстах и для разных полей.
Создание тестов в TestLink напоминает чем-то формы создания в TestRail. По аналогии тестовые наборы создаются в Test Suite, в которые вкладываются тесты.
Смотрится довольно запутанно и при этом примитивно:
Одни и те же тесты можно будет добавлять в разные сценарии, что в нашем случае выполняет похожую функцию, как и чит-листы в Ситечко. Но чтобы тесты были атомарными и маленькими (с наглядным результатом для отчёта) в TestLink показалось слишком много телодвижений. Ну ОЧЕНЬ много.
Контроль результатов
Разработчики TestRail предложили своим клиентам несколько вариантов отчетности:
Что позволяет собрать информацию о тестировании по багам, результатам, запускам и пользователям. Но! Каждый отчет необходимо обрабатывать, что очень неудобно и заставляет делать лишние движения для получения информации, плюс затрачивается время на формирование отчета:
Хотя в этом есть свой плюс — присутствует возможность рассылки отчетности на несколько е-mail-ов. Что касается самого типа отчета, то отображается графическое представление результатов и перечень всех тестов с соответствующим значением.
Sitechco позволяет формировать отчеты автоматически, не производя лишних действий для его получения. 4 основных вида отчета дают полную информацию о тестировании проекта.
Отчет по запускам отображает весь список Чек-листов, по которым производилось тестирование, присутствует возможность просмотра общей и подробной информации. По результатам прохождения возможно увидеть отчет по 5 последним запускам Чек-листа, плюс, позволяет настроить отчет под себя. Форма группового отчета показывает в графической форме представление результата:
TestLink заставил попотеть и помучатся с запуском тестов для прохождения. Долго не поддавалась система, что уже не понравилось. После совместных разбирательств, мы догадались, как это сделать. Вариант отчета разработчики предложили в таком виде, который показался нам недостаточно информативным:
Хотя вариантов отчетов очень много, но все однотипные и в неприемлемом, во всяком случае для нас, формате.
Импорт и экспорт тестов (желательный формат — таблицы)
В TestRail возможен экспорт в 3 форматах: xml, CSV и Excel. Но как ни странно, при попытке получить отчет в Exсel мне выдавалось в формате CSV.
В импорте всё выглядит проще и представлено в форме выбора файла с ПК в формате xml. Также присутствуют возможности добавления в уже существующий список тестов и создание нового.
Sitechco не теряет своих амбиций и представил своим пользователям экспорт данных в формате xls. Но, здесь тоже своя загвоздка, открытие файла возможно только в Microsoft Office.
![](https://habrastorage.org/files/534/dc0/a13/534dc0a137124839930ba21cc7deac8d.jpg)
А вот импорт был очень даже интересным. Не пришлось ничего сохранять в отдельный файл — вставка из файла на ПК или Google Docs произошла успешно и без лишних телодвижений, простым копипастом нужных строк таблицы.
Экспорт в TestLink представлен только в одном формате — xml. Есть возможность скачивания как полного списка тест кейсов, так и отдельных папок.
Импорт поддерживается в аналогичном формате — xml. Представлено в виде загрузки отдельного файла с ПК для общего списка и для папки в отдельности.
Деление прав пользователей
Итак, начнём по порядку. TestRail предлагает нам на выбор 4 роли:
Роли легко редактируются, при помощи выставления чек-боксов для разрешения действий:
Также порадовала функция создания отдельных групп пользователей, что позволяет разбить пользователей по отдельным спискам:
В “кухонном” друге я обнаружил 5 ролей пользователей:
![](https://habrastorage.org/files/641/0de/418/6410de4188414650bde6f0c52473b24d.png)
Долго пытался понять кто и что может, но ответ был “на поверхности” — в справке присутствует подробное описание, что упрощает задачу. Единственное, что хотелось бы — создавать свои списки, но видимо в веб-версии это не предусмотрено.
TestLink предлагает своим пользователям воспользоваться уже встроенными вариантами:
Также присутствует возможность создавать свои списки пользователей, с выставлением прав:
У меня сложилось мнение, что TestLink и TestRail имеют в некоторых моментах идентичную модификацию в настройках. Но вот в TestRail поработали над удобством использования, а TestLink не радует удобством.
Интеграция с Redmine
Наша компания использует Redmine и логично, что мы искали систему, поддерживающую интеграцию с данным баг-трекером. Под список выбора попадают все три претендента. Постараюсь описать подробнее по каждому.
Testrail. Интеграция, как уже говорили другие пользователи ранее: “проста и гениальна” одновременно:
Данная настройка подходит для большей части онлайн баг-трекеров. При заведении бага форма, как мне показалось, не была продумана до конца и потому содержала минимальное кол-во полей.
Возможно, разработчики не захотели усложнять себе жизнь, а возможно было сделано на скорую руку. Но лично мне не сильно понравилось, мы заполняем больше полей при заведении ошибок, и неудобно после заведения ошибки из TMS заходить и редактировать её в Redmine. Сама ссылка на баг отображается рядом с тестовыми данными, что не затрудняет восприятие, а при нажатии можно посмотреть информацию подробнее — это очень удобно:
![](https://habrastorage.org/files/81f/acd/464/81facd4641bc49c2b794b61af124ad1d.jpg)
Но главным минусом интеграции через TestRail является авторизация только одного пользователя, что в следствии очень неудобно при разборе багов программистом. Появляются лишние вопросы и излишняя суета.
Настройки интеграции в Sitechco довольно просты и осуществляется пошагово. Запутаться сложно. Изначально выбирается проект, ссылка на сам баг-трекер и администраторский доступ к нему.
По началу всё обычно, а вот дальше — явный плюс: возможность настройки полей, которые будут отображаться в форме заведения дефекта. Несомненно нужная штука!
Все мои настройки имели влияние на формы для заполнения. Ничего не скажешь, добротно продуманно и для людей.
В отчетах тоже ничего сверхъестественного, список багов через запятую, данные ссылочные и отображают статус бага в данный момент.
TestLink. Интеграция по аналогии с TestRail, потому сильно распыляться не буду, так как сама интеграция мне не понравилась изначально.
Уж очень неудобно заводить баги в таком формате, живя в мире развивающихся технологий.
Ведение требований с анализом тестового покрытия
Следующий важный нам пункт — связи с проектными требованиями. У нас на проекте они ведутся не детально, но статус по ним должен быть прозрачным, своевременным, и раньше мы использовали google-табличку, в которой всё время забывали что-то актуализировать.
Поклацав всех трёх наших кандидатов, я не заметил очевидного в TestRail, так что по этому пункту он из игры выбывает.
В Sitechco пункт “Требования” есть в главном меню, но заставил меня покорпеть, прежде чем я смог сделать его активным (через настройки проекта, как оказалось).
Дальше попадаем в список требований, которые можем создавать или импортировать из таблиц.
Окно создания не содержит ничего лишнего: название и описание. Не хватает только добавления вложенных файлов — возможно, придётся пользоваться ссылками на сторонние файлхостинги.
Меня порадовал также импорт требований, видимо создано по аналогии с импортом тестов, также ничего сложного и заумного. Представлено в виде окна, с выбором каталога для импорта и самим полем. Присутствует также справка:
Создав/импортировав требования, мы можем осуществить связку между каждым тестом (проверкой в чек-листе, а не всем чек-листом) и требованием, работает эта связка по принципу многий ко многим:
Давайте посмотрим как обстоят дела в TestLink. Производитель предлагает набор функций для работы с требованиями: создать, импортировать, экспортировать, создать тестовые наборы и скопировать требования.
Операции по созданию требований довольно просты, имеют возможность прикрепления файлов, что более чем покрывало все мои желания к виду требований. Но пользоваться было не очень неудобно — как и почти всё в TestLink.
![](https://habrastorage.org/files/b71/93e/e40/b7193ee40e204d749b34853a9f199112.png)
Сам импорт как и экспорт поддерживается в формате CSV\XML\DocBook. Видимо весь проект Testlink ориентирован на формат CSV.
![](https://habrastorage.org/files/e4b/f16/7c3/e4bf167c33ba4b1c9375b5f39f37b0e5.png)
Требования прикрепляются к Test Case и помогают в процессе тестирования, дабы проверить полноту покрытия требований проверками и не допущения пробелов во время тестирования.
Юзабилити:
О простоте работы я немного сказал вначале, хотелось бы продолжить разговор на эту тему и раскрыть следующие особенности. Возможность использования горячих клавиш для создания тестов и групп в чек-листах реализована только в Sitechco.
Такие же моменты, как описание групп пользователей и простота использования отмечаются у всех трех продуктов. Но на фоне всех стандартных требований, очень понравилось то что TestRails позволяет самостоятельно создать адрес проекта, а testlink шагнул еще дальше и предложил собственный сервер хранения данных. Sitechco же, отличилось консервативностью в этом плане и не стало баловать дополнительными наворотами, видимо уповая на широчайший функционал и простоту использования.
Специальные предложения:
Чего-то сверхъественного мне обнаружить не удалось. Единственное, что мне бросилось в глаза, так это планировщик задач Ситечка, которые чем-то напоминает Todoist, в силу отображения количества задач на мне и возможности планировать на будущее.
![](https://habrastorage.org/files/1dd/dc1/bcb/1dddc1bcb9aa4877afa8dea67e396426.png)
Что самое главное, как сказал наш тест-менеджер: “Я теперь смогу вас контролировать” и ехидно улыбнулся. Оказывается, что данная вкладка позволяет также просматривать какой из чек-листов на данный момент запущен, какой был завершён. “Паливо”- подумал я и попытался поискать данную функцию в TestRail и TestLink. Увы! Данный функционал поддерживается только в Sitechco, а считать это плюсом или минусом — мы с начальством придерживаемся разных точек зрения.
В силу развития всяческих мобильных фишек я также ожидал, что откопаю подобные вещи (мобильные версии, мобильные приложения), но, к сожалению, ни один из соперников не имел данного функционала в своём вооружении. Проводить тестирование с кучей вкладок неудобно, согласитесь. Потому было бы “в кассу” производить отметки о результатах на планшете и при этом не загромождать пространство на столе.
Как говорит одна из телеведущих украинского канала, Ольга Фреймут, в своих проверках: “Ну що? Поговоримо?” (Ну что? Поговорим?)
- TestLink. Собственно чего я ожидал от бесплатного сервиса? Все догадки подтвердились. Поставить галочку, что бесплатный, есть базовый набор функций — только и того. Извини, дружище, ты в нокауте, всё как-то замудрено и не увидел изюминки.
- TestRails. Да, ничего не скажешь, штука мощная, во своими плюсами и своими минусами. Но в силу отсутствия мультиязычности и не отличающийся такой уж и “дешевизной”, я так и не смог себе это позволить. Не один я ведь буду работать, потому эгоизм свой пришлось “удалить из настроек”.
- Sitechco . Просто и со вкусом, ничего заумного или сложного для понимания. Мне, возможно показалось, но компания только недавно начала появляться на арене IT и недооценивает свои возможности, либо специальная цена продукта в силу экономического кризиса стран.
Критерии сравнения | Sitechco | TestLink | TestRails |
---|---|---|---|
Основные | |||
стоимость лицензии | $0-$500 | - | $69-$8,999 |
браузеры | кроме iE | все | все |
функционал | |||
автосохранение/контроль версий | да | да | да |
шаблоны | да | нет | нет |
печать/ссылка на отчет | да | да | да |
импорт/экспорт | да | да/нет | да/да |
мобильная версия | нет | нет | нет |
окружения/сборки/требования | да/да/да | нет/да/да | нет/да/нет |
подсказки | да | нет | да |
Элементы тест-менеджмента: | |||
тест план | да | да | нет |
тест кейсы | да | да | да |
поддержка автотестов | нет | нет | нет |
чек-листы | да | да | нет |
Разграничение ролей пользователей | есть | есть | есть |
поддержка аттача файлов(файловое хранилище) | нет | нет | нет |
е-мейл нотификации | есть | нет | есть |
Работа с Чек-листами | |||
настройка полей в ЧЛ (разные типы ЧЛ, отдельно настройка тестового окружения, например) | есть | нет | нет |
удобство редактирования (субъективная оценка) | удобно | не удобно | не особо удобно |
связь с требованиями | да | да | нет |
Отчётность | |||
по сборкам | да | да | нет |
по окружениям | да | нет | нет |
по тестерам | да | нет | нет |
по дате выполнения | да | нет | да |
по результату | да | да | да |
какое-либо отображение статуса тестируемого продукта | есть | есть | есть |
отчётность по разным ЧЛ сразу | да | да | да |
отчётность по покрытию требований | да | да | нет |
отчётность по результатам тестирования требований | да | да | нет |
Юзабилити | |||
простота | да | да | да |
хоткеи | да | нет | нет |
описание групп пользователей | да | да | да |
Основывайтесь на свои предпочтения, я постарался объективно сравнить этих трёх бойцов, но пока не определился с 2 победителями: кухонной утварью или штукой бизнес-класса. Оба кандидата имеют свои плюсы и минусы, чем по-своему привлекают. В любом случае, вопрос будет решать фин. директор основываясь на выделенный бюджет, ну а мне остаётся только ждать.