Комментарии 8
Тоже сейчас у себя на проекте активно прикручиваю графану и снимаю статистику с АТ и тест рейла. Спасибо за статью будет полезно!
Отлично! Отдельное спасибо за примеры дашбордов с реальными данными
Не совсем понял как вы сопоставляете клики реальных пользователей с кликами из тестов? (Пример про непокрытые тестами виджеты). Тесты ведь на дев средах, а пользователи - на проде. Или у вас GA / яндекс.метрики собираются со всех сред сразу?
Да, спасибо за вопрос, понял, что нужно пояснить. Несколько уточнений:
1. У нас есть свой собственный трекер для метрик. Здесь контроля больше, чем с метриками GA. В собственный трекер можно отправлять метрики с прода и стейджинга.
2. У нас есть тесты на стейжинге и на проде. На проде мы способны проверить все критические сценарии. Как это можно делать – это тема для отдельного рассказа.
События из тестов и события от пользователей соединяются в табличку по ключу. Ключом выступает: название виджета + название события + название платформы. Разные только неймспейсы.
Если на проде не тестировали бы, то ничто не мешает по ключу соединять данные – пользователи с прода, тесты со стейджинга.
Для написания тестов используем Robot Framework, тесты гоняем в CI каждые 3 часа, результаты выполнения тестов пишем в БД, а оттуда - тоже в Grafan'у (возможно однажды напишу статью о том, как устроено у нас).
Наша доска выглядит так:
Также есть отдельная доска, на которой мы мониторим самые падающие тесты и кейворды, отношение пройденных тестов к упавшим и отношение зелёных pipeline к красным.
Мне очень нравится ваш подход к QA. Cпасибо, что делитесь своими практиками. Очень полезно.
Я только начинаю в этой теме. И построил такой top level design
Selenium extension for Chrome для создания тестов и наборов.
Selenium side runner для проигрывания тестов и записи логов в фомате json
Запись данных в postgresql для графаны
Дашборд в графане.
Будучи назначенным на эту должность волею начальницы, начал тыкаться по всяким ресурсам и пробовать. Как программер в BI уже создал примерный pilot от постгреса до графаны.
Вчера попробовал на домашнем pc получить json file.
Не все проходит гладко. Не все то, что пишут в документации на селениум 4 работает.
Однако есть прогресс в этом направлении.
Спасибо за интересную статью.
Grafana и автотесты: учимся измерять работу тестов