Комментарии 8
Я правильно понимаю, что вы в pipeline сборки добавили инструмент, который отсылает данные в Radar?
Спасибо, интересная статья!
Как вы понимаете / проверяете, что результат достоверный? Пять прогонов кажется очень малой величиной, чтобы убрать погрешность, так как lighthouse неустойчив к любому изменению сети/ железа / технических и/или продуктовых фич.
поэтому мы запускаем 5 проверок для каждой страницы и вычисляем среднее значение по каждому показателю
Как вы понимаете / проверяете, что результат достоверный? Пять прогонов кажется очень малой величиной, чтобы убрать погрешность, так как lighthouse неустойчив к любому изменению сети/ железа / технических и/или продуктовых фич.
Ваши утверждения верны. Погрешность у измерений присутствует, сколько бы проверок не было. 5 — среднее значение, которое эту погрешность сглаживает. И мы смотрим разрез всех проверок в течение месяца, а не ориентируемся на ежедневные отчеты, от этого строится вполне объемная картина.
Бывают ли такие прогоны, когда значения получаются нетипично большими/малыми? Например, 100, 101, 99, 120, 102. Если да, то среднее значение (104.4) будет страдать.
Возможно, стоит брать выборку из N+2 (в данном случае, 7) прогонов, убирать одно наименьшее и одно наибольшее, и уже потом считать среднее? Было бы примерно так: 100, 101, 99, 120, 102, 94, 99 → 100, 101, 99,120, 102, 94, 99. Среднее тогда будет 100.2, что, вроде как, ближе к истине.
Возможно, стоит брать выборку из N+2 (в данном случае, 7) прогонов, убирать одно наименьшее и одно наибольшее, и уже потом считать среднее? Было бы примерно так: 100, 101, 99, 120, 102, 94, 99 → 100, 101, 99,
вы не думали мокать запросы?
Наверно тут важно сравнение с предыдущими результатами измерений, с накопленной статистикой. Если новое измерение (на основе 5 проверок) сильно отличается от предыдущих, то с релизом что-то не так.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Строим систему для мониторинга качества frontend-проектов