Comments 2
Это хорошо, но часто бывает трудно или невозможно встроить пересчёт некого критерия в имеющееся средство тестирования. И кстати, параллельное выполнение тестов тоже существенно уменьшает время.
Да, критерий Кохрена-Кокса удобен в частном случае, и может быть сложно и развернуть две версии одновременно, и встроить критерий в тесты-бенчмарки. Как вариант, критерий удобен для PR'ов. По поводу параллельного выполнения тестов-бенчмарков — да, ускоряет, но чтобы бенчмарки были актуальными (т.к. это не только тесты, а измеряется время выполнения и оно должно быть постоянным для одного и того же бенчмарка на одной и той же версии), машины должны быть «условно одинаковыми», тесты не должны влиять друг на друга и т.д. Т.е. при параллельном варианте если условно «раскидать по всем нодам», то и результаты с них могут быть трудно сопоставимыми.
Проверка отсутствия деградации бенчмарков для двух версий статистическими методами