Комментарии 4
Что мешает подключить allure и не изобретать велосипед?
Вы так говорите "изобретать велосипед", как будто это что-то плохое.
Вы имеете ввиду добавление аннотаций Step в исполняемом коде? В принципе норм подход, но это нужно будет весь код так разметить, Кроме того вы не сможете подлезть в сторонние библиотеки. Можно использовать Mockito Spies, это даст больше гибкости.
Тесты не должны проверять детали реализации и внутреннее состояние. Этот метод может быть отрефакторен с использованием линейной алгебры, и ваш тест упадет.
Если вы нагородите в реальном проекте эти проверки в потрохах, то кончится все либо тем, что ваши проверки выпилят, либо тесты отключат, либо не будут обращать внимания на падения ваших тестов.
Ваши тесты в CI падают непредсказуемо, скорее всего, потому, что где-то код имеет side-эффекты.
Тесты не должны проверять детали реализации и внутреннее состояние. Этот метод может быть отрефакторен с использованием линейной алгебры, и ваш тест упадет.
Есть тестирование черного ящика, есть тестирование белого ящика. Это разные подходы к тестированию.
Если вы нагородите в реальном проекте эти проверки в потрохах, то кончится все либо тем, что ваши проверки выпилят, либо тесты отключат, либо не будут обращать внимания на падения ваших тестов.
Я и не предлагаю "городить" во всём проекте. Только для конкретных Flaky-тестов.
Ваши тесты в CI падают непредсказуемо, скорее всего, потому, что где-то код имеет side-эффекты.
Ну да. В это вся суть. Надо найти эти эффекты и исправить либо код либо тест, чтобы их нивелировать.
Избавляемся от Flaky тестов в CI/CD при помощи JMina