Механизм перезапуска у нас общий для всех: нет серебряной пули для разделения проблем среды и самих тестов, но ситуацию облегчают несколько инструментов:
оповещения с релизов для владельцев тестов. Это позволяет держать руку на пульсе у проблемных тестов и предпринять меры оперативно: быстрый фикс или отправка в карантин.
подробная статистика по тестам в БД. На ее основе мы в отдельном UI строим разнообразные графики, позволяющие всесторонне оценить не только детали конкретного теста, но и общую картину по прогонам: скорость, падения, перезапуски, общая стабильность и прочее. Такая статистика также даже возможность ретроспективно отследить историю тестов на срок ~2 недель.
автоматическое заведение задач на правку теста, если стабильность опускается ниже определенного порога. К задаче прикладываются наиболее частые причины падений и результат анализа от ИИ с вариантами решения.
Спасибо за ваш кейс.
Механизм перезапуска у нас общий для всех: нет серебряной пули для разделения проблем среды и самих тестов, но ситуацию облегчают несколько инструментов:
оповещения с релизов для владельцев тестов. Это позволяет держать руку на пульсе у проблемных тестов и предпринять меры оперативно: быстрый фикс или отправка в карантин.
подробная статистика по тестам в БД. На ее основе мы в отдельном UI строим разнообразные графики, позволяющие всесторонне оценить не только детали конкретного теста, но и общую картину по прогонам: скорость, падения, перезапуски, общая стабильность и прочее. Такая статистика также даже возможность ретроспективно отследить историю тестов на срок ~2 недель.
автоматическое заведение задач на правку теста, если стабильность опускается ниже определенного порога. К задаче прикладываются наиболее частые причины падений и результат анализа от ИИ с вариантами решения.