Привет, прежде всего спасибо за вопрос ибо как раз он один из самых трудных частей работы. Это долгий и мучительный процесс - продажа и доказательств руководству, демонстрация на данных корреляции между тем, что показывает алгоритм и тем, что ощущает руководство разработки интуитивно. Это доказательств на данных и тестах, что ваш алгоритм точнее и гибче других похожих, разработанных в компании, это презентации, это выступления на внутренних митапах и конференциях, это выведение измерения SLA в TOP-of-mind и в итоге принятие цифр и достижение высокого уровня доверия, которое очень легко потерять и над которых мы корпеем. Это годы поступательной работы, такой марафон не каждый выдержит, но уверяю вас - это реально и в вашей компании. Напишите в личку, если у вас не получается подобное.
Уже готовлю доклад про то, как внутри работает наша автоматизация.
Отвечу на вопросы: 1. Какие инструменты используются? инструменты мониторинга (Graphite + Grafana, Prometheus), плюс интеграции с k8s и разными внутренними инструментами (трейсингом, сервисов дежурств и прочими прелестями) остальное всёсамописное
Кто решает, стала ли проблема блокером или можно продолжать спать? - есть конмада 24/7, которая смотрит за работой наших продуктов. Автоматизацию сейчас больше нацелена на постфактумный сбор инормации, это не система алертинга, а система анализа. Однако надо признать, что мы ее уже начали использовать и в целях "более рантаймовой" детекции инцидентов.
"Смотрю на наши проблемы в продакшене, и они настолько разные, что человеку тяжело понять что вообще пострадало в результате, и что теперь делать." - именно поэтому мы и сделали автоматизацию, руками собирать информацию, ходить по людям, отвлекать их от дел чтобы собрать достойный инцидент - было хлопотно, поэтому навалились на автоматизацизацию... на как навалились, запустили пилот, а потом пошло поехало.
Привет, прежде всего спасибо за вопрос ибо как раз он один из самых трудных частей работы. Это долгий и мучительный процесс - продажа и доказательств руководству, демонстрация на данных корреляции между тем, что показывает алгоритм и тем, что ощущает руководство разработки интуитивно. Это доказательств на данных и тестах, что ваш алгоритм точнее и гибче других похожих, разработанных в компании, это презентации, это выступления на внутренних митапах и конференциях, это выведение измерения SLA в TOP-of-mind и в итоге принятие цифр и достижение высокого уровня доверия, которое очень легко потерять и над которых мы корпеем. Это годы поступательной работы, такой марафон не каждый выдержит, но уверяю вас - это реально и в вашей компании. Напишите в личку, если у вас не получается подобное.
Можно конечно и многое уже сделано или делается. Могу дать наводки на правильные инженерные практики:
graceful degradation
circuit breaker
throttling
MTTR
MTBF
Stress testing
Stability testing
Я тут не особо силен, но думаю это уже поможет
Уже готовлю доклад про то, как внутри работает наша автоматизация.
Отвечу на вопросы:
1. Какие инструменты используются?
инструменты мониторинга (Graphite + Grafana, Prometheus), плюс интеграции с k8s и разными внутренними инструментами (трейсингом, сервисов дежурств и прочими прелестями) остальное всёсамописное
Кто решает, стала ли проблема блокером или можно продолжать спать? - есть конмада 24/7, которая смотрит за работой наших продуктов. Автоматизацию сейчас больше нацелена на постфактумный сбор инормации, это не система алертинга, а система анализа. Однако надо признать, что мы ее уже начали использовать и в целях "более рантаймовой" детекции инцидентов.
"Смотрю на наши проблемы в продакшене, и они настолько разные, что человеку тяжело понять что вообще пострадало в результате, и что теперь делать." - именно поэтому мы и сделали автоматизацию, руками собирать информацию, ходить по людям, отвлекать их от дел чтобы собрать достойный инцидент - было хлопотно, поэтому навалились на автоматизацизацию... на как навалились, запустили пилот, а потом пошло поехало.