… в вашей системе должно присутствовать N+1 таких компонент, так как иначе, если у вас упадет один из элементов, то на все остальные нагрузка увеличиться и вся ваша система рухнет как домино
Также необходимо ограничить сверху максимальное количество запросов, которые могут быть направлены на каждую ноду кластера Load Balancer-ом. Это поможет защититься от эффекта домино, даже если упадет не один, а два, три, или N/2 элемента. Общая capacity системы будет уменьшаться пропорцинально количеству вышедших из строя элементов, и большее количество пользователей будет получать отлупы, но система должна выживать.
Также необходимо ограничить сверху максимальное количество запросов, которые могут быть направлены на каждую ноду кластера Load Balancer-ом. Это поможет защититься от эффекта домино, даже если упадет не один, а два, три, или N/2 элемента. Общая capacity системы будет уменьшаться пропорцинально количеству вышедших из строя элементов, и большее количество пользователей будет получать отлупы, но система должна выживать.
Мои $.02