В одном из моих прошлых проектов нам пришлось решать две (вообще три, но третий случай сильно далеко уходит от центральной темы) очень похожие проблемы. У нас на проекте разрослось количество кронов, и ими стало тяжело управлять. И начало появляться большое количество консьюмеров, и ими то же надо было как то управлять. Мы эти проблемы решили с помощью старых добрых fork'ов. Все примеры будут приведены в php, но принцип работы можно использовать и для других стеков. Ниже будет описан принцип тактика использования fork'ов для наведения порядка в фоновых задачах.