• Обработка миллионов событий в сутки при помощи каскадов очередей
    0
    Это вопрос инструментария, данный архитектурный подход можно использовать с любыми инструментами. Мы используем redis, так как у нас в компании достаточно высокая компетенция по нему, так же он позволяет нам очень гибко оперировать сырыми данными, реализуя кастомную логику очередей, как на стандартных типах данных, реализованных в redis, так и расширяя возможности redis через Lua скрипты.
  • Обработка миллионов событий в сутки при помощи каскадов очередей
    +1
    В представленной схеме, внутри FPM процесса у нас разгребается определенная очередь и поочередно процессятся задачи из нее, в одном потоке. Соответственно если скрипт упадет в процессе обработки очередной задачи, не подтвердив ее, следующая отправка обработки этой очереди в internal API начнет обработку с этого же сообщения.
  • Обработка миллионов событий в сутки при помощи каскадов очередей
    0
    Здесь все зависит от конкретной реализации на уровне обработки очереди, если очередь поддерживает механизм подтверждения (ack), то можно обеспечить атаморность с помощью такого механизма. Можно обеспечивать ее на уровне кода, с использованием дополнительных буферов, систем ретраев и других подходов