Собираем и анализируем логи с помощью Lumberjack+Logstash+Elasticsearch+RabbitMQ

Готово.

Собираем и анализируем логи с помощью Lumberjack+Logstash+Elasticsearch+RabbitMQ

Да, не упоминалось, потому что за все использования этой связки проблем с шиной мы не испытывали. Выпал пал на RabbitMQ, потому что мы ее уже используем в продакшене.

Собираем и анализируем логи с помощью Lumberjack+Logstash+Elasticsearch+RabbitMQ

Безусловно в вашем случае надо кластеризовать и Elasticsearch и Logstash. С сотней хостов нашей фермы вполне успешно справлялся 4х ядерный инстанс с 10тью GB RAM, если я правильно помню, то было 4 шарда в Elasticsearch и 3 потока в Logstash.

Собираем и анализируем логи с помощью Lumberjack+Logstash+Elasticsearch+RabbitMQ

Да, именно так и есть, Lumberjack не разбирает сообщения, а просто шлет построчно. Начиная с 1.2.2 версии Logstash делает это вполне прилично, мы встретили проблемы только на очень больших мультистрочных сообщениях, так что есть смысл попробовать еще раз.

Собираем и анализируем логи с помощью Lumberjack+Logstash+Elasticsearch+RabbitMQ

Конфиги выложить не проблема. Слегка приведу их в порядок — и опубликую.