Комментарии 10
а не подскажете о.щий конфиг железа который крутит ваш elk кластер который переваривает 11к ссобщентй в секунду?
Я не эксперт в экосистеме ELK, но в вышеприведённой схеме LogStash выглядит лишним. Разве не было бы более эффективным слать логи FileBeat -> Elastic?
Ingestion у Elastic можно масштабировать добавлением Ingest Nodes:
https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-node.html#node-ingest-node
Processing можно делать как на FileBeat, так и на Ingest Node Pipeline. У LogStash наверное больше фишек для processing, но я думаю 90% всего нужного есть и в Pipeline processing.
Получается от LogStash одни затыки? Или у LogStash есть какая-то нужная функция в этой схеме?
Спасибо.
Попробуйте https://manticoresearch.com/ вместо. Может понравится )
Исследование нагрузки на ELK stack и тюнинг Logstash