alex_hollden 28 дек 2022 в 17:38

Исследование нагрузки на ELK stack и тюнинг Logstash

4 мин

4.6K

Open source*Системное администрирование*IT-инфраструктура*Серверное администрирование*

Из песочницы

Комментарии 10

D1abloRUS 28 дек 2022 в 17:58

возьмите vector, вся эта джава... нафиг ее...

nestor_by 28 дек 2022 в 20:17

или promtail вместе с loki

D1abloRUS 28 дек 2022 в 20:18

можно vector c loki, он тоже умеет

alex_hollden 29 дек 2022 в 10:27

Рассмотреть другой стек можно, но тогда предстоит решать проблему миграции данных и в целом переезд очень трудоемкое занятие =)

Aquahawk 28 дек 2022 в 19:36

а не подскажете о.щий конфиг железа который крутит ваш elk кластер который переваривает 11к ссобщентй в секунду?

alex_hollden 29 дек 2022 в 10:25

2 logstash по 6 CPU 16 Gb RAM, 3 мастер ноды 2 CPU 8 Gb RAM, горячие (они же ingest) дата ноды 10 CPU 20 Gb RAM

SlavikF 31 дек 2022 в 03:50

Я не эксперт в экосистеме ELK, но в вышеприведённой схеме LogStash выглядит лишним. Разве не было бы более эффективным слать логи FileBeat -> Elastic?

Ingestion у Elastic можно масштабировать добавлением Ingest Nodes:

https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-node.html#node-ingest-node

Processing можно делать как на FileBeat, так и на Ingest Node Pipeline. У LogStash наверное больше фишек для processing, но я думаю 90% всего нужного есть и в Pipeline processing.

Получается от LogStash одни затыки? Или у LogStash есть какая-то нужная функция в этой схеме?

alex_hollden 4 янв 2023 в 10:27

затык в нем действительно есть =) но у нас он используется для препроцессинга логов, например парсинг через GROK/json фильтр и распределиение логов из разных неймспейсов kubernetes по индексам