Observability. Часть 1, про логи

[SlavikF]

Несколько уточнений:

>> Elasticsearch ... минимальный кластер - это 3 узла

Никто не мешает запустить кластер из одного узла. Понятно, что при этом нет high availability. Данные кстати могут храниться надёжно даже с одним нодом, если хранить их в S3 или на RAID.

>> Kibana ... Раздел с логами требует установки Filebeat или других Elastic-специфичных агентов. 

Это не так. Логи можно слать как угодно, хоть вообще через curl.

>> Grafana это конструктор-полиглот: вы може в одном и том же дашборде отображать данные из Prometheus, Loki, PostgreSQL, и многих других доступных систем.

К "другим" системам с которыми работает Grafana ещё относится ElasticSearch.

[kamish721]

1. ну, для меня кластер -- это что-то отказоустойчивое, с репликацией и шардированиями всякими. а один узел это не кластер. а что, при одном узле можно хранить все данные индекса в S3, как в Loki?

2. реально? я не про раздел Analytics, где обычно и смотрят люди логи, а про Stream и другие секции логов. мне там кибана просила поставить Filebeat или Elastic Agent

3. кстати да, Elasticsearch тоже можно визуализировать в графане! добавлю упоминание в статье, спасибо

[SlavikF]

1. Данные, которые прилетают в ElasticSearch по началу в любом случае сначала попадают на локальный диск. Сразу на S3 не получится. Но roll на S3 делать для них можно хоть каждый час / день.

2. Я про Observability -> Logs -> Stream, работает с любым источником данных

[SlavikF]

"Родной" коллектор логов для ElasticSearch - это FileBeat, но почему-то его нету в вашем списке бенчмарков.

[kamish721]

да нет, как же, есть в списке, и я в тексте обещал, что в следующей части сделаю обзор с тестами и Filebeat!

я просто очень долго возился с фреймворком бенчмарков и анализами, постоянно вносил корректировки в конфиги, и в итоге влезло не так много инструментов и БД. обещаю, будет лучше :)

[LazyZeroed]

Было бы интересно услышать мнения о greylog.