Grafana Stack: закрываем все современные потребности Observability

[selivanov_pavel]

Loki ... не индексирует содержимое журналов, а представляет собой набор меток для каждого потока журналов.

Я правильно понимаю, что если для тех же логов nginx я хочу посмотреть все запросы по определённому URL - это будет по скорости как обычный grep?

[Elaugaste]

И да и нет. Лейблы индексируются, плюс локи вытащит из с3 только нужные чанки. Плюс локи умеет параллелитьзадачи фильтрации. В итоге как привило все работает шустро. Само собой пока вы не попросите его погрепать пару десятков гб.

[Mmefko]

Loki интексирует метаданные и лейбы, используя тот же promtail для отправки логов, можно их парсить и необходимую информацию выносить в лейбы, увеличивая скорость поиска по ним, но тут надо помнить о кардинальности. Loki не сильно любит high cardinality.

Второй момент, это querier инстансы, которые могут скейлится горизонтально и вычитывать чанки с логами параллельно, ускоряя поиск.

Вот здесь хорошо описаны эти моменты:

https://grafana.com/blog/2023/12/20/the-concise-guide-to-grafana-loki-everything-you-need-to-know-about-labels/?utm_source=grafana_news&utm_medium=rss

https://grafana.com/blog/2023/12/28/the-concise-guide-to-loki-how-to-get-the-most-out-of-your-query-performance/?utm_source=grafana_news&utm_medium=rss

[DANic]

Если вы все uri сделаете инднексами, то почти наверняка ваш локи взорвётся уже на 500rps. Либо вам придётся залить его тонной ресурсов. Динамические лейблы являются антипатеном для loki и прямо в доке разработчики об этом пишут. Можно сделать метрику на основе логов в promtail, не забыв после стейджа с созданием метрики удалить лишние лейблы, вот только такая метрика тоже будет весьма объёмной. Я последнюю неделю пытаюсь победить эту задачу чтобы поучить график rps by Hostname, URI, status code глубиной в две недели на 1000 rps и не купить Безосу яхту

[aleks_raiden]

Попробуйте VictoriaLogs как бекенд, она как раз любит хай-кардиналити

[fedorro]

В случае успешной установки Tempo будет доступен по адресу ttp://localhost:16686

А на скрине Jeager, а в графане, вроде, свой интерфейс для просмотра трассировок. H в HTTP забыли, ссылки на yaml-ы не рабочие ну и тд...

[Elaugaste]

Уровень материала оставляет желать лучшего. Не сказали почти ничего полезного. Значительную часть сервисов оставили за бортом. Про мимир толком вообще не пояснили зачем нужен.

[Ymrs]

Одна вода