Пробовали использовать opendistro, но не всех фич в нем хватало (с ходу могу вспомнить отсутствие автокомплита в кибане, были некоторые сложности с ISM).

slava_k Oct 19 2022 at 16:04

Спасибо за статью, часть тех же проблем пришлось пройти недавно. Vector в целом хорош, но всё равно сырой в плане долгосрочной стабильности.

javdet12 Oct 20 2022 at 12:14

Да возможно, но за последние пол года как минимум, в нашей схеме работает хорошо. В планах есть написать оператор для него на подобии https://banzaicloud.com/docs/one-eye/logging-operator/.

meforyou Oct 21 2022 at 12:19

Добрый день! Полнотекстовый поиск вы не используете? все чаще замечаю, что те кто отказывается от ElasticSearch его не используют.

Не могли бы рассказать как тюнинговали Elastic stack?

javdet12 Oct 21 2022 at 15:31

Приветствую, используем. Здесь нужно понимать, что в отличии от эластика, где индексируется весь документ, тут происходит поиск по всему тексту сообщений и это медленнее (если данные не в кэше). Поэтому при таком поиске стараемся максимально помочь локи выполнить запрос быстрее: четче ставим временные ограничения, добавляем индексированные поля в запрос, где это возможно.

Тема тюнинга Elastic stack потянет на отдельную статью) Если есть, какие то более конкретные вопросы могу что-то подсказать.

past Oct 22 2022 at 11:23

Есть ощущение, что если вам нужен count_over_time по логам, то пора отобразить эту величину в метриках. Мы же с вами помним, что метрики это сжатые логи?

javdet12 Oct 24 2022 at 14:11

Да верно, в каких то кейсах это может помочь. Маркетинг и аналитики смотрят такие данные по очень разным полям: методам, юзер агентам, реферерам и т.д. Поэтому все закрыть метриками к сожалению не выйдет. Также работает над вариантом добавления части полей в индекс.

chemtech Feb 25 2023 at 06:35

@javdet12Спасибо за пост. Добавляли ли вы поля: status_code, method в индекс?

UFO just landed and posted this here

javdet12 Oct 24 2022 at 14:23

Немного смотрели, но на тот момент, vector был более знаком и закрывал потребности. Спасибо за совет, подумаем в эту сторону

mr_zibit Oct 26 2022 at 13:12

плюсую на тему promtail

а еще в трассировке вместо кусков Jaeger и Vector как-то прям просится OpenTelemetry и их OTel Collector

UFO just landed and posted this here

mr_zibit Oct 30 2022 at 20:59

все верно

только Tempo - это про бекенд, а collection и data pipeline трассировки - это про OpenTelemetry

mr_zibit Oct 30 2022 at 23:57

*collector

mr_zibit Oct 26 2022 at 15:18

ну и конечно же рассмотрите https://grafana.com/docs/grafana-cloud/data-configuration/agent/

они сделали из него комбайн, который может нет только логи грести, но еще и трейсы с метриками

luxter Oct 25 2022 at 16:43

Было бы интересно посмотреть на ваш конфиг локи, по части параметров особенно, которые тюнили :)

chemtech Dec 26 2022 at 13:14

@javdet12Спасибо за пост. Можете поделится value.yaml ?

chemtech Feb 25 2023 at 06:36

@javdet12 Спасибо за пост. Можете поделится value.yaml ?