Пробовали использовать opendistro, но не всех фич в нем хватало (с ходу могу вспомнить отсутствие автокомплита в кибане, были некоторые сложности с ISM).

slava_k 19 окт 2022 в 16:04

Спасибо за статью, часть тех же проблем пришлось пройти недавно. Vector в целом хорош, но всё равно сырой в плане долгосрочной стабильности.

javdet12 20 окт 2022 в 12:14

Да возможно, но за последние пол года как минимум, в нашей схеме работает хорошо. В планах есть написать оператор для него на подобии https://banzaicloud.com/docs/one-eye/logging-operator/.

meforyou 21 окт 2022 в 12:19

Добрый день! Полнотекстовый поиск вы не используете? все чаще замечаю, что те кто отказывается от ElasticSearch его не используют.

Не могли бы рассказать как тюнинговали Elastic stack?

javdet12 21 окт 2022 в 15:31

Приветствую, используем. Здесь нужно понимать, что в отличии от эластика, где индексируется весь документ, тут происходит поиск по всему тексту сообщений и это медленнее (если данные не в кэше). Поэтому при таком поиске стараемся максимально помочь локи выполнить запрос быстрее: четче ставим временные ограничения, добавляем индексированные поля в запрос, где это возможно.

Тема тюнинга Elastic stack потянет на отдельную статью) Если есть, какие то более конкретные вопросы могу что-то подсказать.

past 22 окт 2022 в 11:23

Есть ощущение, что если вам нужен count_over_time по логам, то пора отобразить эту величину в метриках. Мы же с вами помним, что метрики это сжатые логи?

javdet12 24 окт 2022 в 14:11

Да верно, в каких то кейсах это может помочь. Маркетинг и аналитики смотрят такие данные по очень разным полям: методам, юзер агентам, реферерам и т.д. Поэтому все закрыть метриками к сожалению не выйдет. Также работает над вариантом добавления части полей в индекс.

chemtech 25 фев 2023 в 06:35

@javdet12Спасибо за пост. Добавляли ли вы поля: status_code, method в индекс?

НЛО прилетело и опубликовало эту надпись здесь

javdet12 24 окт 2022 в 14:23

Немного смотрели, но на тот момент, vector был более знаком и закрывал потребности. Спасибо за совет, подумаем в эту сторону

mr_zibit 26 окт 2022 в 13:12

плюсую на тему promtail

а еще в трассировке вместо кусков Jaeger и Vector как-то прям просится OpenTelemetry и их OTel Collector

НЛО прилетело и опубликовало эту надпись здесь

mr_zibit 30 окт 2022 в 20:59

все верно

только Tempo - это про бекенд, а collection и data pipeline трассировки - это про OpenTelemetry

mr_zibit 30 окт 2022 в 23:57

*collector

mr_zibit 26 окт 2022 в 15:18

ну и конечно же рассмотрите https://grafana.com/docs/grafana-cloud/data-configuration/agent/

они сделали из него комбайн, который может нет только логи грести, но еще и трейсы с метриками

luxter 25 окт 2022 в 16:43

Было бы интересно посмотреть на ваш конфиг локи, по части параметров особенно, которые тюнили :)

chemtech 26 дек 2022 в 13:14

@javdet12Спасибо за пост. Можете поделится value.yaml ?

chemtech 25 фев 2023 в 06:36

@javdet12 Спасибо за пост. Можете поделится value.yaml ?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий