Комментарии 10
Добавлю и свой вопрос - а кто как логирует взаимодействия сервисов с внешними системами либо между собой. В общий поток событий или как-то отдельно? У нас сейчас это выполняется отдельной библиотекой, что не очень удобно - приходится поддерживать, по сути, 2 логгера. Но в общий поток такие вещи не уверен, что правильно писать - их оттуда сложно вычленить, плюс их объем может быть довольно приличным.
У нас в данный момент такие штуки логируются в основном потоке, но на уровне логирования DEBUG.
А храните где, если не секрет? У нас сейчас эластик, но уже не устраивает по производительности. Сейчас ищем другие решения и Loki хороший кандидат, но есть нюансы.
В локи и храним) Пока в режиме хранения в локальной ФС. Тут зависит еще все от того, как долго нужно логи хранить, у нас на стенде разработки время жизни логов - неделя, скорее всего в промышленной эксплуатации это время будет больше. Локи предоставляет много альтернатив для непосредственно хранения, при желании их можно куда-то в облако складывать.
На данный момент графана покрывает наши потребности, но в дальнейшем в планах разработать свою систему лейблов, чтобы эффективнее индексировать логи, а также добавить трейсинг (скорее всего заюзаем jaeger)
Вопрос как быть с портом 3100, который без какой-либо авторизации у вас торчит наружу. И куда, как я понимаю, можно логов как минимум напихать, хотя подробно API Loki я не изучал, может и еще каких-то гадостей наделать.
Сори за поздний ответ, давно не заходил сюда. Это демка, поэтому тут опущена аутентификация, а так можно её включить в Loki, и передавать логопас в урле при подключении. https://grafana.com/docs/loki/latest/send-data/docker-driver/configuration/
Не страшно, я все равно от этого решения ушел. С помощью promtail собираю логи из контейнеров. У данного решения ряд преимуществ:
1. Не надо открывать порт 3100. И соответственно возиться с авторизацией (об этом кстати хорошо бы вам в статье упомянуть хотя бы, уверен, что больше 50% тех, кто по вашей статье это развернул, про авторизацию даже не подумали).
2. Нет проблемы с дедлоками (https://grafana.com/docs/loki/latest/send-data/docker-driver/#known-issue-deadlocked-docker-daemon).
Сам сейчас с этим разбираюсь и хотел у вас уточнить.
1) По настройкам видно что loki будет сохранять свои данные в папках /loki/chunks и /loki/rules
Я не вижу чтобы для этого были подготовлены volume в docker-compose.
Что-то типа:volumes:
- ./volumes/loki:/loki
Разве не получится что при перезапуске loki данные из этих папок будут потеряны?
Возможно это нормально? Но ведь хранилища могут быть разные. Например S3. Там же такого поведения не будет.
2) Настройка лимитов через table manager. В официальной документации говорят что Table Manager (deprecated)
https://grafana.com/docs/loki/latest/configure/storage/
Настраиваем логирование с помощью Loki и Grafana