Цена tailing'а логов в Kubernetes

[drakmail]

На относительно небольших масштабах (примерно 300 записей в секунду) при поверхностном анализе потребления ресурсов заметил, что fluentbit гораздо более скромный в потреблении CPU

[iwram]

Да, fluentbit потребляет меньше ресурсов, но в прод так его не пустил т.к. вроде агент работает, а фактически данные не собирает и не отправляет — перезапустишь, работает, пройдет немного времени снова тоже самое. с агентом fluentd такого не наблюдал.

[n_bogdanov]

Стоит экспортер настроить на это дело

[QtRoS]

Журналирование – одна из тех вещей, о которых вспоминают только тогда, когда они ломаются

Про логи вспоминают, когда что-то ломается. Когда сломались логи можно и не заметить.

[deus_ex]

Если бы мы могли так легко изменить способ сбора логов, то большинство из существующих проблем не были бы проблемами.

Вопрос от неспециалиста: а нельзя ли лог-файлы превратить в fifo, чтобы избежать операций с диском?

[n_bogdanov]

Можно, в статье один из способов и описан — вывод в сетевой сокет

[vp7]

Это не то, в статье описан вариант экспорта логов напрямую из контейнеров, а тут речь про то, чтобы докер/кубер писал логи не в файл, а в pipe и оттуда уже отдавать куда угодно. Причём докер/кубер будут думать, что пишут в файл, а данные будут уходить в pipe.

Из плюсов:

• сохраняется стандартный механизм логирования, можно даже в файл дублировать
• нагрузка при вычитке записей должна уменьшиться (нет операций на файловой системе)

Из минусов:

• сложнее будет с logrotate, как минимум нужно будет отключить стандартный механизм
• при падении демона-сборщика теряются всё данные

[n_bogdanov]

Как показывает практика — писать в localhost ровно так же дешево, как и писать в pipe или unixsocket. Но это очевидней, чем pipe.