Помнится над тюнингом logstash я просидел целый день. В итоге он разгонялся в пике до 23-25 тысяч записей в секунду (на каждый запущенный экземпляр), но под него был выделен целый сервер.
Поскольку хостинг и техподдержку мы осуществляем сами — ES нам не стоит ничего. В день система прокачивает около 3Тб логов. Под такие объёмы нужна лицензия Splunk Enerprise. Посчитайте — сколько это будет стоить за индексирование 3Тб/сутки.
Да, но есть ещё недобрая часть на других языках + логи nodejs + логи nginx + логи почты + много разной экзотики. Нужен был универсальный инструмент. К тому же, логи сливаются не только в эластик, в виде файлов они тоже нужны для долговременного хранения.
Уточню про flume: под нагрузкой зависала связка kafka -> flume. Симптомы: все ядра под 100%, память утекает неизвестно куда, в логах пусто. Как в данных условиях лечить — непонятно, поэтому пришлось ампутировать.
Абсолютно никакого. Все сервера у нас в UTC, но компания большая, людей много, серверов ещё больше, и если откуда-то вдруг прилетит MSK — надо быть к этому готовым заранее. Индексы старше 21 дня удаляются, поэтому лучше чтобы они сразу создавались за правильную дату.
Этот параметр влияет только на то, когда создаётся индекс. Позволяет избежать создания индексов, когда, например на сервере эластика ещё сегодня, а логи шлют уже из завтра. Эластик сам вычисляет таймстамп записи из даты и времени пришедших в логах. Поэтому, кстати, очень важно, чтобы в логах были указаны таймзоны. Потому что если их нет — Эластик будет считать по UTC и логи поплывут.
[SplitterName]
type = "RegexSplitter"
delimiter = ‘here_is_delimeter’
delimiter_eol = true/false
И в боевых конфигах мы используем имена реальных сервисов в заголовках всех блоков, для удобочитаемости. Но для статьи пришлось их поменять на нейтральные названия.
И в боевых конфигах мы используем имена реальных сервисов в заголовках всех блоков, для удобочитаемости. Но для статьи пришлось их поменять на нейтральные названия.
Самый близкий к нему аналог из реально существующих — модафинил. Но он в России запрещён (первый список).
Вот тут я в корне не согласен.