Советы и рекомендации по преобразованию неструктурированных данных из логов в ELK Stack используя GROK в LogStash

[hitry]

%{NUMBER:response_status} %{NUMBER:response_time}ms %{USERNAME:user_id}"}
и можно будет графики про время ответа строить

[realscorp]

Вот мне интереснее, что делать с логами, в которых формат записей то и дело чередуется. То это что-то легко разбираемое, то несколько строк просто текста и пара строк совсем другого формата.
Например, в ySoft SafeQ такие логи, в Oktell. Да много где ещё, наверное.

[vs_starosta]

Это плохие логи. Каждую посылку придётся вычищать от символов возврата картеки и новой строки, конкатенировать в одно сообщение. Потом заново бить на сообщения по шаблону (времени скорее всего) и обрабатывать тем или иным фильтром. Вообще таким приложениям, которые пишут в логи как попало, уготовлено отдельное место в аду. Многострочные эксепшены необходимо хотя бы в логи не отправлять или отправлять в «другие» логи, а не те, которые отправляются в эластик.

Впрочем, я перегибаю. В топку скорее эластик, а не логи приложений, если они хорошо читаемы и информативны. Эластик задумывался для другого, а не для логов.

[realscorp]

Согласен, что логи плохие. К сожалению, не всегда на это повлиять можно.

[Lelik13a]

Можно написать несколько шаблонов GROK и подставлять их по очереди. Подходящий и обработает нужное.
Либо построить более разветвлённую логику и по анализу входящих данных подставлять нужные варианты.

[s_korobeiko]

В статье написано про grok фильтр, но нет упоминания про template, который пригодится для правильного определения типа полей и другой информации при создании индекса в Elasticsearch. Если парсить текстовые файлы, то достаточно встроенного функционала Elasticsearch Ingest Pipeline + Filebeat.

[vs_starosta]

Логсташ и Эластик довольно умные и редко ошибаются в типах. Если только не всякий мусор прилетает. В основном географические координаты приходится темплейтом переопределять, чтоб нормальные типы geo_* записывались.

Что до статьи, то это очередной перевод «ввод в профессию». Лучше бы нюансы написания конфигов логсташа описали. Приоритеты применения фильтров. Примеры разбора xml сообщений. Вычленения дополнительных полей и тегов.

Есть чудесный (во всех смыслах и багах тоже) фильтр translate. Лучше бы про него статью, а не про заезженный grok