Logstash + ClickHouse + Grafana: Как сделать Logger для логов ИБ умнее и эффективнее?

[meforyou]

csv {
	separator => ";"
	columns => ["datetime", "User", "src_ip",... 

…
Ребят, ну есть же множества других форматов (JSON, KEY=VALUE, разбор сырой строки на крайний случай), чему вы учите читателей? Разве SIEM Qradar не умеет в JSON или key=value?
CSV filter имеет множество недостатков, навскидку:

1. Придет вам строка, где значения поменялись местами и будет у вас полная каша
2. Трудности поддержки при добавлении\изменении полей

Также UDP протокол имеет ограничение в ~65507 байт. Раз у вас SIEM, то осветили бы гарантированную доставку сообщений, было бы куда интересней :-)

[aIkitan]

Статья не про написание парсеров на Logstash и выбор наиболее оптимальных плагинов для обработки данных. Каждый плагин имеет место быть, в том числе CSV и говорить о не применимости того или иного плагина на мой взгляд некорректно, тем более не зная исходного формата лога на входе.
Говоря про конкретно тот кусок кода, который Вы упомянули, это лишь малая часть итогового конфига (тем более пример взят с внутреннего тестового стенда, и уверен использование CSV плагина никаких проблем не привносит). Думаю почему я не могу показать весь конфигурационный файл в корпоративном блоге от и до объяснять не надо.
В Qradar мы в формате JSON и отправляем. Когда Вы упоминаете про JSON и kv создается впечатление что вы путаете понятия filter и output.
Вопрос по UDP считаю некорректным, так как протоколов для входных данных множество и опять же их разбор выходит за рамки данной статьи.

[oCeHb]

Ровно такой Qradar, JSON может слать только 10% от того что может слать payload. Формат payload такой, что хочется прибить Qradarовцев. Но главное не это, а то что замена logstash - vector, крашится на хоть сколько-нибудь большом потоке данных (100 Мегабайт в минуту)