Собираем NetFlow дёшево и сердито

[oldbay]

«Я тебя слепила из того что было.»

[rt3879439]

Потыкайте палочкой ntopng.

[Sleuthhound]

Ntopng Community версия урезана по функционалу, в свое время испытывал ее.

[sohmstyle]

А пробовали SiLK от CERT?
У меня не было большого опыта сравнения производительности с другими коллекторами, но если делать запросы к записям с суммарным объёмом под 100 GB, то rwfilter думает иногда долго. Но этот анализатор больше под консоль заточен, поэтому не всем подойдёт.

[rzerda]

Нет, не пробовал. Запросы и в моей схеме работают не очень быстро, особенно если спросить что-нибудь нетривиальное (да и процессора на ClickHouse я несколько пожалел). Но меня подкупили интерфейсы (бинарный формат для потоков и SQL для запросов), а также возможность менять хранилище или даже использовать несколько одновременно. В ЛС мне подсказали про pmacct, который тоже умеет писать в Kafka и AMQP, но и его я не смотрел ещё.

В этой истории меня сейчас больше беспокоит представление информации. Например, в Prometheus/Grafana вызывающе легко набросать ad-hoc график и посмотреть нужное без опоры на заранее созданные дашборды. Писать SQL даже по одной простой таблице посложнее, особенно если делаешь это нечасто.

[rzerda]

del

[Vetal130]

Ссылка на github с кодом будет?
Спасибо

[rzerda]

Нет; код страшный, под комтайной, а единственная реакция на ошибки — «падай, systemd переподнимет».

Автор GoFlow разместил пример использования, его при необходимости вполне можно творчески переосмыслить: github.com/cloudflare/flow-pipeline.

[Begetan]

Попал сюда в надежде увидеть рабочий код Netflow — ClickHouse, но увы, нет. Жаль.