Визуализация NFS-трафика с помощью elasticsearch+kibana

[DuD]

Вот смотрю я на эти графики от packet beat, красиво все информативно, но какова цена? Какой overhead от этого "сниффера" и подходит ли он для серьезных нагрузок?

[tmk826]

packetbeat съедает порядка 10% CPU. Какое количество пакетов остаётся пропущенными, сказать пока не могу. Но так-как в основе лежит libpcap, то потери будут одинаковые с аналогичными инструментами, как tcpdump или wireshark. В отличии от wireshark, не создаётся временный файл и, соответственно, packetbeat не зависит от свободного места на диске. Мы смотрим NFS-трафик всего лишь неделю. Проблем пока не замечено, но всё возможно ещё впереди.

[antage]

А какая-то аггрегация, фильтрация и предобработка пакетов есть? Или весь трафик прямиком идет в ES?

[tmk826]

JSON-записи прямо отправляются в ES. Агрегация и фильтрация происходят после в кибане.

[blind_oracle]

Там таки не весь траффик идет, насколько я понимаю, а аггрегированный в события, специфичные для протокола. Эдакий аналог netflow, но более высокоуровневый.

[tmk826]

Да, первая фильтрация происходит на уровне libpcap. Выбираются пакеты, которые как порт отравителя или порт получателя имеют указанный в конфигурационном файле порт. Следующий уровень фильтрации происходит на уровне протокола — обрабатываются пакеты соответствующие спецификации протокола. В ES отправляются только json-варианты пакетов, Но агрегация, типа сума переданных байтов, происходит на стороне ES.

[ruslanv]

Спасибо за пост. Возможно ли поделиться дешбордом?

[tmk826]

И nfs модуль, и дешборд я отправил разработчикам packetbeat. Так что всё доступно в их гитхаб репозитории.

Можно поставить бинарник и дешборд из Packetbeat 5.0.0-alpha5.