Комментарии 7
Есть очень классный коллектор pmacct, вот бы приспособить ваш проект к нему.
Он умеет многое: базы данных, фильтрацию, аггрегацию, базы данных
Стоит отметить основной недостаток этого проекта, он вытекает из недостатка flow-tools - отсутствие поддержки netflow 9й версии. Что влечет за собой отсутствие поддержки 32 битных номеров AS. Все "длинные" ASN будут отображаться как AS23456.
Не рассматривали вариант использования nfdump? Он "понимает" netflow-v9.
Там проблема не сколько в самом коллекторе, а в утилитах, которые анализируют данные коллектора. Flow-Tools силен своими отчетами, где можно группировать трафик по различным параметрам. Он это делает достаточно быстро, и это позволило, в принципе, без огромных трудозатрат сделать такого рода web приложение. NFDump этого лишен. И если уходить от flow-tools, то скорее всего куда-то в другую сторону.
Возможно, вам попалась очень древняя версия nfdump, но в своё время я ушёл от flow-tools именно по причине его ограниченности в отчётах — там число отчётов, хоть и велико, но всё же фиксировано, в то время как в nfdump вы може формировать свои по произвольной комбинации полей, и очень даже шустро.
К плюсам nfdump (кроме поддержки Netflow v9) можно также отнести мощную фильтрацию и хорошую компрессию (bz2, lz4, lzo1x-1) собранных данных (которая поддерживается прозрачно как коллектором так и анализатором) — что позволило сократить объемы сырых собранных данных в несколько раз (по сравнению с flow-tools).
Для него также есть набор визуального анализа, который делает почти то же что и ваш проект — NFsen, он хоть и старенький но довольно мощный, также есть попытки его улучшить. Впрочем, для анализа (D)DoS всё равно пришлось делать свой — готовые решения далеко не всегда дают всё что нужно.
И наконец, nfdump — это живой проект, в отличие от flow-tools (разработка которого прекращена много лет назад, насколько я знаю), а в свете того что IPv6 шагает по планете, без NetFlow v9 жить будет очень тяжко.
Я с nfdump "игрался" и правда очень давно. Но, насколько я помню, там тяжело было с группированием данных по автономным системам. Может сейчас конечно это уже не так. Собственно тогда же пробовал и nfsen. Nfsen заточен совсем под другую статистику и он не подошел. Но на nfdump может и правда нужно взглянуть еще раз.
Добавил поддержку NFDUMP
NFStats — анализ netflow данных для ISP «на коленке»