wnt_brian3 сен 2014 в 11:56

Система мониторинга активного сетевого оборудования федеральной сети

8 мин

62K

Open source *

Из песочницы

+16

Комментарии 32

pavelodintsov 3 сен 2014 в 12:23

В корне не согласен с «RRDTool в качестве источника для графиков (привет заббиксу)». Особенно когда надо выдернуть чуть ли не ежеминутные метрики полгода назад и отстроить графики за 13 минут.

wnt_brian 3 сен 2014 в 23:25

Это задача отдана на flow потоки. Информативность от графика полугодичной давности сомнительна.
Flow позволяет не только посмотреть загрузку по интерфейсам, но и сделать четкую выборку по трафику, кто, куда и зачем ходил.

vvpoloskin 3 сен 2014 в 14:15

Как и у всех в общем) А выбор открытого софта для мониторинга сетевого оборудования не особо богат)

m0ps 3 сен 2014 в 14:50

Кактус с поллером на C (про поллер на php я даже не говорю) дает приличную нагрузку на диски. На сотне устройств iowait прыгает до 80% (с поллером на php было 100%). Диски — 3 штуки, обыкновенные SATA в RAID5 на каком-то там 3ware.

level3 3 сен 2014 в 17:18

Пуллер на С слабо помогает разрузить диски, а вот boost plugin который статистику сохраняет в mysql ramdisk и обновляет RRD раз в 30-60 минут, вот это да, прелесть просто :) Даже не знаю как бы мы без него обошлись :)

wnt_brian 3 сен 2014 в 23:34

пуллер у меня на С.
А вот с ограничением по дискам не стокнулся. Может из-за виртуальной архитектуры. Ни на HP eva, ни на Hitachi, ни на Авроре.
Количество графиков уточню чуть позже, но что-то около 4000.

k0ldbl00d 4 сен 2014 в 11:20

Zabbix, сваливающий все снимаемые данные в три таблицы (int, float, string), тоже прилично грузит диски при выборке. Возможно, я не умею его готовить.

m0ps 4 сен 2014 в 11:34

Да, грузит. Но вот удобство работы с забиксом и кактусом — несравнимы (ИМХО).

pavelsh 13 сен 2014 в 23:45

А что для Вас удобнее?
Мне вот cacti удобнее чем zabbix

kolu4iy 5 сен 2014 в 02:00

RAID5 имеет серьёзный оверхеад. Кроме того, если 3ware также софтов, как встроенные интелы, то лучше уж собрать Linux raid.

wnt_brian 8 сен 2014 в 22:31

Понял, что не сильно разбираюсь в iops'ах. Но сейчас в системе 3497 графиков, 402 устройства с опросом по snmp, 14 карт, которые тоже рисуются пуллером.

Скрытый текст

[root@netflow-01 ~]# iostat

Linux 2.6.32-220.el6.x86_64 (netflow-01)   09/09/2014      _x86_64_        (2 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          16.98    0.00    7.23    1.52    0.00   74.27

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               0.86        17.10        23.94   91509628  128106672
sdb              67.12      2347.81       851.80 12561416424 4557371537
dm-0              3.41        16.61        23.47   88846058  125586712
dm-1              0.12         0.49         0.47    2639376    2519928

В это же время top:

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
19558 apache    20   0  315m  29m 8480 S 22.0  0.8   0:06.29 php
 6530 mysql     20   0 1370m  78m 4104 S 20.3  2.0  23992:12 mysqld
19563 apache    20   0  212m  15m 2848 S  1.0  0.4   0:00.51 spine

korisk 3 сен 2014 в 15:16

Спасибо за описание решения.
Но есть дополнительный интерес: «Встречалась ли необходимости в использовании стандартов WBEM или о них в практике ни слуху ни духу?»
Если кто не в курсе WBEM развивается как развитие и замена snmp и других протоколов управления и мониторинга.

Tuxman 3 сен 2014 в 19:09

Эх, а когда-то в MRTG рисовали, просто запуская shell скрипт из crontab'а раз в 5 минут. И базу данных MRTG сам вел в текстовых файлах своих.

deFINE 4 сен 2014 в 11:30

А вы пробовали NFsen? Можете его сравнить с FlowViewer?

wnt_brian 4 сен 2014 в 22:32

Выглядит не плохо. Если все так, как написано на их странице, то в качестве автономной системы я бы обязательно попробовал.
Я же пытался изначально работать в связке с другими компонентами и проще в этом отношении показался FlowViewer.

На сколько я понял, NFsen не будет работать с потоками от flow-tools. Надо ставить NFdump.

Так же под NFdump не сделан плагин для cacti, а у меня одна из фишек, это автоматические отчеты. Которые управляются из одной CMS мышкой. Что важно при использовании системой не только её разработчиком.

VGusev2007 4 сен 2014 в 18:12

Добрый день!

Сейчас стоит следующая задача: есть офис, необходимо делать следующие отчёты с источника — сетевая карта на ubuntu:

Период: день/неделя/месяц:
ip компьютера в офисе -> общий объём.
ip компьютера в офисе -> отсортированные ip в порядке возрастания трафика истраченного на них.

Думаю вот nfseen справится или нет? А FlowViewer — запутанно как-то написано, не совсем ясно, то ли что мне нужно или нет.

wnt_brian 4 сен 2014 в 22:51

При таких вводных я бы вообще не ориентировался на flow — это слишком затратно.
Может использовать какую-нибуть билинг систему? Например вот эту

Думаю вот nfseen справится или нет?

NFSen однозначно справится.
Обзор по NFSen есть тут и тут

VGusev2007 5 сен 2014 в 02:43

Я смотрел stargaizer, штука шикарная! Но много возни, пользователя надо завести и т.д. А мне бы ещё и за серверами поглядывать. Ну и как сейчас помню, там надо было ставить агентов под Windows. — В общем больно хлопотно в обслуживании мне показалось это дело.

А в каком плане flow слишком затратен? У меня планируется прослушивать гигабитный интерфейс, где будет бегать не только трафик для Интернета. — Я так понимаю, что фильтровать трафик увы нельзя, и flow будет идти целиковый, а фильтровать я уже смогу только в nfseen.

VGusev2007 5 сен 2014 в 02:45

Там по ссылочкам нету про nfseen, кроме упоминания о нём. :(

wnt_brian 5 сен 2014 в 04:12

Затратен, тем что это будет не проще, чем какой-нибуть билинг. Про клиентов не вкурсе, но если так, то это ужасный минус, но берут сомнения, зачем билингу клиентская часть? оО

В чем конкретный вопрос по NFSen? Работать и выпонять свои функции я думаю будет.

Можно еще как альтернативу глянуть ntop.

VGusev2007 5 сен 2014 в 18:54

Спасибо за ntop. Весьма не плохо выглядит!

но берут сомнения, зачем билингу клиентская часть? оО

Не помню уже точно, там в общем надо вести базу аутотентификации, не хочешь агента — так тогда вводи ip/mac и привязывай ФИО. Может сейчас всё изменилось. Но stargazer мне в своё время не очень понравился для офиса. Да и считает он трафик кажется через модули iptables. — В общем не очень уже помню… Но судя по всему проект умер уже. :(

ekungurov 7 сен 2014 в 06:27

ntop не сохраняет данные на диск. То есть при перезапуске статистика обнуляется. То есть, он показывает текущее состояние сети, а не за месяц/неделю.

VGusev2007 7 сен 2014 в 06:41

Там по ссылочке что-то очень очень красивое и модное. Но надо очень хорошо разобраться с этим. Я поставил, в целом очень толково, но надо разбираться, и того чего мне надо с ходу есть, но показания весьма странные.

ekungurov 7 сен 2014 в 10:31

Хм… Судя по описанию, ntopNG уже умеет хранить данные на диске. Старый ntop не умел, и поэтому подходил лишь для оценки текущего состояния сети.

VGusev2007 7 сен 2014 в 12:37

К сожалению я так и понял, как посмтреть куда ходил мой хост в шесть часов вечера вчерашнего дня… — Я что-то делаю не так? Или всё же ntop много больше ориентирован на просмотр текущих соединений..?

VGusev2007 7 сен 2014 в 12:41

Насколько я понял, мне необходимм модуль: n2disk, а его нужно покупать.

wnt_brian 7 сен 2014 в 23:17

Сам ntop, является GUI. Как уж он там сам анализирует я не знаю.
Но использование предполагалось в связке nProbe + nTop.
Явной ссылке на скачивание nProbe на сейсте нет. Однако через пару редиректов удалось наткнуться на ссылку: www.nmon.net/packages/
В зависимости от версии есть nProbe. Думаю, должны быть и исходники его…

VGusev2007 8 сен 2014 в 03:22

Очень извиняюсь, но я не до конца понимаю, чего же Вы всё таки предлагаете? Я уже запутался в этом деле… Если я правильно улавливаю идею, то nprobe можно настроить таким образом, чтобы он запускался на шлюзе, и сам же выступал коллектором трафика с нужного мне интерфейса, и сам же складывал трафик в файлы. После чего я бы запускал на файлы ntop и анализировал трафик? — Не видел подобных статей чтоб кто-то так делал…

wnt_brian 8 сен 2014 в 03:37

Перечитал еще раз все.
Да, все это ходьба на месте. Не сохранение данных и т.п.
Про nProbe вы правильно поняли, я предполагал, что это даст возможность смотреть пакеты по секундам, т.е. то что сейчас требуется. Но опять же, ntop не сохраняет данные.
В общем, похоже пора вернуться к NFSen или flow-tools.

VGusev2007 8 сен 2014 в 06:36

Благодарю Вас, за то, что Вы действительно разобрались в вопросе, а то многие любят предложить решение, даже не вникая в суть того, чего они предлагают.

В общем ребята из ntop хотят приличных денежков за своё творчество, чтобы это было действительно удобно и красиво. Посмотрел я и понял, что лично для меня всё это весьма и весьма избыточно. Мне по хорошему счёту даже RRD не нужен, мне цифры смотреть и конкретно кто и куда. — Вроде nfseen это умеет? Наверно мне есть смысл использовать именно его? Хотя хочется попробовать всё в одном: cacti.

Xangel 8 сен 2014 в 18:44

Сейчас стоит следующая задача: есть офис, необходимо делать следующие отчёты с источника — сетевая карта на ubuntu:
поясните пожалуйста, что такое «сетевая карта на ubuntu»?
что у вас является маршрутизатором? какое устройство?

возможно вам подойдет squid который будет вести статистику «куда ходил мой хост в шесть часов вечера вчерашнего дня… »?

Вот описание NetFlow Analyzer, так же покрывает вашу задачу про «куда ходил» но правда за денежку

VGusev2007 9 сен 2014 в 05:42

Сетевая карта на ubuntu — это p1p1, которая прописана как: gw, на машинах в офисе.

Сейчас поставил nfseen, смотрю вот. :)

Зарегистрируйтесь на Хабре, чтобы оставить комментарий