Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Приручение py-rrdtool

Python *
Как говорится в одной древней мудрости: можно вечно наблюдать три вещи: как горит огонь, как течёт вода и как рисует графики rrdtool. Этот пост как раз о последнем.
И так, что же такое rrdtool? rddtool — замечательная утилита, которая позволяет управлять данными, хранимыми в формать rrd (round-robin database). Данный формат примечателен тем, что изначально предназначен для хранения периодичной информации, причём так, что размер самой БД получается фиксированным (довольно небольшим) независимо от количества данных. При этом сохраняется возможность получать отчёты за продолжительные отрезки времени с произвольной точностью. Наибольшее распространение данная система нашла в системах мониторинга, где, как говорится, лучше один раз увидеть картинку, чем 7 раз прочитать логи. В конце статьи Вы сможете получить нечто, похожее на

пример


Читать дальше →
Всего голосов 30: ↑29 и ↓1 +28
Просмотры 12K
Комментарии 12

Мониторинг погоды или Cacti HowTo

Системное администрирование *
Этот пост можно было б начать по разному. Можно по делу: как необходима система мониторинга для поиска ошибок системы и как она помогает обнаружить узкие места. Но, сейчас лето, время отдыха на природе, и начну с того, как я решил узнать, как же часто менятеся прогноз погоды, с помощью популярного средства мониторинга Cacti. Под катом, о любопытный читатель!, тебя ждут рассказы о том как настроить мониторинг произвольных данных в Cacti, да не просто, а с картинками.

итак...
Всего голосов 32: ↑29 и ↓3 +26
Просмотры 13K
Комментарии 36

Графики в Nagios — зачем и чем

Чулан

Введение.


Выбрав Nagios в качестве системы мониторинга, получаем систему слежения за качественными характеристиками окружения и историю изменения состояний. И, если посмотреть текст сообщения пробника на данный момент и во время прошлых изменений состояния еще возможно, то данные по периодам между изменениями отсутствуют как класс. При любой более-менее активной работе с мониторингом, возникает желание просмотра истории изменений количественных характеристик тоже, что стандартный Nagios обеспечить не может. Можно, конечно, продублировать все необходимые пробники в тот же Cacti, но это как минимум дополнительные накладные расходы как на конфигурирование так и на машину с поллером. К счастью, Nagios умеет переложить это на плечи пользователя, обеспечивая механизм так называемых «данных производительности» (performance data). В данной статье рассматривается одно из решений по сбору и визуализации полученных данных – Pnp4Nagios.
Читать дальше →
Всего голосов 6: ↑4 и ↓2 +2
Просмотры 5.6K
Комментарии 5

Сумма измерений показателя в rrdtool

Чулан
Об чем

RRD и RRDTool прочно вошли в нашу жизнь как средство хранения статистических данных данных и отрисовки графиков по ним. Если с графиками в принципе все понятно, то из поля легенды можно извлечь еще немного пользы. В частности, можно выводить сумму всех значений источника данных (datasource), например входящий траффик за промежуток времени, что можно использовать в дальнейшем для приблизительных прикидок. Мой пример для pnp4nagios, но верно для всех остальных систем на основе rrdtool.

Читать дальше →
Всего голосов 5: ↑3 и ↓2 +1
Просмотры 1.1K
Комментарии 1

Срезаем пики с RRD графиков на примере Munin

Системное администрирование *
Любой linux администратор наверняка наблюдал аномальные пики на RRD графиках. Пики появляются вследствие нарушения процесса сбора отслеживаемой величины и портят картину на графике. Это нормальное явление для RRD.

На графике трафика пики могут появится после перезапуска сетевого интерфейса или после перезагрузки сервера, что по сути одно и тоже. В обоих случаях процесс подсчета будет прерван из-за остановки устройства.

image

Читать дальше →
Всего голосов 41: ↑36 и ↓5 +31
Просмотры 4.8K
Комментарии 14

История взаимодействия «чайника» и DS18B20 посредством Raspberry Pi с отправкой данных на narodmon.ru

DIY или Сделай сам
Доброе время суток, уважаемое хабрасообщество!
Неделю назад я наконец-то дождался свою Малинку. Этот пост о том, как можно набить шишки в такой простой задаче как работа с датчиками температуры.
Кому интересно — добро пожаловать под кат.
Читать дальше →
Всего голосов 47: ↑36 и ↓11 +25
Просмотры 96K
Комментарии 34

Счётчик оборотов мышиного колеса

DIY или Сделай сам
Сразу скажу, что пост про счетчик скорости вращения колеса белкой я уже читал. Аналогичная задача передо мной встала достаточно давно — было любопытно, сколько же мой мышонок (обычный, живой, не компьютерный!) пробегает и с какой скоростью.

image

Только я решил не изобретать велосипед и взял старый ненужный спидометр от велосипеда, который идеально выполняет эти функции.

За месяц мышонок пробегал около 100км, но мне хотелось знать подробно — сколько именно он пробежал в каждый из дней, в какое время суток он активнее, как его активность меняется в течении жизни? Скорость же меня уже слабо волновала — это почти всегда 1-1.5км/ч. Типичная бессмысленная, но интересная задача, как я люблю.
Читать дальше →
Всего голосов 84: ↑81 и ↓3 +78
Просмотры 34K
Комментарии 67

Мониторинг ресурсов сервера под управлением *nix с помошью RRDtool

Системное администрирование **nix *
Из песочницы
Tutorial


Доброго времени суток уважаемый %user%! Сегодня я расскажу, как поднять мониторинг железа и системы в реальном времени с использованием набора утилит — RRDtool. Нашей целью является сбор и графической отображение в реальном времени данных о работе системы: загрузка CPU, состояние памяти, загрузка сетевых интерфейсов, а так же температура процессора за различные периоды времени.

Немного теории. RRDtool – набор утилит для работы с кольцевыми базами данных. Такие базы специально созданы для хранения изменяющихся во времени последовательностей данных (сетевой трафик, загрузка CPU) – как раз то, что нам нужно. В дополнение будем использовать демон collectd – это небольшой демон, который занимается сбором статистики ресурсов системы за периоды времени – т.е. и создает необходимые кольцевые базы данных на основе которых при помощи RRDtool мы можем строить графики. Перед установкой допустим что у вас уже установлен и настроен веб сервер, он понадобится для просмотра графиков в браузере. Приступим к установке и настройке.

Читать дальше →
Всего голосов 27: ↑19 и ↓8 +11
Просмотры 8.2K
Комментарии 27

Построение графиков работы DHCP сервера

IT-инфраструктура **nix *Серверное администрирование *
Из песочницы
На работе очень часто стоит вопрос — у нас DHCP сервер хорошо работает? Я работаю в internet провайдере, DHCP обеспечивает работу клиентской сети. Исторически сложилась следующая схема работы: DHCP серверов два, конфигурация генерируется на биллинговом сервере и с помощью rsync разливается на сервера. Используем Centos в качестве рабочей системы и ISC DHCP в качестве сервера. Никакого failover не настроено и не настраивалось — нет необходимости. Вполне достаточно, что сервера работают по идентичному конфигу. Используется привязка абонента к мак адресу, в случае смены оборудования у абонента есть возможность зайти в личный кабинет и указать новый мак. Генерация конфига выполняется раз в 5 минут, если у нового конфига изменилась md5 сумма — то сервис перестартовывает. Схема работает несколько лет, проблем нет.

Периодически возникали проблемы, что конфиг генерился синтаксически неправильным — и после рестарта сервис падал. Добавили в скрипт рестарта проверку синтаксиса (dhcpd -t), падения прекратились. Ну и со стороны билинга обвешано проверками — на наличие адреса, мака, и т.п.

Пару раз столкнулись с ситуацией, когда из сети приходят запросы, а ответы в сеть не доходят. Оказался виноват агрегатор, полечили. Все это время не хватало простого графического анализа — как работает DHCP сервер. Как показал опыт разборок с проблемами — банальным просмотром логов и оценкой, сколько каких сообщений принимает и отсылает сервер — можно уже примерно оценить наличие проблемы в сети. Ну и в принципе график можно показать ночному оператору с инструкцией — если здесь резкое изменение показателей — звони админам.
Читать дальше →
Всего голосов 15: ↑14 и ↓1 +13
Просмотры 19K
Комментарии 32

collectd + front-end

Блог компании ua-hosting.company
Tutorial


Как показывает практика — бoльшая часть клиентов никак не мониторит используемые ресурсы, арендуемых ими услуг (особенно это заметно на дешевых услугах VPS от 3$).То есть, после установки системы и настройки необходимого для проекта софта, дальнейшая судьба сервера отдается на откуп случаю. И, когда появляются проблемы с работоспособностью сервера, информации для анализа не слишком много.

Кроме установленного и настроенного логирования в atop (который так же встречается не часто), логов системы, хотелось бы иметь больше информации с которой можно работать.

В данной статье будет описана процедура установки и настройки collectd и collectd-web на примере ОС семейства Debian.
Читать дальше
Всего голосов 20: ↑18 и ↓2 +16
Просмотры 9.8K
Комментарии 14

Badoo time-series storage: итак, она звалась Кассандрой

Блог компании Badoo Высокая производительность *Программирование *NoSQL *

enter image description here


Привет, Хабр! Меня зовут Евгений Гугучкин, я – разработчик Badoo в команде «Платформа».


Наша команда работает над интересными и нужными задачами. Одна из них – разработка распределённого хранилища временных рядов, в решении которой я принимал непосредственное участие.


Недавно мы завершили большой и сложный этап, и нам захотелось поделится с вами нашими успехами, рассказать, почему мы занимались этой задачей и каких достигли результатов.

Читать дальше →
Всего голосов 66: ↑64 и ↓2 +62
Просмотры 13K
Комментарии 32

Обзор систем мониторинга серверов. Заменяем munin на…

Настройка Linux *Серверное администрирование *DevOps *
Tutorial
Очень долго хотел написать статью, но не хватало времени. Нигде (в том числе на Хабре) не нашёл такой простой альтернативы munin, как описанная в этой статье.


Читать дальше →
Всего голосов 79: ↑76 и ↓3 +73
Просмотры 157K
Комментарии 111

KDB

Data Mining *NoSQL *Администрирование баз данных *Big Data *Хранение данных *

кдвп


Привет, Хабр !


В статье я опишу идею хранения в достаточно известной колоночной базе данных KDB, а так же примеры того, как к этим данным обращаться. База существует еще с 2001 года, и на данный момент занимает высокие места на сайтах со сравнением подобных систем (см., например, тут)

Читать дальше →
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 8.6K
Комментарии 11