Pull to refresh
  • by relevance
  • by date
  • by rating

Munin — мониторинг сети это просто!

Configuring Linux *

В жизни каждого системного администратора рано или поздно наступает момент, когда глаз и рук уже не хватает уследить за всеми серверами, то там, то там возникают какие-то проблемы, а для решения их очень хочется узнать что же было «до этого». И именно здесь на выручку приходят они — вел
икие и ужасные системы мониторинга. Долгое время я пользовался Nagios, и до сих пор, при всём удобстве, иначе как монстрообразным назвать не могу. В итоге реально использовались лишь 10% возможностей этой прекрасной системы. Всё изменилось, когда я наткнулся на Munin — прекрасное решение для мониторинга небольших сетей.
Обзор системы
Total votes 37: ↑33 and ↓4 +29
Views 105K
Comments 42

Настройка уведомлений в Munin

Lumber room
В статье Munin — мониторинг сети это просто! говорилось о том, что мониторинг нужен и что автор использует Munin, а так же описывалось как написать свой плагин. В этой статье мы рассмотрим как настроить Munin для отсылки уведомлений о проблемах на почтовый ящик.
Читать дальше →
Total votes 3: ↑3 and ↓0 +3
Views 1.2K
Comments 4

Прогрессивные технологии, как способ выжать из сервера максимум

Server optimization *

Вступление


Просто красивый rrdtool =)
Забавно, но когда программист разрабатывает какой-либо продукт, он редко задумывается над вопросом могут ли на одну кнопку в один момент времени нажать одновременно 2000 человек. А зря. Оказывается могут. Как ни странно но большинство движков, написанных такими программистами, очень плохо ведут себя под большими нагрузками. Кто бы подумал, а всего один лишний INSERT, не проставленный index, или кривая рекурсивная функция могут поднять load averages чуть ли не на порядок.

В этой статье я опишу как мы, разработчики проекта, сумели выжать из одного сервера с Pentium 4 HT / 512Mb RAM, максимум, держа одновременно 700+ пользователей на форуме и 120,000 на трекере. Да, проект этот — торрент трекер. Предлагаю сразу оставить в стороне разговоры о копирайтах и правах, мне это не интересно, что действительно интересно — это HighLoad.
читать дальше
Total votes 318: ↑314 and ↓4 +310
Views 11K
Comments 184

Munin — рисуем красивые графики

System administration *
В данной статье рассматривается такой инструмент мониторинга, как Munin. Странно, но поиск уверяет меня, что статьи о нем на Хабре еще не было. Этот инструмент существует под *NIX (Linux, xBSD, Solaris) и Windows и позволяет централизовано отслеживать и наглядно отображать состояние подшефных систем. Изначально используется для отрисовки графиков, но также его можно использовать как чистое средство для наблюдения. Большой плюс Munin — гибкость (все графики рисуются плагинами, активными на целевых системах, и никто не запрещает использовать только те плагины, которые нужны) и возможность с одного сервера собирать информацию о множестве других. Соответственно, нагрузка на наблюдаемом сервере минимальна. Интересно? Добро пожаловать под кат

Читать дальше →
Total votes 24: ↑15 and ↓9 +6
Views 17K
Comments 25

Срезаем пики с RRD графиков на примере Munin

System administration *
Любой linux администратор наверняка наблюдал аномальные пики на RRD графиках. Пики появляются вследствие нарушения процесса сбора отслеживаемой величины и портят картину на графике. Это нормальное явление для RRD.

На графике трафика пики могут появится после перезапуска сетевого интерфейса или после перезагрузки сервера, что по сути одно и тоже. В обоих случаях процесс подсчета будет прерван из-за остановки устройства.

image

Читать дальше →
Total votes 41: ↑36 and ↓5 +31
Views 4.8K
Comments 14

Хостинг провайдер Server4You

Hosting
imageНа хабре не раз поднимался вопрос поиска подходящего VPS хостинга. Среди прочих провайдеров был упомянут server4you.com. Нам он показался одним из лучших в соотношении цена-качество и было решено перенести наш проект на этот хостинг. Далее описаны результаты переноса.

Читать дальше →
Total votes 34: ↑19 and ↓15 +4
Views 3.4K
Comments 27

Собираем пакет для Solaris из сорцов

*nix *
Sandbox
Tutorial

Предисловие


Итак, у вас есть исходный код очень нужной вам программы и некоторые количество серверов под Solaris, на которые необходимо его развернуть. Более того, для успешной компиляции нужна куча модулей Perl.

Не так давно я столкнулся с такой задачей, и, после продолжительных попыток, не могу не поделиться найденным решением.

Задача: Собрать исходный код клиента munin-node под SPARC Solaris и распространить по нескольким серверам.

Весь процесс будет описан на примере операционной системы Solaris 10 SPARC (update, мне кажется особой роли не играет, у меня был и U6, и U9) и свободного распространяего приложения munin (http://munin-monitoring.org/).
Читать дальше →
Total votes 33: ↑31 and ↓2 +29
Views 3.2K
Comments 5

Munin: Мониторинг Rackspace Storage

System administration *
imageДобрый день!

Мы храним картинки в CDN от Rackspace. Поставлена задача: выводить графики использования CDN, а именно количество объектов и занимаемое пространство.

Как по мне, лучший инструмент для выведения такого рода грфиков — Munin. Очень легко написать для него плагин на практически любом языке, да и данные можно выводить как угодно.

Я написал 2 плагина к Munin, которые по Rackspace API могут вам указать сколько у вас в сторадже файлов ну и их общий размер.
Читать дальше →
Total votes 15: ↑13 and ↓2 +11
Views 1.6K
Comments 7

Мониторинг распределенной и облачной инфраструктуры

1С-Битрикс corporate blog
В прошлой статье я обзорно прошелся по различным типам мониторинга простых веб-проектов и веб-сайтов, когда от сайта не требуется уровня надежности 99,99%, когда время реакции может составлять часы или дни. В общем, когда все просто. В этой статье я раскрою механизмы мониторинга облачной инфраструктуры, когда простого сигнала доступен/не доступен совсем не достаточно, чтобы понять, в чем проблемы, и как их оперативно решить. Или же когда решение проблемы может требовать большого количества действий, автоматизировать которые можно только частично.

Обычно уровень надежности инфраструктуры проекта позволяет оставить время реакции на возникшие проблемы таким же — часы или даже дни. Но при этом есть ряд мест, решения по которым должны приниматься в (полу)автоматическом режиме, чтобы исключить человеческий фактор и свести время простоя системы к минимуму. О триггерах таких решений речь пойдет ниже. Хочу сразу отметить, что почти все описанные технологии мониторинга используются в новом облачном сервисе социального интранета — Битрикс24.
Читать дальше →
Total votes 50: ↑48 and ↓2 +46
Views 14K
Comments 9

Стероиды для Munin

«LifeStreet Media» corporate blog
Sandbox
Munin очень неплохая штука для мониторинга серверов, особенно одного-двух. Однако если количество серверов растёт работает он всё хуже и хуже. Под катом рассказ как я разгонял его до мониторинга больше чем 1000 виртуалок (275K rrd файлов в системе).
Читать дальше →
Total votes 32: ↑31 and ↓1 +30
Views 8.1K
Comments 27

Мониторим количество документов в индексах Sphinx'а

Sphinx *
Всем привет.
Если в своих проектах вы используете чудесный поисковый движок Sphinxsearch, а различные параметры системы мониторите при помощи Munin этот пост для вас. Хочу анонсировать свой посильный вклад в opensource — плагин к Munin'у, рисующий графики с количеством документов в индексе. Скачать плагин можно по этой ссылке.
Читать дальше →
Total votes 11: ↑11 and ↓0 +11
Views 2.9K
Comments 2

Детализированный мониторинг запросов к Apache при помощи Python и Munin

System administration *Apache *
Одним из заданий во время моей недавней стажировки в ТомТоме было улучшение средств мониторинга веб-серверов компании. Конкретнее, необходимо было написать несколько плагинов к Munin, которые выводили бы подробную статистику запросов к нашим API из логов доступа Apache. Задача эта изначально может показаться примитивной — всего-то и нужно, что распарсить файл лога и вывести результаты в понимаемом Munin формате. Однако, для создания действительно надежной и удобной утилиты с гибкими возможностями настройки мне пришлось немало повозиться. Чтобы эта работа не пропала зря, я разместил код на Гитхабе под названием elfstats. В этой статье я расскажу о том, какие задачи способна решать данная утилита, чтобы заинтересовавшиеся сетевые инженеры смогли применить её в своих окружениях.

Вкратце, перед началом работы с elfstats необходимо описать обрабатываемые веб-сервером запросы при помощи регулярных выражений. После этого программа будет регулярно парсить логи доступа и генерировать файл отчета, содержащий количество запросов и распределение времени отклика для каждого из описанных шаблонов. Далее, этот отчет будет обрабатываться при помощи Munin и выводиться в виде соответствующих графиков. Таким образом, установив и настроив elfstats, вы сможете легко отслеживать изменения в работе ваших приложений и поведении пользователей на уровне веб-сервера.
Читать дальше →
Total votes 6: ↑4 and ↓2 +2
Views 7.9K
Comments 0

Простой мониторинг нагрузки на сервер в реальном времени с веб-интерфейсом

Ruby *
Сегодня существует довольно много профессиональных инструментов для мониторинга состояния серверов с обилием настроек, плагинов, поддержкой сразу множества машин и т.д., это известные Nagios, Zabbix, Munin, Cacti и многие другие.


Но в этом посте речь пойдет об очень маленьком и простом, но от этого не менее полезном инструменте: инструменте для мониторинга Scout Realtime. Этот написанный на Ruby open source проект позиционируется разработчиками как современная замена консольной утилите top с выводом статистики использования диска, памяти, сети, CPU и запущенных процессов. Все это отображается в реальном времени с плавными графиками. Во время диагностики работы сервера, иногда полезно пару минут понаблюдать за показателями, и проследить их изменение во времени (в отличие от гирлянды мерцающих чисел в терминале, отображающих данные исключительно на текущий момент).
Читать дальше →
Total votes 42: ↑38 and ↓4 +34
Views 77K
Comments 34

Преимущества выделенных серверов над облачными решениями на примере серверной архитектуры Tuffle.com

Tuffle corporate blog High performance *
Первую версию Tuffle мы запустили на облачном сервере от Selectel и какое-то время хостились там. Нам казалось, что «облачный сервер» расшифровывается как «плати фактическое потребление ресурсов и забудь о проблемах масштабирования и нехватки производительности». Но проблемы так и давали о себе знать…
Читать дальше →
Total votes 42: ↑30 and ↓12 +18
Views 8.9K
Comments 41

Самый маленький Хабра-кармограф — для munin

Habr
Несколько раз уже на Хабре писали карматрекеры — отображающие изменение кармы на графике. Самый известный и живой до сих пор — Хаброметр. Однако для моих целей он не вполне подходил — слишком редкий опрос, раз в сутки (впрочем, в соответствии со старыми правилами использования API хабра — массовый опрос с бОльшей частотой затруднителен).

Так что я написал свой крошечный munin-плагин для хабра. Если вам он не нужен, то ничего интересного вы под катом не увидите: несколько строчек PHP, парсинг XML стандартными средствами — на все про все 10 минут. Частота опроса — стандартная, раз в 5 минут.
Читать дальше →
Total votes 21: ↑16 and ↓5 +11
Views 5K
Comments 7

Не стоит бояться использовать HandlerSocket

High performance *PHP *MySQL *
Sandbox

(пример работы протокола HandlerSocket на картинке)

Вступление


В предыдущем проекте возникла потребность в разгрузке базы данных, тогда жизнь и столкнула меня с HandlerSocket`ом.

HandlerSocket — это протокол, реализованный в одноимённом плагине для РСУБД MySQL, позволяющий использовать NoSQL методику для доступа к данным, хранящимся в InnoDB таблицах. Основная причина, по которой используют NoSQL решения — это очень быстрый поиск по первичному ключу.

Еще про HandlerSocket
HandlerSocket работает как демон внутри процесса mysql, принимая TCP соединения и выполняя запросы клиентов. Он не поддерживает SQL запросы, вместо этого он предоставляет простой язык запросов для CRUD операций с таблицами. Именно поэтому он гораздо быстрее mysqld/libmysql в некоторых случаях:

HandlerSocket оперирует данными без парсинга SQL запроса, что приводит к уменьшению загрузки процессора.
Он поддерживает пакетное выполнение запросов. Можно отправить несколько запросов сразу и получить результат за один раз, что опять же снижает нагрузку на процессор и на сеть.
Протокол HandlerSocket более компактный, чем у mysql/libmysql, что приводит к сокращению нагрузки на сеть.

Подробнее можно почитать здесь:



Под катом вас ожидает:
  • Новая библиотека для работы с HS, написанная на PHP;
  • Сравнение производительности существующих решений + нового;
  • Symfony2 bundle для работы с HS;
  • Плагины к Munin для мониторинга активности HS;
  • Разные мысли вслух и рассказы о «шишках».

Читать дальше →
Total votes 39: ↑38 and ↓1 +37
Views 18K
Comments 15

Хороший триггер, плохой триггер: как мы мониторим сотни серверов по всему миру

Pixonic corporate blog IT Infrastructure *Server Administration *DevOps *


Необходимость мониторинга должна быть очевидна практически для любой компании, однако я не раз сталкивался с примерами, когда к такому выводу ребята приходили только после падения продакшна. Причем нередко команда узнавала об этом уже постфактум — от своего генерального директора, которому на недоступность проекта пожаловались его друзья, решившие вдруг взглянуть на стартап. И вот он в гневе звонит членам команды с вопросом даже не «почему все упало», а почему он об этом знает, а они — нет. И тут им в голову приходит мысль, а почему бы не настроить мониторинг? Казалось бы, что может быть проще…

Нам, например, круглосуточно требуется мониторить более 46 000 метрик на более чем 500 серверах в 6 дата-центрах и 4 странах, а DAU игры War Robots стабильно переваливает за 1 500 000 человек.

Но правильный, настоящий мониторинг пишется кровью системного администратора и разработчика. Каждый кейс, каждый факап и даже внутренние процессы, включая количества тонера в картридже принтера, должны быть описаны сценарием мониторинга. Я решил немного рассказать о том, с чем мы столкнулись при организации этого процесса, а также как выстроили работу сисадминов, снизив количество дежурств и улучшив их качество. При этом упор будет сделан на подходе к мониторингу, тогда как настройка той или иной системы легко гуглится и без посторонней помощи.
Читать дальше →
Total votes 27: ↑25 and ↓2 +23
Views 24K
Comments 14

Обзор систем мониторинга серверов. Заменяем munin на…

Configuring Linux *Server Administration *DevOps *
Tutorial
Очень долго хотел написать статью, но не хватало времени. Нигде (в том числе на Хабре) не нашёл такой простой альтернативы munin, как описанная в этой статье.


Читать дальше →
Total votes 79: ↑76 and ↓3 +73
Views 157K
Comments 111