Pull to refresh

Обновился наш плагин для Grafana — Statusmap panel 0.3.0

Флант corporate blog Open source *System administration *Data visualization
Почти два года назад мы представили свой плагин для Grafana, который фигурирует в официальном каталоге от Grafana Labs под названием flant-statusmap-panel. Если вкратце, он реализует возможность показывать статус во времени.

Вот простая иллюстрация:



Такую визуализацию мы используем, например, для наглядного просмотра состояния здоровья pod'ов в Kubernetes. Подробнее о том, почему и как мы создали плагин, читайте в уже упомянутом анонсе. Цель сегодняшней новости — рассказать о главных изменениях в релизе grafana-statusmap 0.3.0.
Читать дальше →
Total votes 29: ↑29 and ↓0 +29
Views 3K
Comments 5

DevOpsMinsk Meetup #8 при поддержке Wargaming пройдет 23 июня. Онлайн

Lesta Studio corporate blog Conferences

3 июня пройдет восьмой онлайн-митап сообщества DevOpsMinsk при поддержке Wargaming. Спикеры рассмотрят систему Log Management на примере Loki и помогут разобраться, как создать частное облако для европейского университета. 

Рассказываем о спикерах и темах выступления.

Читать далее
Total votes 8: ↑7 and ↓1 +6
Views 437
Comments 0

Microsoft и Grafana Labs объединились, чтобы создать сервис мониторинга для Azure

Open source *Microsoft Azure Data visualization Cloud services

Microsoft и Grafana Labs объединяются для разработки новой полностью управляемой версии Grafana, которая будет работать на облачной платформе Azure. Ранее Amazon уже запустила свою управляемую Grafana для AWS в виде общедоступной версии.

Читать далее
Total votes 10: ↑10 and ↓0 +10
Views 957
Comments 0

В поисках идеального мониторинга

TINKOFF corporate blog
В этой небольшой статье я хотел бы рассказать о средствах мониторинга, использующихся для анализа работы DWH нашего банка. Статья будет интересна всем, кого не устраивают существующие готовые системы мониторинга и кого посещали мысли собрать таковую «под себя» из отдельных кусочков. Большое внимание в статье уделяется дашборду Grafana, который, по моему мнению, незаслуженно обделён вниманием на Хабре. По большинству компонентов системы мониторинга будет вкратце рассмотрен процесс инсталяции (под RedHat).


Тёплый ламповый дашборд
Читать дальше →
Total votes 28: ↑27 and ↓1 +26
Views 72K
Comments 22

Видео докладов с Zabbix Moscow Meetup

Badoo corporate blog
Недавно проводили в офисе Zabbix Meetup, который из-за количества участников (приехали ребята из Ярославля, Новосибирска, Уфы, Владивостока, Краснодара, Воронежа, Брянска, СПб и других городов) перерос в конференцию на весь день. И сегодня хотим поделиться с вами видео докладов.

1. «Zabbix: прошлое, настоящее и будущее», Алексей alexvl Владышев, Zabbix.





2. «Zabbix в Badoo или о чем не пишут в мануале», Илья ableev Аблеев, Badoo.

NEW: Наш Screens Controller для Zabbix.
Читать дальше →
Total votes 20: ↑19 and ↓1 +18
Views 20K
Comments 2

Установка связки Carbon + Graphite + Grafana + Nginx + MySQL для сбора и отображения метрик в Ubuntu

MySQL *
Tutorial

Хочу поделиться опытом установки и настройки сервиса для сбора и отображения метрик Graphite + Grafana.
Искал долго, читал много, нашёл 2 статьи на английском, добавил своё, в итоге получилась данная статья.


Немного предыстории..


Graphite — система для отображения метрик (числовых значений) для любых свойств сервера или домашнего ПК.


Carbon — демон/бэкенд, в который пишутся метрики.


Grafana — более красивая и удобная Web-морда для Graphite.


И так, приступим.

Читать дальше →
Total votes 16: ↑13 and ↓3 +10
Views 49K
Comments 35

Установка и настройка Collectd для сбора и отправки данных в Graphite (Grafana)

*nix *
Tutorial

Недавно я писал статью о настройке и установке Graphite+Grafana, теперь я расскажу как установить и настроить Collectd для сбора данных о состоянии сервера, отправки их в Grapfite и отображения в Grafana.


Предисловие


Collectd — система сбора, хранения и отправки метрик о состоянии машины, на которой он запущен.


Он имеет множество плагинов "из коробки" и очень гибок в настройке.


И так, приступим.

Читать дальше →
Total votes 6: ↑4 and ↓2 +2
Views 20K
Comments 8

Польза от Grafana для отдела тестирования

RealTrac Technologies corporate blog IT systems testing *
Доброго времени суток!
Как уже говорилось в предыдущих постах, наша компания (RTL-Service) занимается системой локального позиционирования. Перед вами – новая статья от отдела тестирования.
В процессе тестирования каких-либо объектов (устройства, сервер, клиент,...) часто необходимо знать, как в течение промежутка времени изменяются значения параметров этих объектов.

При настройке значений параметров устройств (мощность передачи сигнала, цикл опроса устройства и множество других) возможны ситуации, когда инженер предприятия ошибается и задает недопустимое значение параметра. Также возможны ошибки на этапе разработки прошивки, в том числе указание некорректного интервала допустимых значений параметра. Чтобы вручную отловить все ошибки такого рода, необходимо перепробовать огромное количество различных комбинаций значений параметров.
Читать дальше →
Total votes 5: ↑4 and ↓1 +3
Views 3.3K
Comments 0

Визуальный мониторинг серверной инфраструктуры на базе Nagios + Grafana

IT Infrastructure *Server Administration *
Sandbox
nagios + grafana

Мы в Атласе любим, когда все находится под контролем. Это касается и всей серверной инфраструктуры, которая, с годами, превратилась в живой организм из многочисленных виртуальных машин, сервисов и служб. Появилась потребность наблюдать за жизненно важными аспектами IT-составляющей нашей деятельности: мониторить боевой сервер, отслеживать изменения системных ресурсов на виртуалках баз данных, следить за ходом бизнес-процессов и тд. Встал вопрос — как же этого добиться и главное какими инструментами? Стали искать какие-то готовые решения. Перепробовали кучу платных/бесплатных сервисов, которые, якобы, предоставляли бы нам "самую ценную" информацию о состоянии нашей системы. Но, в конечном итоге, все сводилось к каким-то непонятных диаграммам, схемам и цифрам, которые, по сути, для нас не имели никакой ценности.


Так мы пришли к пониманию, что надо собирать что-то самостоятельно. За основу решили взять самую гибкую и продвинутую систему, которую можно настроить для мониторинга чего и как угодно — Nagios. Настроили, поставили, работает — круто! Жаль только интерфейс сего чуда застрял где-то в середине 90-х, а нам хотелось, чтобы еще и визуальная составляющая была на уровне.


Недолгий поиск показал, что лидером среди решений по созданию красивых дашбордов является Grafana. Так и решили выводить весь наш мониторинг из Nagios на мониторах в виде красивых графиков в Grafana. Вопрос остался только в том — как их подружить друг с другом?

Я расскажу как!
Total votes 30: ↑30 and ↓0 +30
Views 45K
Comments 24

Мониторинг докер-хостов, контейнеров и контейнерных служб

Southbridge corporate blog System administration *Server Administration *DevOps *
Translation
Tutorial

Я искал self-hosted мониторинговое решение с открытым кодом, которое может предоставить хранилище метрик, визуализацию и оповещение для физических серверов, виртуальных машин, контейнеров и сервисов, действующих внутри контейнеров. Опробовав Elastic Beats, Graphite и Prometheus, я остановился на Prometheus. В первую очередь меня привлекли поддержка многомерных метрик и несложный в овладении язык запросов. Возможность использования одного и того же языка для графических изображений и уведомления сильно упрощает задачу мониторинга. Prometheus осуществляет тестирование по методу как черного, так и белого ящика, это означает, что вы можете тестировать инфраструктуру, а также контролировать внутреннее состояние своих приложений.


Читать дальше →
Total votes 24: ↑24 and ↓0 +24
Views 43K
Comments 17

Мониторинг GPU на серверах Windows ( TICK + Grafana + костыли )

System administration *
Tutorial
В распоряжении у меня оказалось несколько серверов, на базе Windows, осуществляющих захват, кодирование и архивирование видео. Ключевой особенностью этой системы является то, что кодирование реализовано на базе Intel Quick Sync Video, т.е. на базе GPU.

При таком раскладе, мониторинг просто CPU, уже не является главным указателем состояния сервера, а для полной картины требуется отслеживать загрузку как CPU, так и GPU. Серверы работают в режиме real time, поэтому приходится иметь дело с потоками, а не файлами, это означает, что если GPU превысит максимальную нагрузку, возможны потери видео ( в случае файлов кодирование продолжится, со скоростью менее real time ), поэтому поглядывать за работой видеокарты необходимо.

Конечным результатом, приведенных ниже подпорок и костылей, являются графики построенные в Grafana:


Читать дальше →
Total votes 2: ↑2 and ↓0 +2
Views 7.3K
Comments 9

Дружим Prometheus с Caché

InterSystems corporate blog Database Administration *
Tutorial
Prometheus – одна из систем мониторинга, адаптированных под сбор time series данных.
Она достаточно проста в инсталляции и первоначальной настройке. Имеет встроенную графическую подсистему для отображения данных PromDash, однако сами же разработчики рекомендуют использовать бесплатный сторонний продукт Grafana. Prometheus умеет мониторить много чего («железо», контейнеры, различные СУБД), однако в данной статье хотелось бы остановиться на реализации мониторинга инстанса Caché (точнее, инстанс будет Ensemble, но метрики будем брать кашовые). Кому интересно — милости просим под кат.

Читать дальше →
Total votes 27: ↑26 and ↓1 +25
Views 4.9K
Comments 9

Автоматизация нагрузочного тестирования: связка Jmeter + TeamCity + Grafana

Positive Technologies corporate blog IT systems testing *


Изображение: Flickr

В нашем блоге на Хабре мы продолжаем рассказывать о построении DevOps-культуры в компании — например, в одном из последних топиков мы описывали то, какие задачи решаем с помощью системы SaltStack. Сегодня речь пойдет о другой интересной теме — автоматизации нагрузочного тестирования с помощью связки нескольких готовых инструментов.
Total votes 25: ↑25 and ↓0 +25
Views 15K
Comments 5

Zabbix Moscow Meetup в офисе Badoo 15 апреля

Badoo corporate blog System administration *Server Administration *DevOps *

enter image description here


Привет! Объявляем регистрацию на митап открытой. Мы в очередной раз принимаем в нашем офисе сообщество Zabbix. Ниже – описание выступлений. Начало мероприятия в 12:00.

Читать дальше →
Total votes 27: ↑26 and ↓1 +25
Views 5.7K
Comments 15

Мониторинг Docker Swarm с помощью cAdvisor, InfluxDB и Grafana

Southbridge corporate blog System administration *Virtualization *Server Administration *DevOps *
Translation

Чтобы отслеживать состояние работающих приложений, необходимо проводить их постоянный мониторинг. А если приложения выполняются в таком хорошо масштабируемом окружении, как Docker Swarm, то потребуется также и хорошо масштабируемый инструмент мониторинга. В этой статье говорится о настройке именно такого инструмента.


В процессе работы мы установим агенты cAdvisor на каждой ноде для сбора метрик хоста и контейнеров. Метрики будут сохраняться в InfluxDB. Для построения графиков на основе этих метрик воспользуемся Grafana. Эти инструменты распространяются с открытым исходным кодом и могут быть развернуты в виде контейнеров.


Для построения кластера мы будем использовать Docker Swarm Mode и развернем необходимые сервисы в виде стека. Это позволит организовать динамическую систему мониторинга, которая способна автоматически начинать мониторинг новых нод по мере их добавления в рой (swarm). Файлы проекта можно найти здесь.

Читать дальше →
Total votes 21: ↑20 and ↓1 +19
Views 28K
Comments 6

Обзор систем мониторинга серверов. Заменяем munin на…

Configuring Linux *Server Administration *DevOps *
Tutorial
Очень долго хотел написать статью, но не хватало времени. Нигде (в том числе на Хабре) не нашёл такой простой альтернативы munin, как описанная в этой статье.


Читать дальше →
Total votes 79: ↑76 and ↓3 +73
Views 164K
Comments 111

Применение LibVirt API, InfluxDB и Grafana для сбора и визуализации статистики выполнения VM

Virtualization *Server Administration *DevOps *

В своей практике я достаточно много времени посвящаю проектированию и администрированию облачных инфраструктур различного назначения. В основном это Apache CloudStack. Данная система обладает отличными возможностями, но в части мониторинга, функциональности явно недостаточно (читайте — отсутствует), особенно, если на мониторинг смотреть шире чем мониторинг индивидуального объекта наблюдения (сервер, виртуальная машина).


В целом, в связи с более широкими требованиями к систем визуального анализа информации и потребностями в части интеграции с источниками данных стали распространяться специализированные решения для ad-hoc анализа данных, такие как Kibana, Grafana и иные. Данные системы могут интегрироваться со специализированными хранилищами временных рядов данных, одним из которых является InfluxDB. Статья расскажет о готовом решении, распространяемом в виде образа Docker, использующем LibVirt API, Grafana и InfluxDB, предназначенном для сбора и анализа параметров исполняющихся VM для гипервизора KVM.

Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views 9.6K
Comments 11

Мониторинг как сервис: модульная система для микросервисной архитектуры

Авито corporate blog System administration *Data storages *DevOps *
Сегодня на нашем проекте, помимо монолитного кода, функционируют десятки микросервисов. Каждый из них требует того, чтобы его мониторили. Делать это в таких объемах силами DevOps-инженеров проблематично. Мы разработали систему мониторинга, которая работает как сервис для разработчиков. Они могут самостоятельно писать метрики в систему мониторинга, пользоваться ими, строить на их основании дашборды, прикручивать к ним алерты, которые будут срабатывать при достижении пороговых значений. С DevOps-инженеров — только инфраструктура и документация.

Этот пост — расшифровка моего выступления с нашей секции на РИТ++. Многие просили нас сделать текстовые версии докладов оттуда. Если вы были на конференции или смотрели видео, то не найдете ничего нового. А всем остальным — добро пожаловать под кат. Расскажу, как мы пришли к такой системе, как она работает и как мы планируем её обновлять.


Читать дальше →
Total votes 33: ↑31 and ↓2 +29
Views 21K
Comments 1

Инженерные системы наших дата-центров и их мониторинг, часть вторая

Дата-центр «Миран» corporate blog IT Infrastructure *
Продолжение публикации, здесь первая часть



В этой заключительной части я расскажу о программной составляющей нашей системы мониторинга.
Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views 12K
Comments 2

В разрезе: новостной агрегатор на Android с бэкендом. Система мониторинга и визуализации данных (InfluxDB, Grafana)

Configuring Linux *IT Infrastructure *DevOps *Puppet *
Вводная часть (со ссылками на все статьи)

Сложные системы (распределённые/крупные/со сложной логикой/сложной системой данных) – как живой организм: подвижный, изменчивый и самостоятельный. Всё это требует постоянного контроля со стороны разработчиков/администраторов/DevOps-инженеров.

К этому выводу я пришёл, когда система несколько раз «загибалась» в ходе её разработки, настройки сервера и эксплуатации. Это натолкнуло меня на мысль, что мониторинг должен осуществляться не только на этапе производственной эксплуатации, но и на этапе разработки.

Обо всём по порядку…
Читать дальше →
Total votes 5: ↑4 and ↓1 +3
Views 8.2K
Comments 6