• Цель всех нелепых телодвижений, описанных в статье, одна — облегчение мониторинга серверов и приложений.
• Этот смелый трюк можно повторить дома и на работе, даже неподготовленным спортсменам.
• Надеюсь, что этот текст пригодится не только адептам Nagios, но и светозарным джедаям Zabbix и неофитам других конфессий мониторинга.
• Здесь не будет продемонстрировано приемов высшего пилотажа в использовании паяльной станции, осциллографа и виртуозного владения Ruby/Fortran/etc. Все описанное примитивно, до отвращения, но дешево и сердито. А самое главное — оно работает.

Всем привет!

План, которого я придерживался

Реализация: шаг за шагом

Продолжим разбираться с mattermost в части интеграции с внешними сервисами.

Часть вторая. Интеграция с Zabbix

Во второй части повествования о интеграции mattermost, речь пойдет про отправку сообщений об авариях из zabbix в mattermost. В результате поисков в сети был взят за основу вот
этот скрипт. Код написан на Perl, поэтому может потребоваться доустановка перловых-пакетов. Прежде чем приступить к описанию кода (он несколько изменён по сравнению с исходным) сперва, как водится, произведём некоторые настройки.

14 марта в Москве открылся первый российский офис Zabbix. Праздник открытия прошел в формате мини-конференции, собрав более 300 клиентов и заинтересованных пользователей.

«А если ты не выстрелишь, то испорчусь я»

Ещё недавно считалось, сервис должен просто работать. Нарисовали, заверстали, написали скрипты — вроде всё ок, можно катить на прод.

Но конкуренты не дремлют, поэтому начинается гонка не только за новыми функциями, но и за скоростью работы. Любое зависание приложения или долгий ответ сервера (не говоря уже про всплывающие 500-е ошибки) портят впечатление от сервиса и вынуждают пользователя уходить куда-то ещё. Наверняка, каждый сталкивался с ситуациями, когда вместо покупки билета на самолет, поезд или концерт на экране отображалось «Internal server error», и вы в ярости хотели разбить монитор.

Я — Виктор Бодров, работаю в Яндекс.Деньгах в команде исследований производительности и хочу рассказать о том, чем полезно изучать производительность прямо на продакшене.

Предисловие

Задачи

1. на улице
2. дома
3. на чердаке (когда замёрзнет закинутый туда хлам и помидоры)

Состав комплекса на текущий момент

• UPS Энергия ПН-750 + батарея на 100 ач
• USB->RS232 converter на основе PL2303
• Router Tp-link tl-wr1043nd +
• 1wire мастер сети на основе купленного USB термометра DS18B20+ PL-2303TA
• 1wire 3 датчика DS18B20
• 1wire модуль «счетчик воды» от radioseti на основе DS2423

Решаемые задачи:

1. Защита от протечек
   
   + Удалённое управление
   + Знать состояние ввода воды (перекрыто или открыто)
2. Знать давление и температуру теплоносителя в контуре отопления
3. Знать давление в системе водоснабжения

1. Защита от протечек

1. шаровый кран с электроприводом
2. датчик протечек
3. некий контроллер с интерфейсом мониторинга и управления
4. силовое реле

Мониторинг сложных распределенных систем может стать настоящей головной болью как с точки зрения первичной настройки метрик и поддержания их актуальности, так и с точки зрения производительности. Легче всего предотвратить большинство проблем заранее, ещё на стадии проектирования.

В работе над одной задачей понадобилось добавить в мониторинг все счетчики памяти находящиеся в /proc/meminfo

После создания шаблона, создавать руками каждую метрику и настроить опрос ее с хоста мне показалось полным отстоем, так как сейчас можно делать один запрос к хосту получать массив в JSON после чего раскладывать автоматически по метрикам.

Простыню ниже из показателей разных счетчиков использующих память нужно автоматически добавить как метрики к хосту, после этого в одну метрику раз в минуту забирать данные и раскладывать полученные данные по найденным метрикам:

• какие задачи помогают решить исследования производительности на продакшене, и как их результаты влияют на развитие крупного платежного сервиса.
• как команда интеграционного тестирования использует дашборды и какую пользу можно получить от такого инструмента.

СберСервис – крупнейшая сервисная компания федерального значения, оказывающая услуги по комплексному техническому обслуживанию широкого спектра информационно-телекоммуникационного оборудования, рабочих мест, офисной техники, серверов и телефонии. Компания является единственным на территории СНГ премиум-партнером компании Zabbix, в ней работает самая крупная команда в России в сфере ИТ-мониторинга, разрабатывая уникальные технические решения в области комплексного внедрения систем мониторинга для организаций с высоконагруженной ИТ-инфраструктурой. Данный факт объясняет, почему в качестве основной платформы для мониторинга СберСервис выбирает Zabbix.

В свете того, что Zabbix с некоторых пор поддерживает TimescaleDB, а тут еще и вышел новый LTS релиз Zabbix, то наверняка многие заинтересовались, как осуществить миграцию с MySQL на PostgreSQL.

Несмотря на текст на картинке, вполне можно просто так взять и мигрировать Zabbix с MySQL на PostgreSQL. В интернете есть немало рецептов такой миграции, например:

Доклад с Zabbix Meetup
Видео с Youtube канала Dmitry Lambert

Но я не нашел ни в одном из таких докладов информации, как же минимизировать downtime вашего мониторинга в случае, если полная миграция занимает несколько часов, что конечно зачастую является неприемлемым.

Ниже я опишу свое решение данной проблемы и те подводные камни, которые пришлось обходить по пути.

Важно упомянуть, что я до сих использую Zabbix 4.0. Возможно, в новых версиях схема БД поменялась и поэтапная миграция, описанная ниже, там невозможна.