Как стать автором
Обновить

Обновлены Docker-образы с clickhouse-exporter и clickhouse_fdw

Блог компании Флант Системное администрирование *Администрирование баз данных *DevOps *Kubernetes *

Эта новость — о двух Open Source-решениях с непростой судьбой: clickhouse-exporter и clickhouse_fdw. Именно открытость и сила сообщества помогли им выжить, несмотря на перипетии судьбы (смену разработчиков). 

Нам же они были важны, поскольку оба используются в проектах, а недавно появился запрос на актуализацию их версий. Так на Docker Hub появились два новых образа: clickhouse-exporter и spilo (включает в себя clickhouse_fdw). Они могут пригодиться тем, кто работает с ClickHouse в Docker или Kubernetes.

Читать далее
Всего голосов 36: ↑36 и ↓0 +36
Просмотры 3K
Комментарии 6

29 апреля состоится Online Monitoring Meetup, Kubernetes: мониторинг c помощью Prometheus

Системное администрирование *Kubernetes *

29 апреля пройдет очередной Online Monitoring Meetup, на котором Александр Калошин, CEO Last.Backend выступит с темой “Прометеус - как мы мониторим приватные кластера куба, к которым мало доступа.”

Александр поделится тем, как интегрировать мониторинг к клиентам, которым предоставляются услуги по DevOps/SRE, чтоб всё было безопасно, прозрачно, а главное удобно для всех сторон.

После доклада Александра приглашаем обсудить темы для докладов на предстоящем Big Monitoring Meetup, который состоится 10 июня в Санкт-Петербурге оффлайн.

Начало: 19.00
Регистрация

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 562
Комментарии 2

Открытый урок «Пишем Custom Prometheus Exporter на Python», 19 января

Блог компании Southbridge

19 января Слёрм проведёт открытый урок «Пишем Custom Prometheus Exporter на Python». В главной роли Денис Наумов – спикер курса «Python для инженеров». Начало в 19:00 по Москве.

Научим писать Prometheus Exporter для случаев, когда сервис не умеет работать по протоколу Prometheus, а готовых экспортеров нет. Все что нужно – Python и библиотеки.

Покажем, как экспортировать данные в популярные типы протокола Prometheus: Counters, Gauges, Histograms, Summary на примере задачи с расчетом SLA ответов по API и слежением за бизнес-метриками.

И расскажем, как запустить экспортер в продакшен.

Читать далее
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 2.4K
Комментарии 0

4 июля — старт третьего потока «Golang для инженеров»

Блог компании Southbridge

Запускаем новый поток «Golang для инженеров» 4 июля. Будем учиться 8 недель, до 29 августа. Разберём, как создавать API сервера с помощью Go, запускать контейнеры, взаимодействовать с Docker и работать с кастомными операторами.

К концу курса вы создадите сильно упрощённый аналог Prometheus-a. Вы разработаете систему, которая будет собирать состояние других сервисов, сохранять собранное состояние в базу данных и предоставлять WEB API для доступа к сохраненным данным.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 631
Комментарии 0

Курс Мониторинг и логирование инфраструктуры в Kubernetes — для всех, кому не хватает observability

Блог компании Southbridge

Когда-то этот курс был частью Kubernetes База, но потом мы поняли, что он настолько обширный, что заслуживает отдельного внимания. Мы собрали команду профессионалов и записали видеокурс, чтобы закрыть все вопросы по мониторингу и логированию. 

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 362
Комментарии 0

Курс по Prometheus от Слёрма

Блог компании Southbridge

Видеокурс по Prometheus — это авторский курс от Владимира Гурьянова, архитектора Фланта. Подойдёт специалистам, у которых нет пары лишних месяцев на изучение Prom, а также тем, кто уже знает этот инструмент, но хочет разложить знания по полочкам.

Зачем нужен Prometheus? Как Прометей дал людям огонь, так Prometheus «освещает» ваши проекты, делая их измеримыми и прозрачными.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 575
Комментарии 0

Первый поток по мониторингу и логам в Kubernetes

Блог компании Southbridge

Слёрм запускает первый поток по курсу Мониторинг и логирование инфраструктуры в Kubernetes. На курсе расскажем вам про необходимые инструменты для анализа, оценки и отладки состояния ваших приложений. А новый формат обучения позволит лучше усвоить материал за счет АМА-сессий со спикерами, которые будут проходить каждую неделю.

Старт 7 ноября, обучение продлится 4 недели.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 345
Комментарии 0

На YouTube опубликован фильм Prometheus: The Documentary. Мы добавили ему русские субтитры

Блог компании Флант Системное администрирование *DevOps *Kubernetes *

Документальный фильм посвящен истории создания и развития самой популярной на сегодня системы мониторинга с открытым кодом — Prometheus. Как и предыдущий фильм Honeypot про Kubernetes, новый состоит из серии интервью с создателями проекта, а также с людьми из CNCF и контрибьюторами, которые помогают его развивать.

Читать далее
Всего голосов 27: ↑27 и ↓0 +27
Просмотры 3.4K
Комментарии 0

Использование DiagnosticSource в .NET Core: практика

Блог компании Ozon Tech .NET *C# *

В предыдущей статье я рассказал про механизм DiagnosticSource и на простом примере показал, как с его помощью можно перехватывать запросы в базу данных через классы SqlConnection и SqlCommand и измерять время их выполнения.


В настоящее время DiagnosticSource уже используется в AspNetCore, EntityFrameworkCore, HttpClient и SqlClient — каждый из них отправляет собственные события, которые могут быть перехвачены и обработаны.


В этой статье я хочу рассмотреть несколько примеров того, как можно на практике использовать DiagnosticSource в приложениях ASP.NET Core.


  • CorrelationID и пробрасывание заголовков между сервисами
  • Сбор метрик и трассировок
  • Логирование

Кроме того, в этой статье я решил собрать список событий, которые доступны для обработки и могут быть использованы в ваших приложениях, а также рассказать о некоторых подводных камнях, с которыми вы можете столкнуться, если решите использовать механизм DiagnosticSource в своём проекте.

Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 10K
Комментарии 11

Мониторинг сервисов с Prometheus

Блог компании Selectel Микросервисы *
Tutorial
Prometheus

В предыдущих публикациях мы уже затрагивали вопросы мониторинга и сбора метрик. В сегодняшней статье мы хотели бы вернуться к этой теме и рассказать об интересном инструменте под названием Prometheus. Он был создан в 2012 году в качестве внутренней системы мониторинга небезызвестного проекта SoundCloud, но впоследствии получил более широкое распространение.
Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 141K
Комментарии 13

Prometheus — практическое использование

IT-инфраструктура *Серверное администрирование *
Из песочницы
Одной из важнейших задач при разработке приложений с микросервисной архитектурой является задача мониторинга. Слежение за состоянием сервисов и серверов позволяет не только вовремя реагировать на неисправности, но и анализировать их работу. Наличие такой информации трудно переоценить, ведь она предоставляет дополнительные возможности по улучшению производительности и качества работы Вашего ПО.

image

К счастью, существует множество решений задачи мониторинга, как платных, так и бесплатных. Я же хочу поделиться опытом практического использования open source системы мониторинга Prometheus.
Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Просмотры 84K
Комментарии 8

Мониторинг докер-хостов, контейнеров и контейнерных служб

Блог компании Southbridge Системное администрирование *Серверное администрирование *DevOps *
Перевод
Tutorial

Я искал self-hosted мониторинговое решение с открытым кодом, которое может предоставить хранилище метрик, визуализацию и оповещение для физических серверов, виртуальных машин, контейнеров и сервисов, действующих внутри контейнеров. Опробовав Elastic Beats, Graphite и Prometheus, я остановился на Prometheus. В первую очередь меня привлекли поддержка многомерных метрик и несложный в овладении язык запросов. Возможность использования одного и того же языка для графических изображений и уведомления сильно упрощает задачу мониторинга. Prometheus осуществляет тестирование по методу как черного, так и белого ящика, это означает, что вы можете тестировать инфраструктуру, а также контролировать внутреннее состояние своих приложений.


Читать дальше →
Всего голосов 24: ↑24 и ↓0 +24
Просмотры 47K
Комментарии 17

Дружим Prometheus с Caché

Блог компании InterSystems Администрирование баз данных *
Tutorial
Prometheus – одна из систем мониторинга, адаптированных под сбор time series данных.
Она достаточно проста в инсталляции и первоначальной настройке. Имеет встроенную графическую подсистему для отображения данных PromDash, однако сами же разработчики рекомендуют использовать бесплатный сторонний продукт Grafana. Prometheus умеет мониторить много чего («железо», контейнеры, различные СУБД), однако в данной статье хотелось бы остановиться на реализации мониторинга инстанса Caché (точнее, инстанс будет Ensemble, но метрики будем брать кашовые). Кому интересно — милости просим под кат.

Читать дальше →
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 5.1K
Комментарии 9

Вышел GitLab 8.16: Поддержка Google Container Engine, встроенный Prometheus + тайм-трекинг в CE

Блог компании Softmart Open source *Git *Системы управления версиями *Системы сборки *
Перевод

История с удалением базы конечно затмила все остальные новости про ГитЛаб. Так что если вы пропустили релизный пост про изменения и новые функции в GitLab 8.16, ниже — его перевод:


Наша цель — сделать участие в разработке доступным для каждого. Для этого мы делаем инструментарий GitLab простым в использовании, настройке и обслуживании. В предыдущей версии GitLab мы реализовали простую настройку непрерывной интеграции (continuous integration, CI) и автоматическое развертывание (deploy) в Kubernetes. А в первом релизе нового года мы делаем следующий шаг к нашей цели.


Всего голосов 15: ↑14 и ↓1 +13
Просмотры 8.7K
Комментарии 8

Вышел GitLab 9.0: Подгруппы и Deploy Boards

Блог компании Softmart Open source *Git *Системы управления версиями *Системы сборки *

Недавно мы выпустили GitLab 9.0, через 18 месяцев после выпуска версии 8.0. За это время мы сделали множество значительных изменений в GitLab, выпуская новую версию 22 числа каждого месяца. Давайте кратко подведем итоги, к которым мы пришли с выпуска 8.0, и посмотрим, как старые фичи соотносятся с новыми из 9 версии. Или вы можете перейти к фичам, появившимся в 9.0.


Всего голосов 30: ↑30 и ↓0 +30
Просмотры 12K
Комментарии 9

Ещё одна система логирования, теперь на ElasticSearch, Logstash, Kibana и Prometheus

Блог компании 2ГИС Разработка веб-сайтов *PHP *Yii *API *


Всем разработчикам известна ситуация, когда приложение заглючило и пользователь не может сделать то, что ему нужно. Причины разные: пользователь ввёл неправильные данные, у него медленный интернет и многое другое. Без системы логирования разобрать эти ошибки сложно, а порой невозможно. С другой стороны, система логирования — хороший индикатор проблемных мест в работе системы. Я расскажу, как построить систему логирования в своём проекте (да, ещё раз). В статье расскажу об Elasticsearch + Logstash + Kibana и Prometheus и как их заинтегрировать со своим приложением.

Читать дальше →
Всего голосов 24: ↑23 и ↓1 +22
Просмотры 46K
Комментарии 33

Создаем самодостаточный Docker-кластер

Системное администрирование *IT-инфраструктура *Сетевые технологии *Серверное администрирование *DevOps *
Перевод

Самодостаточная система — это та, которая способна восстанавливаться и адаптироваться. Восстановление означает, что кластер почти всегда будет в том состоянии, в котором его запроектировали. Например, если копия сервиса выйдет из строя, то системе потребуется ее восстановить. Адаптация же связана с модификацией желаемого состояния, так чтобы система смогла справиться с изменившимися условиями. Простым примером будет увеличение трафика. В этом случае сервисам потребуется масштабироваться. Когда восстановление и адаптация автоматизировано, мы получаем самовосстанавливающуюся и самоадаптирующуюся систему. Такая система является самодостаточной и может действовать без вмешательства человека.


Как выглядит самодостаточная система? Какие ее основные части? Кто действующие лица? В этой статье мы обсудим только сервисы и проигнорируем тот факт, что железо также очень важно. Такими ограничениями мы составим картину высокого уровня, которая описывает (в основном) автономную систему с точки зрения сервисов. Мы опустим детали и взглянем на систему с высоты птичьего полёта.


Если вы хорошо разбираетесь в теме и хотите сразу всё понять, то система изображено на рисунке ниже.


self-sufficient-system

Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 25K
Комментарии 17

Истории успеха Kubernetes в production. Часть 4: SoundCloud (авторы Prometheus)

Блог компании Флант Системное администрирование *IT-инфраструктура *DevOps *Kubernetes *


Цикл статей о крупных и успешных пользователях Kubernetes продолжается рассказом про популярный онлайн-сервис для распространения аудиоконтента — SoundCloud. В прошлом году эту компанию собиралась купить Spotify AB (имеет шведские корни, как и SoundCloud), а совсем недавно — китайский интернет-гигант Tencent. Даже обслуживая ~175 миллионов активных пользователей в месяц, SoundCloud в последнее время испытывает финансовые проблемы, о чём стало известно благодаря крупному сокращению (173 сотрудников) минувшим летом, однако, если верить последним данным, ситуация наладилась. Так или иначе, куда больше нас интересует технологическая сторона вопроса, а точнее — применение Kubernetes, и вот что известно о SoundCloud из публичных источников…
Читать дальше →
Всего голосов 18: ↑18 и ↓0 +18
Просмотры 10K
Комментарии 6

Мониторинг с Prometheus в Kubernetes за 15 минут

Блог компании Флант Системное администрирование *Серверное администрирование *DevOps *Kubernetes *
Перевод
Tutorial


Прим. перев.: Автор статьи Giancarlo Rubio — DevOps-инженер из ИТ-компании LINKIT (Нидерланды) — через онлайн-ресурс ITNEXT делится лаконичным рецептом по настройке мониторинга с Prometheus в Kubernetes с помощью Prometheus Operator. Инструкция появилась как следствие недавнего опыта выбора и внедрения системы проактивного мониторинга после миграции проекта с bare metal на облачную инфраструктуру. Рецепт отлично подходит для быстрого теоретического (первая половина статьи) и практического (вторая половина) знакомства. Для некоторых команд исправлены URL'ы, которые в оригинальном материале, по всей видимости, были преобразованы движком medium.
Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 50K
Комментарии 5

Prometheus

Блог компании OTUS DevOps *
Перевод
Доброго всем. Делимся тут очень интересной статьёй, на которую натыкались в рамках подготовки нашего курса. Перевод идёт, как есть целиком (за исключением некоторых комментариев).

Предыстория

В двух словах — вступление о мониторинге и аппеляционности убеждений. Как многим известно, я сопровождаю Riemann — инструмент обработки потоков событий для мониторинга распределенных систем. В моей книге, посвященной мониторингу, я использовал Riemann, как основной инструмент для изучения новых подходов и паттернов мониторинга, и описал архитектуру whitebox-мониторинга (с выборочным blackbox-мониторингом), используя push модель.

Чтобы понять, о чем я вообще веду речь, объясним некоторые концепции. Blackbox-мониторинг отвечает за проверку внешних характеристик сервисов или приложений: возможно ли подключиться к открытому порту сервиса, возвращаются ли корректные данные или код ответа. Примером blackbox-мониторинга может служить ICMP-запрос и подтверждение получения ответа.

В свою очередь, whitebox-мониторинг сфокусирован на том, что происходит внутри сервиса или приложения. Приложение, обладающее соответствующим инструментарием, возвращает состояние самого себя или внутренних компонентов, результат выполнения транзакций или событий. Эти данные отвечают на вопрос “как работает приложение”, а не на вопрос “работает ли приложение”. Whitebox-мониторинг передает события, логи или метрики в специальный инструмент для мониторинга или предоставляет информацию наружу для последующего сбора инструментом мониторинга.
Читать дальше →
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 19K
Комментарии 5