Как стать автором
Обновить

Практическое руководство по реализации Observability в DevOps

Блог компании RUVDS.com DevOps *Kubernetes *
Перевод
Tutorial

В ходе этой статьи мы развернём следующий стек инструментов Observability (наблюдаемости) Grafana:


Приступим!
Читать дальше →
Всего голосов 46: ↑45 и ↓1 +44
Просмотры 2.9K
Комментарии 4

Обновлены Docker-образы с clickhouse-exporter и clickhouse_fdw

Блог компании Флант Системное администрирование *Администрирование баз данных *DevOps *Kubernetes *

Эта новость — о двух Open Source-решениях с непростой судьбой: clickhouse-exporter и clickhouse_fdw. Именно открытость и сила сообщества помогли им выжить, несмотря на перипетии судьбы (смену разработчиков). 

Нам же они были важны, поскольку оба используются в проектах, а недавно появился запрос на актуализацию их версий. Так на Docker Hub появились два новых образа: clickhouse-exporter и spilo (включает в себя clickhouse_fdw). Они могут пригодиться тем, кто работает с ClickHouse в Docker или Kubernetes.

Читать далее
Всего голосов 36: ↑36 и ↓0 +36
Просмотры 3K
Комментарии 6

29 апреля состоится Online Monitoring Meetup, Kubernetes: мониторинг c помощью Prometheus

Системное администрирование *Kubernetes *

29 апреля пройдет очередной Online Monitoring Meetup, на котором Александр Калошин, CEO Last.Backend выступит с темой “Прометеус - как мы мониторим приватные кластера куба, к которым мало доступа.”

Александр поделится тем, как интегрировать мониторинг к клиентам, которым предоставляются услуги по DevOps/SRE, чтоб всё было безопасно, прозрачно, а главное удобно для всех сторон.

После доклада Александра приглашаем обсудить темы для докладов на предстоящем Big Monitoring Meetup, который состоится 10 июня в Санкт-Петербурге оффлайн.

Начало: 19.00
Регистрация

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 562
Комментарии 2

Открытый урок «Пишем Custom Prometheus Exporter на Python», 19 января

Блог компании Southbridge

19 января Слёрм проведёт открытый урок «Пишем Custom Prometheus Exporter на Python». В главной роли Денис Наумов – спикер курса «Python для инженеров». Начало в 19:00 по Москве.

Научим писать Prometheus Exporter для случаев, когда сервис не умеет работать по протоколу Prometheus, а готовых экспортеров нет. Все что нужно – Python и библиотеки.

Покажем, как экспортировать данные в популярные типы протокола Prometheus: Counters, Gauges, Histograms, Summary на примере задачи с расчетом SLA ответов по API и слежением за бизнес-метриками.

И расскажем, как запустить экспортер в продакшен.

Читать далее
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 2.4K
Комментарии 0

4 июля — старт третьего потока «Golang для инженеров»

Блог компании Southbridge

Запускаем новый поток «Golang для инженеров» 4 июля. Будем учиться 8 недель, до 29 августа. Разберём, как создавать API сервера с помощью Go, запускать контейнеры, взаимодействовать с Docker и работать с кастомными операторами.

К концу курса вы создадите сильно упрощённый аналог Prometheus-a. Вы разработаете систему, которая будет собирать состояние других сервисов, сохранять собранное состояние в базу данных и предоставлять WEB API для доступа к сохраненным данным.

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 631
Комментарии 0

Курс Мониторинг и логирование инфраструктуры в Kubernetes — для всех, кому не хватает observability

Блог компании Southbridge

Когда-то этот курс был частью Kubernetes База, но потом мы поняли, что он настолько обширный, что заслуживает отдельного внимания. Мы собрали команду профессионалов и записали видеокурс, чтобы закрыть все вопросы по мониторингу и логированию. 

Читать далее
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 362
Комментарии 0

Курс по Prometheus от Слёрма

Блог компании Southbridge

Видеокурс по Prometheus — это авторский курс от Владимира Гурьянова, архитектора Фланта. Подойдёт специалистам, у которых нет пары лишних месяцев на изучение Prom, а также тем, кто уже знает этот инструмент, но хочет разложить знания по полочкам.

Зачем нужен Prometheus? Как Прометей дал людям огонь, так Prometheus «освещает» ваши проекты, делая их измеримыми и прозрачными.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 576
Комментарии 0

Первый поток по мониторингу и логам в Kubernetes

Блог компании Southbridge

Слёрм запускает первый поток по курсу Мониторинг и логирование инфраструктуры в Kubernetes. На курсе расскажем вам про необходимые инструменты для анализа, оценки и отладки состояния ваших приложений. А новый формат обучения позволит лучше усвоить материал за счет АМА-сессий со спикерами, которые будут проходить каждую неделю.

Старт 7 ноября, обучение продлится 4 недели.

Читать далее
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 345
Комментарии 0

На YouTube опубликован фильм Prometheus: The Documentary. Мы добавили ему русские субтитры

Блог компании Флант Системное администрирование *DevOps *Kubernetes *

Документальный фильм посвящен истории создания и развития самой популярной на сегодня системы мониторинга с открытым кодом — Prometheus. Как и предыдущий фильм Honeypot про Kubernetes, новый состоит из серии интервью с создателями проекта, а также с людьми из CNCF и контрибьюторами, которые помогают его развивать.

Читать далее
Всего голосов 27: ↑27 и ↓0 +27
Просмотры 3.4K
Комментарии 0

Использование DiagnosticSource в .NET Core: практика

Блог компании Ozon Tech .NET *C# *

В предыдущей статье я рассказал про механизм DiagnosticSource и на простом примере показал, как с его помощью можно перехватывать запросы в базу данных через классы SqlConnection и SqlCommand и измерять время их выполнения.


В настоящее время DiagnosticSource уже используется в AspNetCore, EntityFrameworkCore, HttpClient и SqlClient — каждый из них отправляет собственные события, которые могут быть перехвачены и обработаны.


В этой статье я хочу рассмотреть несколько примеров того, как можно на практике использовать DiagnosticSource в приложениях ASP.NET Core.


  • CorrelationID и пробрасывание заголовков между сервисами
  • Сбор метрик и трассировок
  • Логирование

Кроме того, в этой статье я решил собрать список событий, которые доступны для обработки и могут быть использованы в ваших приложениях, а также рассказать о некоторых подводных камнях, с которыми вы можете столкнуться, если решите использовать механизм DiagnosticSource в своём проекте.

Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 10K
Комментарии 11

Мониторинг сервисов с Prometheus

Блог компании Selectel Микросервисы *
Tutorial
Prometheus

В предыдущих публикациях мы уже затрагивали вопросы мониторинга и сбора метрик. В сегодняшней статье мы хотели бы вернуться к этой теме и рассказать об интересном инструменте под названием Prometheus. Он был создан в 2012 году в качестве внутренней системы мониторинга небезызвестного проекта SoundCloud, но впоследствии получил более широкое распространение.
Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 141K
Комментарии 13

Prometheus — практическое использование

IT-инфраструктура *Серверное администрирование *
Из песочницы
Одной из важнейших задач при разработке приложений с микросервисной архитектурой является задача мониторинга. Слежение за состоянием сервисов и серверов позволяет не только вовремя реагировать на неисправности, но и анализировать их работу. Наличие такой информации трудно переоценить, ведь она предоставляет дополнительные возможности по улучшению производительности и качества работы Вашего ПО.

image

К счастью, существует множество решений задачи мониторинга, как платных, так и бесплатных. Я же хочу поделиться опытом практического использования open source системы мониторинга Prometheus.
Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Просмотры 84K
Комментарии 8

Мониторинг докер-хостов, контейнеров и контейнерных служб

Блог компании Southbridge Системное администрирование *Серверное администрирование *DevOps *
Перевод
Tutorial

Я искал self-hosted мониторинговое решение с открытым кодом, которое может предоставить хранилище метрик, визуализацию и оповещение для физических серверов, виртуальных машин, контейнеров и сервисов, действующих внутри контейнеров. Опробовав Elastic Beats, Graphite и Prometheus, я остановился на Prometheus. В первую очередь меня привлекли поддержка многомерных метрик и несложный в овладении язык запросов. Возможность использования одного и того же языка для графических изображений и уведомления сильно упрощает задачу мониторинга. Prometheus осуществляет тестирование по методу как черного, так и белого ящика, это означает, что вы можете тестировать инфраструктуру, а также контролировать внутреннее состояние своих приложений.


Читать дальше →
Всего голосов 24: ↑24 и ↓0 +24
Просмотры 47K
Комментарии 17

Дружим Prometheus с Caché

Блог компании InterSystems Администрирование баз данных *
Tutorial
Prometheus – одна из систем мониторинга, адаптированных под сбор time series данных.
Она достаточно проста в инсталляции и первоначальной настройке. Имеет встроенную графическую подсистему для отображения данных PromDash, однако сами же разработчики рекомендуют использовать бесплатный сторонний продукт Grafana. Prometheus умеет мониторить много чего («железо», контейнеры, различные СУБД), однако в данной статье хотелось бы остановиться на реализации мониторинга инстанса Caché (точнее, инстанс будет Ensemble, но метрики будем брать кашовые). Кому интересно — милости просим под кат.

Читать дальше →
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 5.1K
Комментарии 9

Вышел GitLab 8.16: Поддержка Google Container Engine, встроенный Prometheus + тайм-трекинг в CE

Блог компании Softmart Open source *Git *Системы управления версиями *Системы сборки *
Перевод

История с удалением базы конечно затмила все остальные новости про ГитЛаб. Так что если вы пропустили релизный пост про изменения и новые функции в GitLab 8.16, ниже — его перевод:


Наша цель — сделать участие в разработке доступным для каждого. Для этого мы делаем инструментарий GitLab простым в использовании, настройке и обслуживании. В предыдущей версии GitLab мы реализовали простую настройку непрерывной интеграции (continuous integration, CI) и автоматическое развертывание (deploy) в Kubernetes. А в первом релизе нового года мы делаем следующий шаг к нашей цели.


Всего голосов 15: ↑14 и ↓1 +13
Просмотры 8.7K
Комментарии 8

Вышел GitLab 9.0: Подгруппы и Deploy Boards

Блог компании Softmart Open source *Git *Системы управления версиями *Системы сборки *

Недавно мы выпустили GitLab 9.0, через 18 месяцев после выпуска версии 8.0. За это время мы сделали множество значительных изменений в GitLab, выпуская новую версию 22 числа каждого месяца. Давайте кратко подведем итоги, к которым мы пришли с выпуска 8.0, и посмотрим, как старые фичи соотносятся с новыми из 9 версии. Или вы можете перейти к фичам, появившимся в 9.0.


Всего голосов 30: ↑30 и ↓0 +30
Просмотры 12K
Комментарии 9

Ещё одна система логирования, теперь на ElasticSearch, Logstash, Kibana и Prometheus

Блог компании 2ГИС Разработка веб-сайтов *PHP *Yii *API *


Всем разработчикам известна ситуация, когда приложение заглючило и пользователь не может сделать то, что ему нужно. Причины разные: пользователь ввёл неправильные данные, у него медленный интернет и многое другое. Без системы логирования разобрать эти ошибки сложно, а порой невозможно. С другой стороны, система логирования — хороший индикатор проблемных мест в работе системы. Я расскажу, как построить систему логирования в своём проекте (да, ещё раз). В статье расскажу об Elasticsearch + Logstash + Kibana и Prometheus и как их заинтегрировать со своим приложением.

Читать дальше →
Всего голосов 24: ↑23 и ↓1 +22
Просмотры 46K
Комментарии 33

Создаем самодостаточный Docker-кластер

Системное администрирование *IT-инфраструктура *Сетевые технологии *Серверное администрирование *DevOps *
Перевод

Самодостаточная система — это та, которая способна восстанавливаться и адаптироваться. Восстановление означает, что кластер почти всегда будет в том состоянии, в котором его запроектировали. Например, если копия сервиса выйдет из строя, то системе потребуется ее восстановить. Адаптация же связана с модификацией желаемого состояния, так чтобы система смогла справиться с изменившимися условиями. Простым примером будет увеличение трафика. В этом случае сервисам потребуется масштабироваться. Когда восстановление и адаптация автоматизировано, мы получаем самовосстанавливающуюся и самоадаптирующуюся систему. Такая система является самодостаточной и может действовать без вмешательства человека.


Как выглядит самодостаточная система? Какие ее основные части? Кто действующие лица? В этой статье мы обсудим только сервисы и проигнорируем тот факт, что железо также очень важно. Такими ограничениями мы составим картину высокого уровня, которая описывает (в основном) автономную систему с точки зрения сервисов. Мы опустим детали и взглянем на систему с высоты птичьего полёта.


Если вы хорошо разбираетесь в теме и хотите сразу всё понять, то система изображено на рисунке ниже.


self-sufficient-system

Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 25K
Комментарии 17

Истории успеха Kubernetes в production. Часть 4: SoundCloud (авторы Prometheus)

Блог компании Флант Системное администрирование *IT-инфраструктура *DevOps *Kubernetes *


Цикл статей о крупных и успешных пользователях Kubernetes продолжается рассказом про популярный онлайн-сервис для распространения аудиоконтента — SoundCloud. В прошлом году эту компанию собиралась купить Spotify AB (имеет шведские корни, как и SoundCloud), а совсем недавно — китайский интернет-гигант Tencent. Даже обслуживая ~175 миллионов активных пользователей в месяц, SoundCloud в последнее время испытывает финансовые проблемы, о чём стало известно благодаря крупному сокращению (173 сотрудников) минувшим летом, однако, если верить последним данным, ситуация наладилась. Так или иначе, куда больше нас интересует технологическая сторона вопроса, а точнее — применение Kubernetes, и вот что известно о SoundCloud из публичных источников…
Читать дальше →
Всего голосов 18: ↑18 и ↓0 +18
Просмотры 10K
Комментарии 6

Мониторинг с Prometheus в Kubernetes за 15 минут

Блог компании Флант Системное администрирование *Серверное администрирование *DevOps *Kubernetes *
Перевод
Tutorial


Прим. перев.: Автор статьи Giancarlo Rubio — DevOps-инженер из ИТ-компании LINKIT (Нидерланды) — через онлайн-ресурс ITNEXT делится лаконичным рецептом по настройке мониторинга с Prometheus в Kubernetes с помощью Prometheus Operator. Инструкция появилась как следствие недавнего опыта выбора и внедрения системы проактивного мониторинга после миграции проекта с bare metal на облачную инфраструктуру. Рецепт отлично подходит для быстрого теоретического (первая половина статьи) и практического (вторая половина) знакомства. Для некоторых команд исправлены URL'ы, которые в оригинальном материале, по всей видимости, были преобразованы движком medium.
Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 50K
Комментарии 5