Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Обновлены Docker-образы с clickhouse-exporter и clickhouse_fdw

Блог компании Флант Системное администрирование *Администрирование баз данных *DevOps *Kubernetes *

Эта новость — о двух Open Source-решениях с непростой судьбой: clickhouse-exporter и clickhouse_fdw. Именно открытость и сила сообщества помогли им выжить, несмотря на перипетии судьбы (смену разработчиков). 

Нам же они были важны, поскольку оба используются в проектах, а недавно появился запрос на актуализацию их версий. Так на Docker Hub появились два новых образа: clickhouse-exporter и spilo (включает в себя clickhouse_fdw). Они могут пригодиться тем, кто работает с ClickHouse в Docker или Kubernetes.

Читать далее
Всего голосов 36: ↑36 и ↓0 +36
Просмотры 2K
Комментарии 6

29 апреля состоится Online Monitoring Meetup, Kubernetes: мониторинг c помощью Prometheus

Системное администрирование *Kubernetes *

29 апреля пройдет очередной Online Monitoring Meetup, на котором Александр Калошин, CEO Last.Backend выступит с темой “Прометеус - как мы мониторим приватные кластера куба, к которым мало доступа.”

Александр поделится тем, как интегрировать мониторинг к клиентам, которым предоставляются услуги по DevOps/SRE, чтоб всё было безопасно, прозрачно, а главное удобно для всех сторон.

После доклада Александра приглашаем обсудить темы для докладов на предстоящем Big Monitoring Meetup, который состоится 10 июня в Санкт-Петербурге оффлайн.

Начало: 19.00
Регистрация

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 403
Комментарии 2

Использование DiagnosticSource в .NET Core: практика

Блог компании Ozon Tech .NET *C# *

В предыдущей статье я рассказал про механизм DiagnosticSource и на простом примере показал, как с его помощью можно перехватывать запросы в базу данных через классы SqlConnection и SqlCommand и измерять время их выполнения.


В настоящее время DiagnosticSource уже используется в AspNetCore, EntityFrameworkCore, HttpClient и SqlClient — каждый из них отправляет собственные события, которые могут быть перехвачены и обработаны.


В этой статье я хочу рассмотреть несколько примеров того, как можно на практике использовать DiagnosticSource в приложениях ASP.NET Core.


  • CorrelationID и пробрасывание заголовков между сервисами
  • Сбор метрик и трассировок
  • Логирование

Кроме того, в этой статье я решил собрать список событий, которые доступны для обработки и могут быть использованы в ваших приложениях, а также рассказать о некоторых подводных камнях, с которыми вы можете столкнуться, если решите использовать механизм DiagnosticSource в своём проекте.

Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 9.1K
Комментарии 11

Мониторинг сервисов с Prometheus

Блог компании Selectel Микросервисы *
Tutorial
Prometheus

В предыдущих публикациях мы уже затрагивали вопросы мониторинга и сбора метрик. В сегодняшней статье мы хотели бы вернуться к этой теме и рассказать об интересном инструменте под названием Prometheus. Он был создан в 2012 году в качестве внутренней системы мониторинга небезызвестного проекта SoundCloud, но впоследствии получил более широкое распространение.
Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 122K
Комментарии 13

Prometheus — практическое использование

IT-инфраструктура *Серверное администрирование *
Из песочницы
Одной из важнейших задач при разработке приложений с микросервисной архитектурой является задача мониторинга. Слежение за состоянием сервисов и серверов позволяет не только вовремя реагировать на неисправности, но и анализировать их работу. Наличие такой информации трудно переоценить, ведь она предоставляет дополнительные возможности по улучшению производительности и качества работы Вашего ПО.

image

К счастью, существует множество решений задачи мониторинга, как платных, так и бесплатных. Я же хочу поделиться опытом практического использования open source системы мониторинга Prometheus.
Читать дальше →
Всего голосов 16: ↑15 и ↓1 +14
Просмотры 80K
Комментарии 8

Мониторинг докер-хостов, контейнеров и контейнерных служб

Блог компании Southbridge Системное администрирование *Серверное администрирование *DevOps *
Перевод
Tutorial

Я искал self-hosted мониторинговое решение с открытым кодом, которое может предоставить хранилище метрик, визуализацию и оповещение для физических серверов, виртуальных машин, контейнеров и сервисов, действующих внутри контейнеров. Опробовав Elastic Beats, Graphite и Prometheus, я остановился на Prometheus. В первую очередь меня привлекли поддержка многомерных метрик и несложный в овладении язык запросов. Возможность использования одного и того же языка для графических изображений и уведомления сильно упрощает задачу мониторинга. Prometheus осуществляет тестирование по методу как черного, так и белого ящика, это означает, что вы можете тестировать инфраструктуру, а также контролировать внутреннее состояние своих приложений.


Читать дальше →
Всего голосов 24: ↑24 и ↓0 +24
Просмотры 39K
Комментарии 17

Дружим Prometheus с Caché

Блог компании InterSystems Администрирование баз данных *
Tutorial
Prometheus – одна из систем мониторинга, адаптированных под сбор time series данных.
Она достаточно проста в инсталляции и первоначальной настройке. Имеет встроенную графическую подсистему для отображения данных PromDash, однако сами же разработчики рекомендуют использовать бесплатный сторонний продукт Grafana. Prometheus умеет мониторить много чего («железо», контейнеры, различные СУБД), однако в данной статье хотелось бы остановиться на реализации мониторинга инстанса Caché (точнее, инстанс будет Ensemble, но метрики будем брать кашовые). Кому интересно — милости просим под кат.

Читать дальше →
Всего голосов 27: ↑26 и ↓1 +25
Просмотры 4.7K
Комментарии 9

Вышел GitLab 8.16: Поддержка Google Container Engine, встроенный Prometheus + тайм-трекинг в CE

Блог компании Softmart Open source *Git *Системы управления версиями *Системы сборки *
Перевод

История с удалением базы конечно затмила все остальные новости про ГитЛаб. Так что если вы пропустили релизный пост про изменения и новые функции в GitLab 8.16, ниже — его перевод:


Наша цель — сделать участие в разработке доступным для каждого. Для этого мы делаем инструментарий GitLab простым в использовании, настройке и обслуживании. В предыдущей версии GitLab мы реализовали простую настройку непрерывной интеграции (continuous integration, CI) и автоматическое развертывание (deploy) в Kubernetes. А в первом релизе нового года мы делаем следующий шаг к нашей цели.


Всего голосов 15: ↑14 и ↓1 +13
Просмотры 8.6K
Комментарии 8

Вышел GitLab 9.0: Подгруппы и Deploy Boards

Блог компании Softmart Open source *Git *Системы управления версиями *Системы сборки *

Недавно мы выпустили GitLab 9.0, через 18 месяцев после выпуска версии 8.0. За это время мы сделали множество значительных изменений в GitLab, выпуская новую версию 22 числа каждого месяца. Давайте кратко подведем итоги, к которым мы пришли с выпуска 8.0, и посмотрим, как старые фичи соотносятся с новыми из 9 версии. Или вы можете перейти к фичам, появившимся в 9.0.


Всего голосов 30: ↑30 и ↓0 +30
Просмотры 12K
Комментарии 9

Ещё одна система логирования, теперь на ElasticSearch, Logstash, Kibana и Prometheus

Блог компании 2ГИС Разработка веб-сайтов *PHP *Yii *API *


Всем разработчикам известна ситуация, когда приложение заглючило и пользователь не может сделать то, что ему нужно. Причины разные: пользователь ввёл неправильные данные, у него медленный интернет и многое другое. Без системы логирования разобрать эти ошибки сложно, а порой невозможно. С другой стороны, система логирования — хороший индикатор проблемных мест в работе системы. Я расскажу, как построить систему логирования в своём проекте (да, ещё раз). В статье расскажу об Elasticsearch + Logstash + Kibana и Prometheus и как их заинтегрировать со своим приложением.

Читать дальше →
Всего голосов 24: ↑23 и ↓1 +22
Просмотры 43K
Комментарии 33

Создаем самодостаточный Docker-кластер

Системное администрирование *IT-инфраструктура *Сетевые технологии *Серверное администрирование *DevOps *
Перевод

Самодостаточная система — это та, которая способна восстанавливаться и адаптироваться. Восстановление означает, что кластер почти всегда будет в том состоянии, в котором его запроектировали. Например, если копия сервиса выйдет из строя, то системе потребуется ее восстановить. Адаптация же связана с модификацией желаемого состояния, так чтобы система смогла справиться с изменившимися условиями. Простым примером будет увеличение трафика. В этом случае сервисам потребуется масштабироваться. Когда восстановление и адаптация автоматизировано, мы получаем самовосстанавливающуюся и самоадаптирующуюся систему. Такая система является самодостаточной и может действовать без вмешательства человека.


Как выглядит самодостаточная система? Какие ее основные части? Кто действующие лица? В этой статье мы обсудим только сервисы и проигнорируем тот факт, что железо также очень важно. Такими ограничениями мы составим картину высокого уровня, которая описывает (в основном) автономную систему с точки зрения сервисов. Мы опустим детали и взглянем на систему с высоты птичьего полёта.


Если вы хорошо разбираетесь в теме и хотите сразу всё понять, то система изображено на рисунке ниже.


self-sufficient-system

Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 24K
Комментарии 17

Истории успеха Kubernetes в production. Часть 4: SoundCloud (авторы Prometheus)

Блог компании Флант Системное администрирование *IT-инфраструктура *DevOps *Kubernetes *


Цикл статей о крупных и успешных пользователях Kubernetes продолжается рассказом про популярный онлайн-сервис для распространения аудиоконтента — SoundCloud. В прошлом году эту компанию собиралась купить Spotify AB (имеет шведские корни, как и SoundCloud), а совсем недавно — китайский интернет-гигант Tencent. Даже обслуживая ~175 миллионов активных пользователей в месяц, SoundCloud в последнее время испытывает финансовые проблемы, о чём стало известно благодаря крупному сокращению (173 сотрудников) минувшим летом, однако, если верить последним данным, ситуация наладилась. Так или иначе, куда больше нас интересует технологическая сторона вопроса, а точнее — применение Kubernetes, и вот что известно о SoundCloud из публичных источников…
Читать дальше →
Всего голосов 18: ↑18 и ↓0 +18
Просмотры 9.6K
Комментарии 6

Мониторинг с Prometheus в Kubernetes за 15 минут

Блог компании Флант Системное администрирование *Серверное администрирование *DevOps *Kubernetes *
Перевод
Tutorial


Прим. перев.: Автор статьи Giancarlo Rubio — DevOps-инженер из ИТ-компании LINKIT (Нидерланды) — через онлайн-ресурс ITNEXT делится лаконичным рецептом по настройке мониторинга с Prometheus в Kubernetes с помощью Prometheus Operator. Инструкция появилась как следствие недавнего опыта выбора и внедрения системы проактивного мониторинга после миграции проекта с bare metal на облачную инфраструктуру. Рецепт отлично подходит для быстрого теоретического (первая половина статьи) и практического (вторая половина) знакомства. Для некоторых команд исправлены URL'ы, которые в оригинальном материале, по всей видимости, были преобразованы движком medium.
Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Просмотры 43K
Комментарии 5

Prometheus

Блог компании OTUS DevOps *
Перевод
Доброго всем. Делимся тут очень интересной статьёй, на которую натыкались в рамках подготовки нашего курса. Перевод идёт, как есть целиком (за исключением некоторых комментариев).

Предыстория

В двух словах — вступление о мониторинге и аппеляционности убеждений. Как многим известно, я сопровождаю Riemann — инструмент обработки потоков событий для мониторинга распределенных систем. В моей книге, посвященной мониторингу, я использовал Riemann, как основной инструмент для изучения новых подходов и паттернов мониторинга, и описал архитектуру whitebox-мониторинга (с выборочным blackbox-мониторингом), используя push модель.

Чтобы понять, о чем я вообще веду речь, объясним некоторые концепции. Blackbox-мониторинг отвечает за проверку внешних характеристик сервисов или приложений: возможно ли подключиться к открытому порту сервиса, возвращаются ли корректные данные или код ответа. Примером blackbox-мониторинга может служить ICMP-запрос и подтверждение получения ответа.

В свою очередь, whitebox-мониторинг сфокусирован на том, что происходит внутри сервиса или приложения. Приложение, обладающее соответствующим инструментарием, возвращает состояние самого себя или внутренних компонентов, результат выполнения транзакций или событий. Эти данные отвечают на вопрос “как работает приложение”, а не на вопрос “работает ли приложение”. Whitebox-мониторинг передает события, логи или метрики в специальный инструмент для мониторинга или предоставляет информацию наружу для последующего сбора инструментом мониторинга.
Читать дальше →
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 17K
Комментарии 5

POWA-like мониторинг PostgreSQL с помощью Prometheus

Системное администрирование *PostgreSQL *Администрирование баз данных *
Tutorial

Предыстория


Для сбора и удобного просмотра данных о том, как работает PostgreSQL (общая производительность сервера, самые медленные запросы, самые частые запросы) мы долгое время использовали отличную утилиту POWA. Однако, это решение было далеко не идеальным и нам удалось найти более удачный вариант, к тому же полностью интегрированный с нашей основной системой мониторинга.

Читать дальше →
Всего голосов 12: ↑12 и ↓0 +12
Просмотры 20K
Комментарии 12

Организация системы мониторинга

Блог компании ITSumma Системное администрирование *Анализ и проектирование систем *Серверное администрирование *DevOps *

Мониторинг — это главное, что есть у админа. Админы нужны для мониторинга, а мониторинг нужен для админов.



За последние несколько лет поменялась сама парадигма мониторинга. Новая эра уже наступила, и если сейчас вы мониторите инфраструктуру как набор серверов — вы не мониторите почти ничего. Потому что теперь "инфраструктура" — это многоуровневая архитектура, и для мониторинга каждого уровня есть свои инструменты.


Кроме проблем типа "упал сервер", "надо заменить винт в рейде", теперь надо понимать проблемы уровня приложения и уровня бизнеса: "взаимодействие с микросервисом таким-то замедлилось", "в очереди слишком мало сообщений для текущего времени", "время выполнения запросов к бд в приложении растет, запросы — такие-то".


У нас на поддержке около пяти тысяч серверов, в самых разных конфигурациях: от систем из трех серверов с кастомными докеровскими сетками, до больших проектов с сотнями серверов в Kubernetes. И за всем этим надо как-то следить, вовремя понимать, что что-то сломалось и быстро чинить. Для этого надо понять что такое мониторинг, как он строится в современных реалиях, как его проектировать и что он должен делать. Об этом и хотелось бы рассказать.

Читать дальше →
Всего голосов 34: ↑29 и ↓5 +24
Просмотры 32K
Комментарии 25

Устройство и механизм работы Prometheus Operator в Kubernetes

Блог компании Флант Системное администрирование *Серверное администрирование *DevOps *Kubernetes *
В основу этой статьи легла наша внутренняя документация для DevOps-инженеров, объясняющая, как работает Prometheus под управлением Prometheus Operator в разворачиваемых и обслуживаемых кластерах Kubernetes.

image

С первого взгляда Prometheus может показаться достаточно сложным продуктом, но, как и любая хорошо спроектированная система, она состоит из явно выраженных функциональных компонентов и по сути делает всего три вещи: а) собирает метрики, б) выполняет правила, в) сохраняет результат в базу данных временных рядов (time series). Статья посвящена не столько самому Prometheus, сколько интеграции этой системы с Kubernetes, для чего мы активно используем вспомогательный инструмент под названием Prometheus Operator. Но начать всё же необходимо с самого Prometheus…
Читать дальше →
Всего голосов 29: ↑27 и ↓2 +25
Просмотры 30K
Комментарии 1

Мониторинг приложений с Prometheus

Блог компании OTUS Системное администрирование *DevOps *
Перевод
Добрый вечер!

На этой неделе мы запускаем четвёртый по счёту поток курса «DevOps: практики и инструменты», так что по традиции небольшая интересная статья для вас.

Поехали

В этом практическом руководстве мы рассмотрим, как интегрировать мониторинг Prometheus в существующее приложение. Мониторинг приложения может дать представление о том, как и когда приложение используется. Более того, можно предугадать потенциальные проблемы.

Ключевые моменты:

  • Изучение способов мониторинга приложений и серверов с помощью Prometheus;
  • Запуск Prometheus в Docker;
  • Мониторинг и инструментирование образца приложения Golang;
  • Развертывание Prometheus со стеками Docker;
  • Краткое руководство с примерами PromQL.

Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 20K
Комментарии 0

Фанат перемонтировал «Чужого» и «Прометея» в один фильм

Научная фантастика
Кино на ночь: двух с половиной часовой микс «Чужого» и «Прометея» «Заброшенный» (Derelict), сделанный юзером Дэниэлом aka JobWillins:



Видео уже потёрли копирасты. Скачать файл можно тут (ссылка из комментов) или на торренте с субтитрами

Русские субтитры к фильму отдельно (22.07.15 — обновлено)

Фильм создан путём сокращения материала «Прометея» на полчаса, вместо которого был добавлен почти час материалов из «Чужого» 1979 г. В «Заброшенном» также использованы и удалённые сцены из «Прометея». Чтобы сгладить контраст картинки фильма почти 40-летней давности с картиной 2012 года, он сделал «Заброшенного» чёрно-белым.
Читать дальше →
Всего голосов 37: ↑34 и ↓3 +31
Просмотры 28K
Комментарии 35

Интервью с основателем онлайн-курсов Prometheus

Интервью
imageУкраинский неприбыльный проект «Prometheus» появился сравнительно недавно. Это — открытые бесплатные онлайн-курсы, авторы которых — преподаватели лучших университетов страны, таких как Киево-Могилянская академия или киевский Политех. Сам список курсов достаточно многогранный: в нём и гуманитарные науки, и компьютерные дисциплины. Три недели назад Prometheus начал краудфандинговую кампанию и уже успел собрать больше, чем планировал. Сооснователь проекта Иван Примаченко согласился ответить на вопросы Geektimes.


В интернете можно найти довольно много онлайн-курсов по разным темам, в том числе и на русском языке. Есть ли у вас некая «киллер-фича», позволяющая вас выбрать среди остальных подобных ресурсов?

С момента запуска проекта мы сразу же ориентировались не на отдельные курсы, а на цельные циклы курсов. Первыми из них осенью 2015 года мы запустили циклы курсов по предпринимательству и гражданскому образованию. Цикл курсов по предпринимательству позволит получить достаточно знаний и навыков (от менеджмента и маркетинга до налогообложения и юридических аспектов ведения бизнеса), чтобы открыть собственный бизнес или технологический стартап. Цикл курсов по гражданскому образованию дает представление о том, как сделать страну лучше и включает в себя курсы от борьбы с коррупцией до урбанистики. Уже осенью 2016 будут запущены циклы курсов по программированию и анализу данных, которые должны дать слушателям объем знаний и умений, достаточный для получения должности уровня Junior.

Ну а «киллер-фичей», с прицелом на которую изначально и создавался проект, должна стать интеграция наших курсов в университетское образование в формате смешанного обучения (blended learning). Уже этой осенью Prometheus запустит пилотный проект смешанного обучения в нескольких вузах страны, среди которых Киевский политехнический институт и Украинский католический университет. Вместо традиционных лекций студенты по всей стране смогут слушать онлайн-лекции преподавателей Гарварда, Стэнфорда или Киево-Могилянской академии, в онлайне же выполнять задания и получать ответы на форумах курсов. В офлайне останутся семинары и физические лабораторные, которые нерационально переносить в онлайн, консультации преподавателей, которые теперь смогут уделить куда больше времени индивидуальной работе со студентами, и, конечно, финальный контроль. Результаты прохождения такого курса будут, как и в случае с обычными университетскими курсами, вноситься в диплом. Первые эксперименты MIT со смешанным обучением продемонстрировали фантастические результаты (прирост учебных показателей больше чем на 35%) поэтому мы возлагаем большие надежды на этот эксперимент. В случае успешного проведения пилота, мы будем инициировать технологическую реформу образования на базе смешанного обучения.
Читать дальше →
Всего голосов 18: ↑17 и ↓1 +16
Просмотры 11K
Комментарии 20