Облачные сервисы Oracle для ИТ-мониторинга
Новые облачные сервисы Oracle для ИТ-мониторинга обеспечивают эффективный мониторинг производительности бизнес-приложений в реальном масштабе времени и позволяют ответить на ряд вопросов: насколько быстро открываются веб-страницы, какие возникают ошибки, какова их причина. Платформа мониторинга, также, позволяет эффективно находить причины различных проблем через анализ лог-файлов и обеспечить планирование ресурсов ИТ-ландшафта: измерять загрузку баз данных и серверов приложений, оценивать и прогнозировать реальное использование ресурсов CPU, I/O, памяти.
![](https://habrastorage.org/r/w1560/files/b77/0b1/774/b770b1774d51446aa5c5b8d2470f35d5.png)
В январе 2016 г. компания Oracle представила группу новых сервисов под общим названием Management Cloud, в числе которых Application Performance Monitoring, Log Analytics и IT Analytics. В первую очередь они предназначены для службы эксплуатации ИТ-инфраструктуры, администраторов приложений, ИТ-архитекторов, руководителей ИТ-подразделений. Разумеется, у пользователей возникает вопрос: а как же наш Enterprise Manager — единая платформа для мониторинга и управления ИТ-инфраструктурой? Дело в том, что Enterprise Manager, безусловно, очень мощная система, незаменимый помощник в мониторинге отдельных компонентов, таких как база данных, сервер, программно-аппаратный комплекс и т.д. Но когда речь идет о том, чтобы локализовать проблему, найти ее в бизнес-приложении, состоящем из множества компонентов, из множества баз данных, из множества серверов приложений, которые установлены на разных физических и виртуальных серверах, — нужны специализированные инструменты. Кстати, важно понимать, что инструменты Oracle Management Cloud работают в Публичном Облаке Oracle, но в тесной интеграции с локальным Enterprise Manager.
Ключевые возможности инструментов Oracle Management Cloud: мониторинг веб-приложений на уровне конечных пользователей и компонентов инфраструктуры, помощь в планировании мощностей и ресурсов для ИТ-организации, анализ метрик и событий, агрегирование данных журналов, автоматизированное выявление аномалий и первопричин инцидентов. Исходными данными для инструментов мониторинга являются лог-файлы, данные, порождаемые пользователями, машинные данные, трассировочные файлы, метрики производительности, диагностические данные из репозитория EM, трассировочные данные, журналы аудита и т. д. (Рисунок 1).
![](https://habrastorage.org/r/w1560/files/3a4/174/3cf/3a41743cfa744b76a91cd07298b34454.png)
Важным источником данных для Oracle Management Cloud являются данные репозитория Enterprise Manager (Рисунок 2).
![](https://habrastorage.org/r/w1560/files/c5c/0b1/fac/c5c0b1facc92453f8d994854a6cc3be8.png)
Сервис Application Performance Monitoring (Рисунок 3) предназначен для мониторинга веб-приложений, построенных на платформе Oracle WebLogic или Apache Tomcat. Задачи APM — «профилирование» веб-приложения на различных уровнях: от конечного пользователя до инфраструктуры, помощь в поиске первопричин инцидентов, предоставление единого интерфейса для службы эксплуатации и разработчиков и, конечно, проактивный мониторинг опыта конечных пользователей; сервис Application Performance Monitoring позволяет определить опыт взаимодействия конечного пользователя с вашим веб-приложением. При этом APM позволяет производить контекстный нисходящий анализ производительности приложения от уровня пользователя, визуализировать взаимодействие модулей приложения и, если нужно, переключаться на «нижний» уровень, чтобы анализировать возможные связанные проблемы инфраструктуры.
![](https://habrastorage.org/r/w1560/files/a7a/768/26a/a7a76826a2ad43baa19979e1d9a6d389.png)
Служба эксплуатации и разработчики имеют в лице Application Performance Monitoring единый источник информации для реальной диагностики производительности вплоть до уровня кода и SQL-запросов. Разработчики получают доступ к ценным диагностическим данным и работают совместно со службой эксплуатации — они дополняют друг друга, это обеспечивает быстрое устранение проблем, повышается качество сопровождения (DevOps).
Сервис Application Performance Monitoring основан на методе инструментирования кода (похожая технология используется, например, в СУБД Oracle). Специальные агенты инструментируют код приложения и веб-страниц, измеряя производительность и передавая метрики в публичное облако через прокси-сервер в безопасном режиме.
Инструмент Log Analytics (Рисунок 4) может работать в связке с Application Performance Monitoring. Именно этот сервис непосредственно работает с журнальными файлами — он занимается поиском, сбором, хранением данных из журналов, анализом и исследованием информации в журналах и визуализацией.
![](https://habrastorage.org/r/w1560/files/8cd/4fc/1bf/8cd4fc1bf5d44dcaab77836a063172e5.png)
Достоинство инструмента Log Analytics заключается в том, что он не зависит ни от компонентов инфраструктуры, ни от форматов журнальных файлов. Сервис «из коробки» поддерживает около 30 форматов лог-файлов — журналы баз данных, Enterprise Manager, FMW, веб-серверов, кластерного программного обеспечения, операционных систем Linux, планировщиков и т. д. Для поддержки нестандартного журнального файла нужно написать простейший парсер, основанный на языке регулярных выражений
Используя машинные алгоритмы анализа, сервис Log Analytics может из тысяч рядовых сообщений, накопившихся в ваших журнальных файлах, например, за последние сутки, выявить несколько ценных сообщений об ошибке — те самые ошибки, которые, возможно и являются первопричиной инцидента. После обнаружения проблемы появляется меню «Show 1 Minute context» — т. е. отображение контекста системы за минуту до сообщения об ошибке и спустя минуту после него.
Вся инфраструктура сервиса Log Analytics находится в Публичном Облаке. Для пользователя предоставляется удобный Web-интерфейс, стандартные информационные панели, визуализирующие ключевые события, зафиксированные в журнальных файлах через диаграммы различного типа, а также можно создавать виджеты — собственные информационные панели.
Log Analytics собирает данные из лог-файлов в режиме реального времени, индексирует и хранит в Публичном Облаке на высокопроизводительной Big Data–платформе, что позволяет эффективно работать с огромными объемами журнальных данных, выполнять сортировку, поиск, группирование, машинный анализ.
Наконец, Log Analytics прекрасно интегрируется с Application Performance Monitoring. Кнопка «Drilldown to Log” позволяет «провалиться» с уровня кода на уровень конкретного, связанного элемента инфраструктуры.
Бизнесу необходимы инструменты для понимания функционирования текущего ИТ-ландшафта, планирования мощностей, выявления проблемных участков и т. д. Существующие системы этих задач не решают, т. к. они фокусируются на отдельных компонентах ИТ-ландшафта, таких как база данных или промежуточное ПО, и не позволяют установить, как системы функционируют в масштабе ЦОДа — за некий период времени, в разрезе приложений, систем центров затрат и т. д.
Поэтому еще одной важной частью набора сервисов Oracle Management Cloud является сервис IT Analytics (Рисунок 5). Область его применения — анализ текущего ИТ-ландшафта. Задачи, которые он выполняет: анализ использования ресурсов, распознавание систематических проблем производительности и планирование ресурсов. Цели анализа ИТ-ресурсов — выявление проблемных участков, сравнение нагрузок по различным периодам, выявление максимального потребления ресурсов по различным измерениям, оптимизация ресурсов и планирование роста через предсказание нагрузки.
![](https://habrastorage.org/r/w1560/files/e11/4ef/c47/e114efc47e7841c69d6a4169528d77eb.png)
Сервис позволяет выполнять также анализ производительности по различным критериям, таким как процессные ресурсы, ввод-вывод, память, объемы хранения данных, производительность промежуточного ПО, производительность Garbage Collector. Возможности визуализации данных позволяют упростить поиск по различным критериям, визуализировать KPI по ключевым компонентам для анализа текущего использования и трендов, а также использовать информационные панели. Например: Показать график суммарного использования CPU по бизнес-критичным БД версии 12.1.0.2 за последние 3 месяца.
Результат использования упомянутых возможностей для бизнеса — проактивный подход к мониторингу и планированию (улучшение использования ресурсов через выявление недостаточно или избыточно нагруженных узлов), снижение операционных расходов (затрат на анализ и выявление проблем) и помощь в трансформации ИТ (переход к проактивному подходу и стратегическому планированию).
* * *
Еще раз подчеркнем, что как Oracle Enterprise Manager не является заменой Oracle Management Cloud, так и Oracle Management Cloud никоим образом не является заменой Enterprise Manager. Сервисы Oracle Management Cloud и ваш, локально установленный Enterprise Manager работают совместно. Консолидация и визуализация данных из репозитория Enterprise Manager и различных метрик, собираемых агентами Oracle Management Cloud дает очень интересные возможности — проактивный подход к решению проблем, своевременный, бизнес-ориентированный мониторинг, улучшение взаимодействия разработчиков и службы эксплуатации (DevOps).
Oracle Management Cloud – набор сервисов в Публичном Облаке, предлагаемых по подписке, это значит, что заказчику нет необходимости дополнительно инвестировать и поддерживать дорогостоящую, сложную инфраструктуру для инструментов мониторинга. Все, что требуется: установить агентов и настроить передачу данных в Облако. Необходимо подчеркнуть, что сервисы Oracle Management Cloud не собирают и не передают в Облако бизнес-данные или персональные данные из БД! Собирается и анализируется только диагностическая информация, метрики, журнальные данные, которые при необходимости можно «замаскировать» перед отправкой в Облако.
Oracle Management Cloud активно развивается, помимо описанных в этой статье сервисов Application Performance Monitoring, Log Analytics и IT Analytics будут появляться новые сервисы. А главное — различные команды ИТ-службы, такие как разработчики и служба эксплуатации, смогут найти общий язык и работать эффективно!
Новые облачные сервисы Oracle для ИТ-мониторинга обеспечивают эффективный мониторинг производительности бизнес-приложений в реальном масштабе времени и позволяют ответить на ряд вопросов: насколько быстро открываются веб-страницы, какие возникают ошибки, какова их причина. Платформа мониторинга, также, позволяет эффективно находить причины различных проблем через анализ лог-файлов и обеспечить планирование ресурсов ИТ-ландшафта: измерять загрузку баз данных и серверов приложений, оценивать и прогнозировать реальное использование ресурсов CPU, I/O, памяти.
![](https://habrastorage.org/files/b77/0b1/774/b770b1774d51446aa5c5b8d2470f35d5.png)
В январе 2016 г. компания Oracle представила группу новых сервисов под общим названием Management Cloud, в числе которых Application Performance Monitoring, Log Analytics и IT Analytics. В первую очередь они предназначены для службы эксплуатации ИТ-инфраструктуры, администраторов приложений, ИТ-архитекторов, руководителей ИТ-подразделений. Разумеется, у пользователей возникает вопрос: а как же наш Enterprise Manager — единая платформа для мониторинга и управления ИТ-инфраструктурой? Дело в том, что Enterprise Manager, безусловно, очень мощная система, незаменимый помощник в мониторинге отдельных компонентов, таких как база данных, сервер, программно-аппаратный комплекс и т.д. Но когда речь идет о том, чтобы локализовать проблему, найти ее в бизнес-приложении, состоящем из множества компонентов, из множества баз данных, из множества серверов приложений, которые установлены на разных физических и виртуальных серверах, — нужны специализированные инструменты. Кстати, важно понимать, что инструменты Oracle Management Cloud работают в Публичном Облаке Oracle, но в тесной интеграции с локальным Enterprise Manager.
Ключевые возможности инструментов Oracle Management Cloud: мониторинг веб-приложений на уровне конечных пользователей и компонентов инфраструктуры, помощь в планировании мощностей и ресурсов для ИТ-организации, анализ метрик и событий, агрегирование данных журналов, автоматизированное выявление аномалий и первопричин инцидентов. Исходными данными для инструментов мониторинга являются лог-файлы, данные, порождаемые пользователями, машинные данные, трассировочные файлы, метрики производительности, диагностические данные из репозитория EM, трассировочные данные, журналы аудита и т. д. (Рисунок 1).
![](https://habrastorage.org/files/3a4/174/3cf/3a41743cfa744b76a91cd07298b34454.png)
Важным источником данных для Oracle Management Cloud являются данные репозитория Enterprise Manager (Рисунок 2).
![](https://habrastorage.org/files/c5c/0b1/fac/c5c0b1facc92453f8d994854a6cc3be8.png)
Application Performance Monitoring (APM)
Сервис Application Performance Monitoring (Рисунок 3) предназначен для мониторинга веб-приложений, построенных на платформе Oracle WebLogic или Apache Tomcat. Задачи APM — «профилирование» веб-приложения на различных уровнях: от конечного пользователя до инфраструктуры, помощь в поиске первопричин инцидентов, предоставление единого интерфейса для службы эксплуатации и разработчиков и, конечно, проактивный мониторинг опыта конечных пользователей; сервис Application Performance Monitoring позволяет определить опыт взаимодействия конечного пользователя с вашим веб-приложением. При этом APM позволяет производить контекстный нисходящий анализ производительности приложения от уровня пользователя, визуализировать взаимодействие модулей приложения и, если нужно, переключаться на «нижний» уровень, чтобы анализировать возможные связанные проблемы инфраструктуры.
![](https://habrastorage.org/files/a7a/768/26a/a7a76826a2ad43baa19979e1d9a6d389.png)
Служба эксплуатации и разработчики имеют в лице Application Performance Monitoring единый источник информации для реальной диагностики производительности вплоть до уровня кода и SQL-запросов. Разработчики получают доступ к ценным диагностическим данным и работают совместно со службой эксплуатации — они дополняют друг друга, это обеспечивает быстрое устранение проблем, повышается качество сопровождения (DevOps).
Сервис Application Performance Monitoring основан на методе инструментирования кода (похожая технология используется, например, в СУБД Oracle). Специальные агенты инструментируют код приложения и веб-страниц, измеряя производительность и передавая метрики в публичное облако через прокси-сервер в безопасном режиме.
Log Analytics
Инструмент Log Analytics (Рисунок 4) может работать в связке с Application Performance Monitoring. Именно этот сервис непосредственно работает с журнальными файлами — он занимается поиском, сбором, хранением данных из журналов, анализом и исследованием информации в журналах и визуализацией.
![](https://habrastorage.org/files/8cd/4fc/1bf/8cd4fc1bf5d44dcaab77836a063172e5.png)
Достоинство инструмента Log Analytics заключается в том, что он не зависит ни от компонентов инфраструктуры, ни от форматов журнальных файлов. Сервис «из коробки» поддерживает около 30 форматов лог-файлов — журналы баз данных, Enterprise Manager, FMW, веб-серверов, кластерного программного обеспечения, операционных систем Linux, планировщиков и т. д. Для поддержки нестандартного журнального файла нужно написать простейший парсер, основанный на языке регулярных выражений
Используя машинные алгоритмы анализа, сервис Log Analytics может из тысяч рядовых сообщений, накопившихся в ваших журнальных файлах, например, за последние сутки, выявить несколько ценных сообщений об ошибке — те самые ошибки, которые, возможно и являются первопричиной инцидента. После обнаружения проблемы появляется меню «Show 1 Minute context» — т. е. отображение контекста системы за минуту до сообщения об ошибке и спустя минуту после него.
Вся инфраструктура сервиса Log Analytics находится в Публичном Облаке. Для пользователя предоставляется удобный Web-интерфейс, стандартные информационные панели, визуализирующие ключевые события, зафиксированные в журнальных файлах через диаграммы различного типа, а также можно создавать виджеты — собственные информационные панели.
Log Analytics собирает данные из лог-файлов в режиме реального времени, индексирует и хранит в Публичном Облаке на высокопроизводительной Big Data–платформе, что позволяет эффективно работать с огромными объемами журнальных данных, выполнять сортировку, поиск, группирование, машинный анализ.
Наконец, Log Analytics прекрасно интегрируется с Application Performance Monitoring. Кнопка «Drilldown to Log” позволяет «провалиться» с уровня кода на уровень конкретного, связанного элемента инфраструктуры.
IT Analytics
Бизнесу необходимы инструменты для понимания функционирования текущего ИТ-ландшафта, планирования мощностей, выявления проблемных участков и т. д. Существующие системы этих задач не решают, т. к. они фокусируются на отдельных компонентах ИТ-ландшафта, таких как база данных или промежуточное ПО, и не позволяют установить, как системы функционируют в масштабе ЦОДа — за некий период времени, в разрезе приложений, систем центров затрат и т. д.
Поэтому еще одной важной частью набора сервисов Oracle Management Cloud является сервис IT Analytics (Рисунок 5). Область его применения — анализ текущего ИТ-ландшафта. Задачи, которые он выполняет: анализ использования ресурсов, распознавание систематических проблем производительности и планирование ресурсов. Цели анализа ИТ-ресурсов — выявление проблемных участков, сравнение нагрузок по различным периодам, выявление максимального потребления ресурсов по различным измерениям, оптимизация ресурсов и планирование роста через предсказание нагрузки.
![](https://habrastorage.org/files/e11/4ef/c47/e114efc47e7841c69d6a4169528d77eb.png)
Сервис позволяет выполнять также анализ производительности по различным критериям, таким как процессные ресурсы, ввод-вывод, память, объемы хранения данных, производительность промежуточного ПО, производительность Garbage Collector. Возможности визуализации данных позволяют упростить поиск по различным критериям, визуализировать KPI по ключевым компонентам для анализа текущего использования и трендов, а также использовать информационные панели. Например: Показать график суммарного использования CPU по бизнес-критичным БД версии 12.1.0.2 за последние 3 месяца.
Результат использования упомянутых возможностей для бизнеса — проактивный подход к мониторингу и планированию (улучшение использования ресурсов через выявление недостаточно или избыточно нагруженных узлов), снижение операционных расходов (затрат на анализ и выявление проблем) и помощь в трансформации ИТ (переход к проактивному подходу и стратегическому планированию).
* * *
Еще раз подчеркнем, что как Oracle Enterprise Manager не является заменой Oracle Management Cloud, так и Oracle Management Cloud никоим образом не является заменой Enterprise Manager. Сервисы Oracle Management Cloud и ваш, локально установленный Enterprise Manager работают совместно. Консолидация и визуализация данных из репозитория Enterprise Manager и различных метрик, собираемых агентами Oracle Management Cloud дает очень интересные возможности — проактивный подход к решению проблем, своевременный, бизнес-ориентированный мониторинг, улучшение взаимодействия разработчиков и службы эксплуатации (DevOps).
Oracle Management Cloud – набор сервисов в Публичном Облаке, предлагаемых по подписке, это значит, что заказчику нет необходимости дополнительно инвестировать и поддерживать дорогостоящую, сложную инфраструктуру для инструментов мониторинга. Все, что требуется: установить агентов и настроить передачу данных в Облако. Необходимо подчеркнуть, что сервисы Oracle Management Cloud не собирают и не передают в Облако бизнес-данные или персональные данные из БД! Собирается и анализируется только диагностическая информация, метрики, журнальные данные, которые при необходимости можно «замаскировать» перед отправкой в Облако.
Oracle Management Cloud активно развивается, помимо описанных в этой статье сервисов Application Performance Monitoring, Log Analytics и IT Analytics будут появляться новые сервисы. А главное — различные команды ИТ-службы, такие как разработчики и служба эксплуатации, смогут найти общий язык и работать эффективно!