Основная ИТ-проблема предприятий сегодня — это рост операционных расходов. По данным IDC, 70 % операционных расходов на ИТ связаны с эксплуатацией ЦОДов, при этом 80 % ИТ-персонала заняты на поддержке имеющейся инфраструктуры. Другая сторона этой проблемы состоит в том, что сложность ЦОДа не позволяет гибко реагировать на изменения бизнес-требований, вследствие чего ИТ-система предприятия начала тормозить развитие бизнеса. Все это привело к тому, что бизнес начал искать способы снизить операционные расходы на ИТ, а производители — предлагать такие системы.
![](https://habrastorage.org/r/w1560/files/d4b/335/9b1/d4b3359b107e4e5a9d9064362796fd9e.png)
Общий обзор программно-аппаратных систем мы уже сделали, а сегодня расскажем об Oracle Private Cloud Appliance (рис. 1) — системе, которая сочетает вычисление, сеть, СХД и виртуализацию, как вычислительную, так и сетевую. Private Cloud Appliance работает на всех популярных x86 OC операционных системах Linux, Windows, Solaris x86. Как мы уже писали ранее, каждый программно-аппаратный комплекс — это результат тщательнейшего проектирования, подбора компонентов, настройки программного обеспечения и оптимизации. Благодаря этому для развертывания программно-аппаратного комплекса Private Cloud Appliance нужен ровно один час. При расширении комплекса серверы добавляются к нему как системные ресурсы с автоматическим обнаружением и инсталляцией. Комплекс имеет единую консоль управления на основе веб-интерфейса. Управление Virtual Compute Appliance — установка, распределение ресурсов, развертывание виртуальных машин, интеграция с внешними системами и СХД — полностью автоматизировано. Любые x86-приложения работают на Virtual Compute Appliance без модификаций.
![](https://habrastorage.org/r/w1560/files/e07/100/459/e07100459d9c4d259f0a6e051e244c8a.png)
Виртуальные машины из шаблонов Oracle VM развертываются очень быстро. Например, для того чтобы развернуть кластер Oracle Real Application Cluster из Oracle VM-шаблона, нужно в 10 раз меньше времени, чем на VMware vSphere 5.
Давайте разберемся, как устроен программно-аппаратный комплекс Private Cloud Appliance, на котором все это так быстро работает.
![](https://habrastorage.org/r/w1560/files/cfe/56b/b5a/cfe56bb5ae6e47d3bf316eb8d19f421b.png)
Программно-аппаратный комплекс Private Cloud Appliance основан на следующих компонентах:
Серверная ферма выполнена на двухсокетных узлах Oracle X5-2 с процессорами Intel E5-2699 v3 (18 сore). Внутреннее хранилище объемом 20 дисков по 900 Гб (18 ТБ) мы называем системным диском, основное его назначение — хранение инсталляционных образов и ПО для управления программно-аппаратным комплексом. На этом СХД доступно 6 ТБ, которые пользователь может использовать по своему усмотрению, в том числе и для виртуальных машин, хотя для хранения виртуальной фермы мы рекомендуем использовать внешнее СХД.
Для сетевой виртуализации используется технология создания внутрисетевой виртуализации Oracle Virtual Networking (OVN). В отличие от классической сложной структуры коммутации, Oracle использует промежуточный слой — Oracle Fabric Interconnect, вся коммутация при этом ведется через высокоскоростную (каждое соединение — 40 Гбит/с) коммутируемую сеть Infiniband (рис. 3). Это не только существенно упрощает физическую структуру программно-аппаратного комплекса, но и дает возможность использовать совершенно новую функциональность — настраивать качество сервиса (QoS) для предсказуемой работы приложений, осуществлять миграцию виртуальных адаптеров с сервера на сервер и создавать новые сети.
![](https://habrastorage.org/r/w1560/files/bf4/37c/ce8/bf437cce87124fad90f84701d04e150c.png)
Кроме того, в Private Cloud Appliance включена функциональность Oracle Software Defined Network (SDN) — система создания частных сетей без OVN. На серверах работает агент, который создает между виртуальными адаптерами внутреннюю сеть, без использования коммутатора OVN. Схема работы Software Defined Network приведена на рис. 4.
![](https://habrastorage.org/r/w1560/files/507/cff/957/507cff9574254462b9cafbf91c92e2cb.png)
SDN совместно с Infiniband (IB) коммутацией обеспечивает очень высокую производительность в работе кластеров, приложений, при миграции виртуальных машин и позволяет настраивать качество сервиса при помощи политик QoS. Поскольку используется обычная сеть Ethernet, нет необходимости модификации сетевого стека.
Вся внутренняя коммутация сетевых узлов и системы хранения выполнена с помощью двух коммутаторов IB, соединенных с Fabric Interconnect F1-15, через которые идет связь с внешним ЦОД и внешними СХД (рис. 5). Заказчик при этом видит лишь 16 интерфейсов 10 Гбит-Ethernet для подключения к сети ЦОД и внешним СХД, сетевое управление и интерфейсы (IB и FC) для подключения к внешним системам хранения данных.
![](https://habrastorage.org/r/w1560/files/b4a/ac8/cc2/b4aac8cc269e4be9aa4e76992aff56db.png)
Администрирование системы выполняется двумя разными пользователями: один пользователь управляет оборудованием, второй пользователь управляет виртуальной фермой, настраивает и обслуживает виртуальные машины.
Как видно из рис. 6, программная структура Virtual Compute Appliance состоит из четырех слоев:
![image](https://habrastorage.org/r/w1560/files/e5b/904/2de/e5b9042de4dc43958f17d13a7c5335f3.png)
Гипервизор виртуализации, используемый в PCA — Oracle VM for X86. Он реализован на основе Xen и имеет всю необходимую функциональность для работы с виртуальной фермой.
Механизм балансировки виртуальных машин в пуле обеспечивает автоматическое перемещение виртуальных машин с наиболее нагруженных узлов на наименее нагруженные. Решается и обратная задача: если требуется более плотно утилизировать физические машины в пуле для экономии энергии, виртуальные машины «уплотняются» на ограниченном количестве узлов, а освободившиеся узлы можно отключить.
Готовые шаблоны виртуальных машин загружаются с сайта Oracle, что многократно ускоряет работу с системой. Это предварительно установленные и настроенные виртуальные машины — законченные инсталляции приложений, серверов приложений, баз данных.
PCA дает серьезное преимущество в стоимости программного обеспечения благодаря политике лицензирования Oracle Trusted Partitioning. Эта политика позволяет пользователю лицензировать на PCA только то количество ядер на Oracle, которое будет использовано этим приложением на всей виртуальной ферме. Например, виртуальная ферма PCA состоит из 5 узлов (5 × 36 = 180 ядер), Oracle DB использует 20 ядер, а остальное — иные приложения. Заказчик должен будет купить лицензии только на эти 20 ядер (10 лицензий) и использовать их по всей виртуальной ферме, без привязки к конкретным CPU. В случае с VMware пришлось бы покупать лицензии на все 180 ядер (90 лицензий).
Планируется расширение масштабирования PCA стойками расширения с вычислительными узлами, что увеличит размеры виртуальных ферм и диапазон применения этой инженерной системы.
По данным IDC 2015 г., глобальные затраты в программно-аппаратные комплексы вырастут с 4 млрд долларов в 2013 г. до 13,2 млрд долларов в 2018 г., при этом 15 % всех систем будут приобретаться как программно-аппаратные комплексы. При этом важно понимать, что только Oracle представляет полностью интегрированный стек для программно-аппаратных комплексов, включая операционную систему, гипервизор и приложения, которые могут работать на этой системе. Так что для Oracle это означает гигантский скачок спроса на ее программно-аппаратные системы, а для вас — повод познакомиться с ними поближе.
![](https://habrastorage.org/files/d4b/335/9b1/d4b3359b107e4e5a9d9064362796fd9e.png)
Общий обзор программно-аппаратных систем мы уже сделали, а сегодня расскажем об Oracle Private Cloud Appliance (рис. 1) — системе, которая сочетает вычисление, сеть, СХД и виртуализацию, как вычислительную, так и сетевую. Private Cloud Appliance работает на всех популярных x86 OC операционных системах Linux, Windows, Solaris x86. Как мы уже писали ранее, каждый программно-аппаратный комплекс — это результат тщательнейшего проектирования, подбора компонентов, настройки программного обеспечения и оптимизации. Благодаря этому для развертывания программно-аппаратного комплекса Private Cloud Appliance нужен ровно один час. При расширении комплекса серверы добавляются к нему как системные ресурсы с автоматическим обнаружением и инсталляцией. Комплекс имеет единую консоль управления на основе веб-интерфейса. Управление Virtual Compute Appliance — установка, распределение ресурсов, развертывание виртуальных машин, интеграция с внешними системами и СХД — полностью автоматизировано. Любые x86-приложения работают на Virtual Compute Appliance без модификаций.
![](https://habrastorage.org/files/e07/100/459/e07100459d9c4d259f0a6e051e244c8a.png)
Виртуальные машины из шаблонов Oracle VM развертываются очень быстро. Например, для того чтобы развернуть кластер Oracle Real Application Cluster из Oracle VM-шаблона, нужно в 10 раз меньше времени, чем на VMware vSphere 5.
Давайте разберемся, как устроен программно-аппаратный комплекс Private Cloud Appliance, на котором все это так быстро работает.
Аппаратное обеспечение
![](https://habrastorage.org/files/cfe/56b/b5a/cfe56bb5ae6e47d3bf316eb8d19f421b.png)
Программно-аппаратный комплекс Private Cloud Appliance основан на следующих компонентах:
- Система управления: пара x86-систем, которые мы называем контроллерами;
- Вычислительная ферма: от двух до 25 узлов
- Система хранения: ZFS ZS3-2;
- Сетевая инфраструктура: система сетевой виртуализации F1-15, IB-коммутации и управления
Серверная ферма выполнена на двухсокетных узлах Oracle X5-2 с процессорами Intel E5-2699 v3 (18 сore). Внутреннее хранилище объемом 20 дисков по 900 Гб (18 ТБ) мы называем системным диском, основное его назначение — хранение инсталляционных образов и ПО для управления программно-аппаратным комплексом. На этом СХД доступно 6 ТБ, которые пользователь может использовать по своему усмотрению, в том числе и для виртуальных машин, хотя для хранения виртуальной фермы мы рекомендуем использовать внешнее СХД.
Для сетевой виртуализации используется технология создания внутрисетевой виртуализации Oracle Virtual Networking (OVN). В отличие от классической сложной структуры коммутации, Oracle использует промежуточный слой — Oracle Fabric Interconnect, вся коммутация при этом ведется через высокоскоростную (каждое соединение — 40 Гбит/с) коммутируемую сеть Infiniband (рис. 3). Это не только существенно упрощает физическую структуру программно-аппаратного комплекса, но и дает возможность использовать совершенно новую функциональность — настраивать качество сервиса (QoS) для предсказуемой работы приложений, осуществлять миграцию виртуальных адаптеров с сервера на сервер и создавать новые сети.
![](https://habrastorage.org/files/bf4/37c/ce8/bf437cce87124fad90f84701d04e150c.png)
Кроме того, в Private Cloud Appliance включена функциональность Oracle Software Defined Network (SDN) — система создания частных сетей без OVN. На серверах работает агент, который создает между виртуальными адаптерами внутреннюю сеть, без использования коммутатора OVN. Схема работы Software Defined Network приведена на рис. 4.
![](https://habrastorage.org/files/507/cff/957/507cff9574254462b9cafbf91c92e2cb.png)
SDN совместно с Infiniband (IB) коммутацией обеспечивает очень высокую производительность в работе кластеров, приложений, при миграции виртуальных машин и позволяет настраивать качество сервиса при помощи политик QoS. Поскольку используется обычная сеть Ethernet, нет необходимости модификации сетевого стека.
Коммутация
Вся внутренняя коммутация сетевых узлов и системы хранения выполнена с помощью двух коммутаторов IB, соединенных с Fabric Interconnect F1-15, через которые идет связь с внешним ЦОД и внешними СХД (рис. 5). Заказчик при этом видит лишь 16 интерфейсов 10 Гбит-Ethernet для подключения к сети ЦОД и внешним СХД, сетевое управление и интерфейсы (IB и FC) для подключения к внешним системам хранения данных.
![](https://habrastorage.org/files/b4a/ac8/cc2/b4aac8cc269e4be9aa4e76992aff56db.png)
Администрирование системы выполняется двумя разными пользователями: один пользователь управляет оборудованием, второй пользователь управляет виртуальной фермой, настраивает и обслуживает виртуальные машины.
Программное обеспечение
Как видно из рис. 6, программная структура Virtual Compute Appliance состоит из четырех слоев:
- Слой автоматизации и управления, расположенный на контроллерах: отвечает за физическую работу системы — включение оборудования, установку, администрирование сервера, сетевое обнаружение, резервное копирование конфигурации системы на внешнее и внутреннее хранилища.
- Слой сетевой виртуализации: Oracle Software Defined Network, Fabric Monitor и Oracle Fabric Manager.
- Слой серверной виртуализации, реализованный на Oracle VM Server: отвечает за создание виртуальных вручную или посредством шаблонов, централизованное управление всеми серверами и управление виртуализацией (миграцию работающих виртуальных машин, балансировку нагрузки по всему программно-аппаратному комплексу, автоматический перезапуск неисправных виртуальных машин, автоматическое выключение свободных узлов на основе политик).
- Слой гостевых систем: Oracle Linux, Windows, Solaris x86.
![image](https://habrastorage.org/files/e5b/904/2de/e5b9042de4dc43958f17d13a7c5335f3.png)
Гипервизор виртуализации, используемый в PCA — Oracle VM for X86. Он реализован на основе Xen и имеет всю необходимую функциональность для работы с виртуальной фермой.
Механизм балансировки виртуальных машин в пуле обеспечивает автоматическое перемещение виртуальных машин с наиболее нагруженных узлов на наименее нагруженные. Решается и обратная задача: если требуется более плотно утилизировать физические машины в пуле для экономии энергии, виртуальные машины «уплотняются» на ограниченном количестве узлов, а освободившиеся узлы можно отключить.
Готовые шаблоны виртуальных машин загружаются с сайта Oracle, что многократно ускоряет работу с системой. Это предварительно установленные и настроенные виртуальные машины — законченные инсталляции приложений, серверов приложений, баз данных.
Особенности лицензирования Trusted Partitioning
PCA дает серьезное преимущество в стоимости программного обеспечения благодаря политике лицензирования Oracle Trusted Partitioning. Эта политика позволяет пользователю лицензировать на PCA только то количество ядер на Oracle, которое будет использовано этим приложением на всей виртуальной ферме. Например, виртуальная ферма PCA состоит из 5 узлов (5 × 36 = 180 ядер), Oracle DB использует 20 ядер, а остальное — иные приложения. Заказчик должен будет купить лицензии только на эти 20 ядер (10 лицензий) и использовать их по всей виртуальной ферме, без привязки к конкретным CPU. В случае с VMware пришлось бы покупать лицензии на все 180 ядер (90 лицензий).
Планы на будущее
Планируется расширение масштабирования PCA стойками расширения с вычислительными узлами, что увеличит размеры виртуальных ферм и диапазон применения этой инженерной системы.
По данным IDC 2015 г., глобальные затраты в программно-аппаратные комплексы вырастут с 4 млрд долларов в 2013 г. до 13,2 млрд долларов в 2018 г., при этом 15 % всех систем будут приобретаться как программно-аппаратные комплексы. При этом важно понимать, что только Oracle представляет полностью интегрированный стек для программно-аппаратных комплексов, включая операционную систему, гипервизор и приложения, которые могут работать на этой системе. Так что для Oracle это означает гигантский скачок спроса на ее программно-аппаратные системы, а для вас — повод познакомиться с ними поближе.