Привет, Хабр! В этой публикации снова поговорим про HP Superdome X, а точнее, про некоторые защитные механизмы, которые в нём есть.
Показывает отработку firmware HP Superdome X некорректируемых ошибок в памяти на примере ОС Linux. Рассмотрим механизм обработки некорректируемых ошибок в памяти.
Пользовательское приложение сталкивается с ошибкой памяти, эту ошибку детектирует Firmware сервера HP Superdome X, механизм Firmware – MCA Recovery определяет регионы памяти, содержащие ошибку. Как часто возникают ошибки памяти в сервере? Вас удивит насколько часто! Исследование Google, проведённое в их ЦОДах показало, что некорректируемые ошибки в памяти встречаются довольно часто (причиной могут быть как ошибки приложений, так и внешние факторы, такие как космическое излучение).
При этом, вероятность появления некорректируемой ошибки в модуле, хотя бы раз пережившем даже корректируемую ошибку, исправленную ECC или Chipkill – составляет 70-80%, так что повнимательнее присматривайтесь к таким модулям в вашем серверном парке и по возможности не размещайте на них критически важных приложений). Около 8% модулей памяти в датацентре Google сталкивается со сбоями в оперативной памяти. Кстати, в этом отчёте раскрывается такой интересный факт, как подверженность памяти «эффекту старения».
Исследование компании HP подтверждает эти данные – ниже приведена статистика выхода из строя компонент сервера в год (ACR, annual crash rate) по принципу Парето (в анализируемых серверах не применялось зеркалирование памяти, использовался стандартный и самый популярный у заказчиков режим корректировки SDDC+1 – когда корректируется один чип на каждые 4 чипа):
Поэтому очень важно для серверов подобного класса иметь механизм, умеющий изолировать ошибки памяти, без выхода из строя приложения, ОС и сервера, особенно для бизнес-критичных задач.
Поиск ошибки осуществляет механизм постоянной проверки памяти Patrol scrubber. После обнаружения ошибки Hardware сервера пытается откорректировать ошибку (с помощью ECC или Chipkill). Если Hardware не может откорректировать ошибку, происходит оповещение ОС. После этого механизм HP Memory Quarantine изолирует ошибку до того, как она сможет повредить данным, что позволяет снизить частоту выхода из строя приложений из-за некорректируемых ошибок в памяти. Далее сбойный участок изолируется, чтобы избежать дальнейших обращений, а модуль памяти может быть заменён во время процедуры следующей плановой диагностики.
Параллельно этому процессу ядро Linux «запоминает» сбойный адрес памяти, отправляет сигнал SIGBUS приложению, использующему этот участок памяти. Приложение, получившее такой сигнал, начинает перемещение затронутого участка на другой адрес памяти, не приостанавливая свою работу.
Помимо HP Superdome X этот механизм используется в 4-сокетных серверах HP DL580 Gen9.
Этапы работы механизма Advanced Error Recovery
Видео, показывающее, как система HP Superdome X справляется с некорректируемой ошибкой памяти доступно по ссылке.
Отчёт компании HP о повышении времени непрерывной работы сервера HP Superdome X с использованием специального Firmware, отслеживающего некорректируемые ошибки в памяти в многопроцессорных серверах.
Показывает отработку Firmware HP Superdome X ошибок ввода/вывода «на лету» на примере ОС Linux. Как мы знаем, шина PCI построена на архитектуре Serial Bus Architecture, а значит, возникающие в этой шине ошибки потенциально могут распространяться на другие устройства, работающие с этой шиной, что может приводить к появлению неконсистентных данных. Документировано свыше 18 возможных ошибок ввода/вывода, а шанс появления такой ошибки возрастает с добавлением устройств PCI. Зная это, в firmware HP был добавлен механизм взаимодействия с Intel Live Error Recovery – изоляции I/O в случае появления таких ошибок.
При появлении ошибок ввода/вывода Intel Live Error Recovery изолирует ошибку, предотвращая падение ОС или приложения. Параллельно с этим Intel Live Error Recovery уведомляет микрокод HP о появлении такой ошибки, после этого прекращает любые I/O, чтобы избежать утечки повреждённых данных вне сервера. Далее Firmware HP уведомляет вышестоящий драйвер I/O-устройства и ОС о появлении ошибки.
Функции Firmware позволяют ОС Linux создавать расширенный отчёт (syslog) для детальной проработки ошибки I/O администратором или службой поддержки.
Кроме этого, в Firmware включен механизм Error Analysis Engine, который анализирует ошибки ввода/вывода и выдаёт рекомендации обслуживающему персоналу об их возможных причинах. В демонстрационном видео можно увидеть сравнение обработки ошибки в сетевой карте в стандартном сервере и в HP Superdome X и сравнение LOG-файлов этих серверов.
Видео обработки этой ошибки HP Superdome X. Подробнее о другом RAS функционале, реализованном в HP Superdome X можно прочесть в документе: «HP Superdome X system architecture and RAS».
Таким образом, уникальность firmware компании HP в многопроцессорных системах HP Superdome X в том, что оно позволяет реализовать все возможности компонент сервера (процессоров, памяти, устройств) по надежности, доступности и удобству эксплуатации (RAS features). Отчёт компании IDC, анализировавшей систему HP Superdome X и ее применимость для задач Mission-Critical.
Важным функционалом, которым обладает новый HP Superdome X, является электрическая изоляция блейд-разделов (партиций). Партицирование позволяет настроить HP Superdome X как одну большую систему, состоящую из нескольких блейд-серверов, так и как несколько независимых, изолированных маленьких систем. Каждый раздел имеет свой независмый набор CPU, памяти, I/O, что позволяет системе оставаться работоспособной в случае выхода из строя блейд-серверов целиком, в отличие от многопроцессорных систем, имеющих общую шину PCI.
Системы с общим midplane между CPU (A) потенциально уязвимы к распространению ошибок между узлами и зависимы от общей шины, которая, к тому же, ограничивает производительность всей системы, не способная быстро обрабатывать большое количество обращений CPU-CPU, в отличие от электрически независимых партиций nPar в HP Superdome X (B), которые лишены этих недостатков.
Этот функционал был мигрирован с платформы Superdome Integrity и позволяет гибко разграничить ресурсы корзины HP Superdome X под разные задачи. Например, для баз данных на одном HP Superdome X можно запустить сразу несколько сред (продуктивная, тестовая и разработка), добавить виртуализацию и разместить в рамках одной партиции несколько контейнеров баз данных. Такой подход не потребует физического перемещения компонент и может быть выполнен из консоли администратора.
Гибкость разграничения ресурсов под различные задачи в корзине HP Superdome X
Контейнерный тип размещения БД поддерживают продукты SAP и Oracle. В одном из наших внедрений заказчик под платформу SAP HANA использовал такой контейнерный принцип размещения ресурсов, изоляция партиций HP Superdome X позволила ему запустить на единой платформе OLAP и OLTP нагрузку, что пока недоступно на стандартных системах x86.
Ок, а что с защитой приложения? Не волнуйтесь, в арсенале средств HP есть хорошо себя зарекомендовавший инструмент – HP Serviceguard, поддерживающий большое количество приложений, в том числе таких критически важных, как базы данных. HP Serviceguard тщательно контролирует работу аппаратного обеспечения, сети, системы хранения, ОС, гипервизора. Как только возникает сбой – HP Serviceguard в автоматическом режиме возобновляет работу сервисов на резервных узлах кластера. При этом Serviceguard поддерживает горизонтально-масштабируемые систем (Scale-Out), чего пока не умеют стандартные кластеры Linux. Для создания катастрофоустойчивых систем существует поддержка географически распределенных кластеров (Metroclusters). Подробнее об этом продукте будет написано в отдельной статье.
Дублируем полезный материал и вопросы из первой части
Q1: Есть ли открытые тесты производительности системы HP Superdome X?
A1: Есть, HP Superdome X показал высокую производительность в стандартном тесте SPECjbb2013, первым среди систем x86 преодолев отметку в 1-млн jOPS.
Июнь 2014 | Ноябрь 2014 | Декабрь 2014
Тест SPEC CPU2006
Q: Я слышал, что с ростом количества процессоров в системе производительность растет не линейно, это так?
A: Да, при использовании стандартной архитектуры Intel это так, но в системе HP Superdome X при добавлении процессоров наблюдается почти линейный рост производительности благодаря использованию высокопроизводительной архитектуры Crossbar (фактор 1.92x при росте системы с 4 до 8 сокетов и фактор 1.86x при росте системы с 8 до 16 сокетов, подтверждение можно увидеть из результатов теста выше.
Q: Есть ли открытые внедрения системы HP Superdome X у российских заказчиков?
A: Есть, например, компания МТС.
Q: Есть ли цифры производительности HP Superdome X для баз данных?
A: Есть, например, для SQL 2014.
Q: А есть ли документы, показывающие испытание HP Superdome X на Oracle?
A: Да, есть на Oracle 12c, есть реальные заказчики, протестировавшие свои данные на HP Superdome X под Oracle, референсы не публичные, но цифры доступны при обсуждении.
Q: А поддерживается ли установка гипервизора на HP Superdome X?
A: Да, например, VMware, это можно проверить в матрице совместимости (http://www.vmware.com/resources/compatibility/search.php)
» Running Linux on BL920c Gen8
» Running Windows on HP Superdome X
» Running SQL 2014 on HP Superdome X – reference guide
» Лучшие практики по оптимизации производительности Superdome X в среде Linux: NUMA, энергопотребление, сеть, I/O
1. У вас появилась возможность по переводу своих бизнес-критичных задач на стандартную платформу x86 по конкурентоспособным ценам. Согласно двум отчетам IDC (1 IDC’s Server Workloads 2008, June 2008; IDC Special Study Server Workloads Forecast and Analysis Study, 2008 – 2013 (IDC# 219746)) 85% современных больших нагрузок, в том числе BI, CRM и ERP могут быть размещены на серверах архитектуры x86;
2. Открытость платформы HP Superdome X на процессорах x86 снижает стоимость приобретения аппаратной платформы и ускоряет развертывание, в сравнении с закрытыми архитектурами;
3. Широкий диапазон доступных приложений для HP Superdome X: процессоры E7 Xeon поддерживают открытые ОС, такие, как Linux и Windows, что позитивно сказывается на скорости разработки приложений и развитии;
4. Низкая совокупная стоимость владения (TCO) HP Superdome X: переход на системы с процессорами E7 Xeon позволяет получить снижение TCO с среднем на 20-50% по сравнению с RISC системами (отчёт ITIC, 2013);
5. Уровень доступности системы HP Superdome X на базе Intel Xeon E7 достигает 99.999%+, что сопоставимо с уровнем доступности современных RISC систем (отчеты – раз и два);
6. Использование HP Superdome X обеспечит длительную защиту инвестиций: в этом году в корзине Superdome X можно будет размещать блейд серверы с разными поколениями процессоров Ivy Bridge и Haswell, в будущем планируется поддержка и новых процессоров Intel в блейд серверах Superdome X.
Механизм Advanced Error Recovery
Показывает отработку firmware HP Superdome X некорректируемых ошибок в памяти на примере ОС Linux. Рассмотрим механизм обработки некорректируемых ошибок в памяти.
Пользовательское приложение сталкивается с ошибкой памяти, эту ошибку детектирует Firmware сервера HP Superdome X, механизм Firmware – MCA Recovery определяет регионы памяти, содержащие ошибку. Как часто возникают ошибки памяти в сервере? Вас удивит насколько часто! Исследование Google, проведённое в их ЦОДах показало, что некорректируемые ошибки в памяти встречаются довольно часто (причиной могут быть как ошибки приложений, так и внешние факторы, такие как космическое излучение).
При этом, вероятность появления некорректируемой ошибки в модуле, хотя бы раз пережившем даже корректируемую ошибку, исправленную ECC или Chipkill – составляет 70-80%, так что повнимательнее присматривайтесь к таким модулям в вашем серверном парке и по возможности не размещайте на них критически важных приложений). Около 8% модулей памяти в датацентре Google сталкивается со сбоями в оперативной памяти. Кстати, в этом отчёте раскрывается такой интересный факт, как подверженность памяти «эффекту старения».
Исследование компании HP подтверждает эти данные – ниже приведена статистика выхода из строя компонент сервера в год (ACR, annual crash rate) по принципу Парето (в анализируемых серверах не применялось зеркалирование памяти, использовался стандартный и самый популярный у заказчиков режим корректировки SDDC+1 – когда корректируется один чип на каждые 4 чипа):
Поэтому очень важно для серверов подобного класса иметь механизм, умеющий изолировать ошибки памяти, без выхода из строя приложения, ОС и сервера, особенно для бизнес-критичных задач.
Поиск ошибки осуществляет механизм постоянной проверки памяти Patrol scrubber. После обнаружения ошибки Hardware сервера пытается откорректировать ошибку (с помощью ECC или Chipkill). Если Hardware не может откорректировать ошибку, происходит оповещение ОС. После этого механизм HP Memory Quarantine изолирует ошибку до того, как она сможет повредить данным, что позволяет снизить частоту выхода из строя приложений из-за некорректируемых ошибок в памяти. Далее сбойный участок изолируется, чтобы избежать дальнейших обращений, а модуль памяти может быть заменён во время процедуры следующей плановой диагностики.
Параллельно этому процессу ядро Linux «запоминает» сбойный адрес памяти, отправляет сигнал SIGBUS приложению, использующему этот участок памяти. Приложение, получившее такой сигнал, начинает перемещение затронутого участка на другой адрес памяти, не приостанавливая свою работу.
Помимо HP Superdome X этот механизм используется в 4-сокетных серверах HP DL580 Gen9.
Этапы работы механизма Advanced Error Recovery
Видео, показывающее, как система HP Superdome X справляется с некорректируемой ошибкой памяти доступно по ссылке.
Отчёт компании HP о повышении времени непрерывной работы сервера HP Superdome X с использованием специального Firmware, отслеживающего некорректируемые ошибки в памяти в многопроцессорных серверах.
Механизм Live Error Recovery в HP Superdome X
Показывает отработку Firmware HP Superdome X ошибок ввода/вывода «на лету» на примере ОС Linux. Как мы знаем, шина PCI построена на архитектуре Serial Bus Architecture, а значит, возникающие в этой шине ошибки потенциально могут распространяться на другие устройства, работающие с этой шиной, что может приводить к появлению неконсистентных данных. Документировано свыше 18 возможных ошибок ввода/вывода, а шанс появления такой ошибки возрастает с добавлением устройств PCI. Зная это, в firmware HP был добавлен механизм взаимодействия с Intel Live Error Recovery – изоляции I/O в случае появления таких ошибок.
При появлении ошибок ввода/вывода Intel Live Error Recovery изолирует ошибку, предотвращая падение ОС или приложения. Параллельно с этим Intel Live Error Recovery уведомляет микрокод HP о появлении такой ошибки, после этого прекращает любые I/O, чтобы избежать утечки повреждённых данных вне сервера. Далее Firmware HP уведомляет вышестоящий драйвер I/O-устройства и ОС о появлении ошибки.
Функции Firmware позволяют ОС Linux создавать расширенный отчёт (syslog) для детальной проработки ошибки I/O администратором или службой поддержки.
Кроме этого, в Firmware включен механизм Error Analysis Engine, который анализирует ошибки ввода/вывода и выдаёт рекомендации обслуживающему персоналу об их возможных причинах. В демонстрационном видео можно увидеть сравнение обработки ошибки в сетевой карте в стандартном сервере и в HP Superdome X и сравнение LOG-файлов этих серверов.
Видео обработки этой ошибки HP Superdome X. Подробнее о другом RAS функционале, реализованном в HP Superdome X можно прочесть в документе: «HP Superdome X system architecture and RAS».
Таким образом, уникальность firmware компании HP в многопроцессорных системах HP Superdome X в том, что оно позволяет реализовать все возможности компонент сервера (процессоров, памяти, устройств) по надежности, доступности и удобству эксплуатации (RAS features). Отчёт компании IDC, анализировавшей систему HP Superdome X и ее применимость для задач Mission-Critical.
Механизм Partition and error isolation (пассивный midplane), обеспечивающий электрическую изоляцию блейд-серверов
Важным функционалом, которым обладает новый HP Superdome X, является электрическая изоляция блейд-разделов (партиций). Партицирование позволяет настроить HP Superdome X как одну большую систему, состоящую из нескольких блейд-серверов, так и как несколько независимых, изолированных маленьких систем. Каждый раздел имеет свой независмый набор CPU, памяти, I/O, что позволяет системе оставаться работоспособной в случае выхода из строя блейд-серверов целиком, в отличие от многопроцессорных систем, имеющих общую шину PCI.
Системы с общим midplane между CPU (A) потенциально уязвимы к распространению ошибок между узлами и зависимы от общей шины, которая, к тому же, ограничивает производительность всей системы, не способная быстро обрабатывать большое количество обращений CPU-CPU, в отличие от электрически независимых партиций nPar в HP Superdome X (B), которые лишены этих недостатков.
Этот функционал был мигрирован с платформы Superdome Integrity и позволяет гибко разграничить ресурсы корзины HP Superdome X под разные задачи. Например, для баз данных на одном HP Superdome X можно запустить сразу несколько сред (продуктивная, тестовая и разработка), добавить виртуализацию и разместить в рамках одной партиции несколько контейнеров баз данных. Такой подход не потребует физического перемещения компонент и может быть выполнен из консоли администратора.
Гибкость разграничения ресурсов под различные задачи в корзине HP Superdome X
Контейнерный тип размещения БД поддерживают продукты SAP и Oracle. В одном из наших внедрений заказчик под платформу SAP HANA использовал такой контейнерный принцип размещения ресурсов, изоляция партиций HP Superdome X позволила ему запустить на единой платформе OLAP и OLTP нагрузку, что пока недоступно на стандартных системах x86.
Ок, а что с защитой приложения? Не волнуйтесь, в арсенале средств HP есть хорошо себя зарекомендовавший инструмент – HP Serviceguard, поддерживающий большое количество приложений, в том числе таких критически важных, как базы данных. HP Serviceguard тщательно контролирует работу аппаратного обеспечения, сети, системы хранения, ОС, гипервизора. Как только возникает сбой – HP Serviceguard в автоматическом режиме возобновляет работу сервисов на резервных узлах кластера. При этом Serviceguard поддерживает горизонтально-масштабируемые систем (Scale-Out), чего пока не умеют стандартные кластеры Linux. Для создания катастрофоустойчивых систем существует поддержка географически распределенных кластеров (Metroclusters). Подробнее об этом продукте будет написано в отдельной статье.
FAQ
Дублируем полезный материал и вопросы из первой части
Q1: Есть ли открытые тесты производительности системы HP Superdome X?
A1: Есть, HP Superdome X показал высокую производительность в стандартном тесте SPECjbb2013, первым среди систем x86 преодолев отметку в 1-млн jOPS.
Июнь 2014 | Ноябрь 2014 | Декабрь 2014
Тест SPEC CPU2006
Q: Я слышал, что с ростом количества процессоров в системе производительность растет не линейно, это так?
A: Да, при использовании стандартной архитектуры Intel это так, но в системе HP Superdome X при добавлении процессоров наблюдается почти линейный рост производительности благодаря использованию высокопроизводительной архитектуры Crossbar (фактор 1.92x при росте системы с 4 до 8 сокетов и фактор 1.86x при росте системы с 8 до 16 сокетов, подтверждение можно увидеть из результатов теста выше.
Q: Есть ли открытые внедрения системы HP Superdome X у российских заказчиков?
A: Есть, например, компания МТС.
Q: Есть ли цифры производительности HP Superdome X для баз данных?
A: Есть, например, для SQL 2014.
Q: А есть ли документы, показывающие испытание HP Superdome X на Oracle?
A: Да, есть на Oracle 12c, есть реальные заказчики, протестировавшие свои данные на HP Superdome X под Oracle, референсы не публичные, но цифры доступны при обсуждении.
Q: А поддерживается ли установка гипервизора на HP Superdome X?
A: Да, например, VMware, это можно проверить в матрице совместимости (http://www.vmware.com/resources/compatibility/search.php)
Почитать
» Running Linux on BL920c Gen8
» Running Windows on HP Superdome X
» Running SQL 2014 on HP Superdome X – reference guide
» Лучшие практики по оптимизации производительности Superdome X в среде Linux: NUMA, энергопотребление, сеть, I/O
Выводы
1. У вас появилась возможность по переводу своих бизнес-критичных задач на стандартную платформу x86 по конкурентоспособным ценам. Согласно двум отчетам IDC (1 IDC’s Server Workloads 2008, June 2008; IDC Special Study Server Workloads Forecast and Analysis Study, 2008 – 2013 (IDC# 219746)) 85% современных больших нагрузок, в том числе BI, CRM и ERP могут быть размещены на серверах архитектуры x86;
2. Открытость платформы HP Superdome X на процессорах x86 снижает стоимость приобретения аппаратной платформы и ускоряет развертывание, в сравнении с закрытыми архитектурами;
3. Широкий диапазон доступных приложений для HP Superdome X: процессоры E7 Xeon поддерживают открытые ОС, такие, как Linux и Windows, что позитивно сказывается на скорости разработки приложений и развитии;
4. Низкая совокупная стоимость владения (TCO) HP Superdome X: переход на системы с процессорами E7 Xeon позволяет получить снижение TCO с среднем на 20-50% по сравнению с RISC системами (отчёт ITIC, 2013);
5. Уровень доступности системы HP Superdome X на базе Intel Xeon E7 достигает 99.999%+, что сопоставимо с уровнем доступности современных RISC систем (отчеты – раз и два);
6. Использование HP Superdome X обеспечит длительную защиту инвестиций: в этом году в корзине Superdome X можно будет размещать блейд серверы с разными поколениями процессоров Ivy Bridge и Haswell, в будущем планируется поддержка и новых процессоров Intel в блейд серверах Superdome X.
