Кластер? Легко!

[ToSHiC]

А о чём, собственно, пост? О том, что некоторые алгоритмы хорошо масштабируются горизонтально и можно их запрограммировать с использованием openMPI и запустить на нескольких машинах?

[Intel8086]

Показать эффективность работы кластерных систем на конкретном примере.

[ToSHiC]

Как часто вам надо считать число Pi? :)
Вся сложность кластеризации реальных задач заключается в поиске параллельных алгоритмов. Детали же, openMPI это будет или нет, уже практически не влияют на результат.

Например, кластеризовать классические RDBMS крайне тяжело, и результат будет далеко не линейным от количества машин. А кластеризовать какое-нибудь key-value хранилище, изначально построенное на концепции eventual consistency и DHT легче лёгкого, ещё и реплик понаделать при этом, при линейном росте производительности на чтение и запись.

Ещё пример: параллелить ECB шифрование легко, CBC — невозможно.

[Intel8086]

Пойдем от пути простого к сложному, и начнем с числа Pi, дальше больше…

Про CBC согласен т.к. в этом режиме при шифровании каждая итерация алгоритма зависит от результата предыдущей итерации.

[uMg]

Загружаем пакет openMPI на узлы кластера, собираем и устанавливаем их.
./configure, make, make install

Нет правда… именно так? делаем из sles слаку…

[AnViar]

Стоит отметить, что у проекта есть src.rpm

[Intel8086]

Предпочитаю исходный код )

[Intel8086]

В данном случае, был определён общий порядок действий при конфигурации и установки пакета openMPI.

[80x86]

Не на порядок, а на некоторый процент, меньший (1/N) * 100%.

[Intel8086]

Исходный код программы для распределенного вычисления числа Pi.

[Intel8086]

Написанный на языке Fortran.

[divanikus]

Другие MPI не смотрели? Intel MPI, HP-MPI? Фортран интеловским компилятором с оптимизациями не собирали?

Что касается масштабирования, к сожалению расчетные задачи так линейно себя редко ведут. В основном после прохода некой границы расчет начинает ускоренно замедлятся.

[Intel8086]

Кластерные системы MPI от Intel и HP пока не использовал, как-то не приходилось, но в будущем — возможно.

[divanikus]

Они неплохо оптимизированы и показывают результаты выше чем у OpenMPI.

[ahriman]

Мы на нашем кластере давно ушли от OpenMPI. Невнятная вещь какая-то. Пользователи постоянно жаловались. В итоге грохнули, переехали обратно на qlogic mpi.
Мой опыт разработки с использованием OpenMPI тоже не ах. Производительность низкая.

[divanikus]

Ну мы на своем в основном HP-MPI используем. Вместе с Infiniband вроде бы неплохо себя ведет :)

[Intel8086]

HP-MPI коммерческий продукт, в настоящее время нашей организации не требуется это решение, но в планах возможен переход на кластерные системы от HP.

[divanikus]

Ну он поставляется в комплекте некоторого коммерческого софта, как и Intel-овский. О возможностях использования по отдельности лучше узнайте на офсайтах.

[divanikus]

Оборудование у нас не HP, если что.

[amarao]

Давайте всё-таки в заголовке уточнять, что за кластер. А то «абстрактный кластер» — это примерно как «абстрактное счастье».

[Intel8086]

Хорошо, в следующих статьях учту