Как стать автором
Обновить

Dell соберет для нефтяников самый мощный промышленный суперкомпьютер в истории

Время на прочтение 3 мин
Количество просмотров 12K
Всего голосов 19: ↑18 и ↓1 +17
Комментарии 16

Комментарии 16

А я бы предположил, что скорее всего они будут моделировать гидродинамику в пористых средах (породах с неизвлекаемой нефтью), чтобы понять, как ее оттуда извлечь. Так что это не Big Data в традиционном понимании и не нейронные сети. Источник: мой знакомый занимается исследованиями в научном институте по проблемам нефтедобычи в Саудовской Аравии. Так вот они на суперкомпьютерах моделируют гидродинамику.

И еще молекулярную динамику в пористых средах можно моделировать, чтобы понять, какими реагентами нефть лучше извлекать. И еще теоретически можно их комбинировать (гидродинамика+молекулярная динамика).

Aramco? Офис в МСК? :)

Нет, не угадали :-) Не Aramco, и даже не МСК (и я даже не в нефтянке работаю :-) ).

1820 серверов по 24 ядра, это 43680 ядер.
Такое чувство, что у Гугла их намного больше серверов и ядер. Судя по тем задачам, что они решают и тем сервисам что предлагают.
В наше время анализ действий пользователей и реклама намного выгоднее (и приоритетнее) нежели научно-технический прогресс.
Получается у гугла самый большой суперкомпьютер? Или его нельзя считать таковым?
Нельзя, т.к. это не единая система а много кучек разрозненных серверов разбросанных по всему миру и занимающихся самыми разными задачами независимо.

Суперкомпьютерами называют только системы способные согласованно и эффективно работать над решением какой-то одной общей задачи (как и обычный компьютер — только супер).
Из этого неявно следуют требования к
— однородности состава узлов системы (иначе задача распределения одной общей задачи по множеству вычислителей плохо решается)
— физического расположения всех узлов системы в одном месте в одном помещении/здании, иначе не решаются вопросы максимально быстрого (по пропускной способности и с минимальными задержками) обмена информацией между узлами
Да, первая мысль тоже такая была. Но по факту не важно как разнесены серверы в пространстве. Владелец то один. И то, что задачи решает разные — тоже не сильно важно. Если гугл захочет — запустит на всех серверах одно параллельное вычисление. Пропускной способности им хватит за глаза — не хуже чем в дата центре.

Поэтому вопрос чем гугл не суперкомпьютер — остаётся открытым.

Пропускная способность в суперкомпьютерах на несколько порядков выше, чем у распределенных узлов. Кроме того, важна еще задержка. Пропускная способность может быть высокой, но задержка на любую передачу данных большой, и скорость вычислений в итоге маленькой

Да это понятно. Так или иначе производительность суперкомпьютеров оцениваются в петафлопсах. Что если у гугла петафлопсов больше? По факту ведь это означает, что у них самый мощный суперькомпьютер.

Ну для расчета гидродинамики это не суперкомпьютер. Для расчета гидродинамики каждый вычислительный узел каждую итерацию должен обмениваться информацией с соседями (как изменилось состояние границы той области, которая рассчитывается на узле). При обмене через http о скорости расчета можно забыть. И петафлопсы, если их нормально считать, должны сильно упасть, потому что все узлы большую часть времени не занимаются расчетом, а ждут ответа от соседей.

Если просто взять флопсы каждого сервера в отдельности и тупо их все сложить арифметически — да, наверняка получится намного больше.

Но это не означает, что у гугла есть (или потенциально может быть) самый мощный суперкомпьютер. Потому что во всех задачах которые решаются на суперкомпьютерах (для чего их вообще разрабатывают и строят) все эта прорва петафлопов по реальной скорости вычислений проиграет слабенькому но «настоящему» суперкомпьютеру.

Собственно если даже стандартный синтетический тест по которому как раз формальные попугаи (петафлопы) на суперкомпьютерах замеряют (обычно это LinPack — решение огромной системы линейных уравнений или что-то подобное) на такой распределенной системе запустить он покажет удручающе мало этих самых «попугаев» — в сотни раз меньше чем простая арифметическая сумма скоростей отдельных узлов и с таким показателем в ТОП самых мощных суперкомпьютеров не попасть даже формально.

Даже в настоящих суперах сейчас связь между узлами (интерконнект) часто оказывается самым узким местом, которое ограничивает общую скорость вычислений. Несмотря на то что их отдельные узлы связываются по огромной куче оптических линков всего в считанные метры длиной, которые работают на скоростях минимум в десятки Гигабит/с на каждую линию (и таких независимых линий там тысячи) и по собственным специальным протоколам оптимизированным на минимальные задержки измеряемые в микросекундах (против в лучшем случае единиц миллисекунд для распределенной системы связанной через обычную сеть, т.е. где-то в 1000 раз хуже).

А уж при распределенной системе связанной через интернет (даже очень быстрый как в датацентрах общего назначения) вся эта куча ядер в серверах будет 99.х% времени просто стоять ожидая прихода данных от других узлов вместо выполнения полезных расчетов. Из-за того, что по скорости связи (как ПС так и по задержкам) имеет отставание на порядки.

Может знаете такую поговорку «девять женщин не могут родить ребенка за один месяц»?
Вот армия серверов гугла — это эти самые девять, которые в лучшем случае могут 9 за 9 месяцев, но за 1 никак.
А суперкомпьютер — это когда все-таки можно извернуться и уложиться всего за один.

А в более серьезном и формально выражении:
Суперкопьютеры это High Performance Computing (HPC) — высокопроизводительные вычисления
А армия разрозненных серверов гугла может пригодиться только в High-throughput computing (HTC) — вычисления с большой пропускной способностью, когда есть прорва общей вычислительной мощности, но не способной эффективно работать совместно над одной общей задачей.

HTC тоже полезны для многих задач, но все-таки ограниченного количества пригодного для решения в формате распределенных вычислений

Скажем взламывать шифры или «просеивать» огромный пласт несвязанных данных (скажем с телескопов) на предмет поиска нужных данных можно эффективно как на суперкопьютере (HPC) так и на распределенных вычислителях (HTC).

А вот скажем гонять молекулярную динамику какого-то сложного процесса, гидродинамику, сейсмографию, климатические модели или скажем моделировать работу огромной нейронной сети (например мозг) и множество других задач — возможно только на суперкопьютерах (HPC), а распределенные вычислительные системы для этого практически не годятся. Формально возможно использовать и их тоже, но никто так не делает, т.к. это жутко неэффективно, т.к. скажем 100 ПФлоп распределенных вычислителей в таких задачах проиграют нормально спроектированному суперкомпьютеру всего на 1 Пфлоп. И на выходе получим только бесполезное сжигание прорвы энергии и очень неэффективное использование железа.
Во-первых 87360 ядер, т.к. в каждом сервере по 2 физических процессора (на 24/48 ядра/вычислительного потока каждый).

Во-вторых еще 7280 (4*1820) штук ускорителей NVIDIA V100, каждый из которых в подходящих задачах способен заменить несколько сотен универсальных х86 ядер и на которые собственно и приходится основная часть вычислительной (да и потребляемой электрической тоже) мощности этого суперкомпьютера.

Эх, лучше бы заюзали комп производители электромобилей...

Зарегистрируйтесь на Хабре , чтобы оставить комментарий