10 лет назад присутствие Интела в HPC ограничивалось, в основном, мощными процессорами и набором математических библиотек.
Интересно посмотреть, какими еще продуктами для HPC Интел оброс за прошедшее время. Не менее интересно спрогнозировать, куда компания будет двигаться дальше. Ниже я изложу свое видение. Приглашаю всех дополнять его с помощью комментариев и опросничков внизу поста.
Все аспекты HPC я разделю на сегменты, а потом мы посмотрим, как Интел представлен в каждом из них. Это разделение условно и отражает только то, как я сам привык смотреть на HPC. Возможно, существуют и более удачные схемы.
Итак, HPC – это (буду использовать английские названия):
- Compute
- Storage
- Interconnect
- Development tools
- Administrative tools
- Services
На текущий момент мне неизвестно о сервисах, которые Интел продавал бы в HPC-секторе напрямую. Если вы что-то знаете об этом, добро пожаловать в комменты!
Во всех остальных сегментах Интел, как оказывается, очень неплохо представлен:
- Compute:
- мощные процессоры Xeon
- (непонятно насколько мощные) ускорители Xeon Phi
- Storage:
- собственный дистрибутив параллельной файловой системы Intel Lustre
- SSD-диски и флеш-карты (складывается ощущение, что использование в HPC-сегменте именно интеловских дисков ограничено).
Буквально несколько дней назад поступили в продажу первые карты на базе технологии 3D XPoint
- Interconnect:
- собственная фабрика Omni-Path
- Development tools:
- Intel Parallel Studio
- либо по-отдельности: математические библиотеки, MPI-библиотека (основанная на библиотеке MPICH), компиляторы, профилировщики
- Administrative tools:
- Intel HPC Orchestrator (по сути, иначе упакованный OpenHPC)
Если я что-то упустил – прошу добавить в комментах.
Такие вещи, как HPC Orchestrator и Omni-Path, появились только в последние 1,5-2 года и позволили Интелу накрыть 2 дополнительных сегмента.
Интерес Интела к HPC легко понять. Сейчас бурно развивается множество вычислительно емких областей, вроде геномики или интернета вещей. В лабораториях по секвенированию человеческого генома могут генерироваться сотни гагабайт данных в час. То же самое можно сказать об обвешанных датчиками энергетических турбинах. И это не просто данные. Это данные, которые нужно «молотить» почти что в реальном времени. Причем на месте, там, где они генерируются. Ибо для отправки их на обработку в облако (например, от Amazon) требуются нереально толстые каналы и кошельки.
По прогнозам агентства IDC, каждый 4-ый сервер, проданный в 2018 году, будет продан в HPC.
Так что мотивация Интела вполне понятна. Но куда он будет двигаться дальше?
Здесь можно только догадываться. Как мне кажется, наиболее радикальные шаги Интел предпримет в сегментах Storage и Interconnect.
На текущий момент в HPC можно выделить два основных вкуса Storage: очень быстрый локальный (но небольшого объема) и основной (более медленный, зато большой). Первый принято называть Burst Buffer.
Подозреваю, что именно Burst Buffer будет представлять интерес для Интела в ближайшее время. И тут вполне могут выстрелить продукты на базе 3D XPoint. В частности, заявленная, но пока не вышедшая «память» Optane (которая не совсем память).
Однако само по себе железо в сегменте Storage не так интересно, как общая схема взаимодействия пользователей/приложений с ним. На текущий момент нельзя сказать, что концепция Burst Buffer в HPC четко очерчена. Пока что нет общего «стандартного» представления о том, что это такое. Каким образом связываются разные уровни иерархии систем хранения? Как HPC-приложения взаимодействуют с хранилищами данных? Как осуществляется интеграция с HPC-планировщиками задач?
Не факт, что на эти и подобные вопросы должен быть дан стандартный ответ. Но скорее всего, будет. И похоже, что у Интела есть свое видение этой проблемы. По крайней мере, в кулуарах прошедшей в конце прошлого года конференции Supercomputing’16 высказывались некоторые утечки/намеки на то, как Интел будет здесь действовать. Пока это только слухи. Поживем – увидим.
Тема хранения данных очень интересна. Однако думаю, что самые большие изменения нас ждут в сегменте Interconnect, которым Интел внезапно озаботился.
Многие эксперты ожидают, что высокоскоростные интерконнекты типа InfiniBand или Omni-Path, в итоге, вытеснят шину ввода-вывода. Сейчас шина выступает ненужным посредником между ними и устройствами, участвующими в обмене данными.
Для того чтобы убрать шину из цепочки передачи данных, потребуется прямая интеграция процессора и подсистемы памяти с фабрикой. Очень интересно посмотреть, как это будет сделано. И раз уж Интел начал играться с собственной фабрикой, то теперь ему прямая дорога к интеграции ее с процессором. Не говоря уже о том, что появляется свобода выбрать решение, которое вставит палки в колеса альтернативным фабрикам вроде InfiniBand.
Именно поэтому мне кажется, что Omni-Path не столько интересен как сиюминутная альтернатива InfiniBand, сколько как плацдарм для дальнейших изысканий Интела.
У меня, пожалуй, все. А что думаете вы по поводу Интела, HPC и «всего такого»?
