Суперкомпьютер на 10 петафлопс для МГУ


    Суперкомпьютер «Ломоносов»

    Компания «Т-Платформы» заключила контракт с МГУ на проектирование вычислительного кластера пиковой производительностью 10 Пфлопс (1015 операций с плавающей точкой в секунду). Эта система станет одной из самых мощных в мире. На сегодняшний день в списке Топ500 лидирует японский суперкомпьютер К, с максимальной производительностью 10,51 Пфлопс (пиковая — 11,28 Пфлопс), на втором месте — китайский «Тяньхэ-1А» (2,57/4,7 Пфлопс).

    По условиям соглашения с МГУ компания «Т-Платформы» разработает сам суперкомпьютер, а также комплекс инженерной инфраструктуры, обеспечивающей бесперебойность его работы. Говорится, что система будет построена на гибридной архитектуре CPU+GPU на новой платформе, другие характеристики пока не называются.

    Для справки, суперкомпьютер «Ломоносов» по вычислительной плотности не имеет себе равных в мире: вычислительную систему удалось разместить на площади всего 252 м2. При этом вычислитель потребляет не более 2,8 МВт электроэнергии (спецификации в PDF).

    В суперкомпьютере используется четыре вида вычислительных узлов и процессоры с различной архитектурой, в общей сложности 5 100 вычислительных узлов архитектуры x86 и 777 вычислительных узлов на базе GPU nVidia. Это был первый гибридный суперкомпьютер такого масштаба в России и Восточной Европе.

    Платформа TB2 для «Ломоносова» была сконструирована инженерами «Т-Платформы» с нуля — все платы и механические компоненты являются собственными разработками компании. Основой решения TB2 является вычислительный модуль, в котором установлена 14-слойная системная плата оригинального дизайна с четырьмя процессорами Intel Xeon серии 55xx или 56xx, четырьмя трёхканальными модулями памяти DDR3 собственной разработки и интегрированными контроллеры системной сети QDR InfiniBand.


    Системная плата

    Дизайн коммутаторов системной сети сделан на основе эталонного дизайна Mellanox InfiniScale IV.


    Коммутаторы системной сети

    Два коммутатора, интегрированных в задней секции шасси, обеспечивают пропускную способность системной сети 1,6 Тбит/с, у них на двоих 32 внутренних порта для подключения всех вычислительных узлов и 40 внешних портов, 6 из которых используются для подключения систем хранения данных по сети InfiniBand или создания гетерогенных вычислительных систем — например, с узлами на базе PowerxCell 8i или GPGPU NVIDIA.

    Каждый модуль памяти интегрирует функционал трёх DIMM-модулей и вставляется в системную плату горизонтально.


    Модуль памяти

    Модуль управления включает четыре функциональных блока, обеспечивающих мониторинг и управление системы, интеграцию управляющей и вспомогательной сетей стандарта 10GbE/Ethernet, интеграцию специализированных сетей барьерной синхронизации и глобальных прерываний, а также сети внешней частотной синхронизации вычислительных узлов. Специализированные сети снижают задержки, возникающие при синхронизации выполнения параллельных операций на крупных инсталляциях. Управление этими сетями осуществляется специально запрограммированной микросхемой FPGA.


    Модуль управления

    24-слойная объединительная плата объединяет все подсистемы шасси: вычислительные модули, систему питания и охлаждения, сетевые интерфейсы и систему управления.


    Объединительная плата

    Каждая системная плата выделяет около 570 Вт тепла и требует эффективного охлаждения. Оптимальный вариант дизайна радиатора был найден благодаря моделированию на суперкомпьютере мощностью 10 Тфлопс.


    План системы охлаждения и радиатор

    Композитный алюминиевый радиатор с медными вставками полностью закрывает системную плату и обеспечивает воздушное охлаждение блейд-системы. Использование лёгкого алюминия позволило уменьшить вес шасси до 153 кг.

    Вот как выглядит само шасси, разработанное для установки в стандартные шкафы 19".


    Шасси

    Новый суперкомпьютер на 10 петафлопс обеспечит достаточный запас производительности для ресурсоёмких вычислений, который ведут учёные МГУ в аэрокосмической, атомной, биомедицинской, нефтегазовой и других научных областях.

    Видеоэкскурсия по операционному залу «Ломоносова» (до модернизации)


    По теме:
    Суперкомпьютеры: третья мировая гонка
    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 61

    • UFO just landed and posted this here
        +21
        А он сможет найти главный вопрос жизни, Вселенной и всего такого?
          –6
          Вопрос?
            +27
            Ответ-то и так уже все знают.
              +8
              Ну ответ все знают уже.
              +2
              7х6?
              +2
              Оу, Россия будет на 2 месте в top500.org. Приятное известие. Выжать бы еще пфлопс и были бы первые в мире. Надеюсь строительство не затянется на долго, иначе можно так и остаться на 18 позиции.
                +6
                Ну как бы одно дело анонсировать, а другое — построить.
                Во-первых, расчетные данные могут расходиться с практическим результатом, а во-вторых, когда его еще построят. Вполне возможно что только через 5 лет готово будет :)
                  +1
                  IBM же сегодня писали, что конструируют суперкомпьютер на 20 ПФлопс: habrahabr.ru/company/ibm/blog/134698/
                  +7
                  А расскажите пожалуйста сколько стоил оригинальный дизайн всех pcb и сколько мощности можно было бы приобрести пользуясь обычным серверным железом. Какова стоимость поддержки этих решений и стоимость замены сломавшихся комплектующих.
                    +4
                    Очень правильные вопросы, поддержваю.
                      +3
                      Да, проблема таких «нестандартных» решений довольно интересна, в частности еще и в отношении скорости замены компонент. А что делать если эти убер-модули памяти полетят или интегрированный IB — менять весь узел сразу? К сожалению не смог на фотке разглядеть, они съемные или нет. К тому же давно заметил, что форм-фактор блейдов у Т-Платформы несколько отличается от тех же IBM или HP.
                      +7
                      А вот объясните: Потребляемая мощность компа 2,8МВт. При этом с каждой платы выделяется 570Вт тепла. Системных плат 5100. GPU (777штук ) не считаем — тепловые потери не даны. Выходит эта штука только с х86 плат выделяет 570*5100=2 907 000 Вт (2,91МВт). Вместо этой печки считает святой дух?

                      Второй момент. А сколько потребляет электричества система охлаждения? Спецификация молчит а ролик упоминает, что холодильник в 3раза больше печки.
                        0
                        про духа погорячился. наверное всё уходит в тепло. но все равно нестыковка. 777 плат gpu это около 13% общего объема
                          +1
                          А вы уверены, что надо рассеять всё(!) выделившееся тепло, и заморозить проц до температуры простоя?
                            +7
                            выделившееся тепло обязательно рассеется. Иначе произойдет расплавление и выход из строя.
                          +3
                          Вот еще что интересно — в подобных системах тепло не регенерируется? Собрать тепло тепловыми насосами, получить перегретый пар. Далее турбина-генератор с КПД до 60%. Вопрос только сколько тепловой насос сожрет. Сюда бы еще прикрутить жидкостное охлаждение internetua.com/v-rossii-zapusxen-pervii-v-mire-besshumnii-superkompuater0
                            0
                            ну, теплый воздух мы получим полюбому. а откуда взяться перегретому пару? попросим думу нового созыва внести поправки во второй закон термодинамики?
                                0
                                В качестве эксперимента предложите прибор, который будет, допустим, отнимать тепло у батареи горячего водоснабжения в вашей квартире и преобразовывать эту энергию в электрическую. Сможете зажечь лампочку карманного фонарика от радиатора?

                                Допускается использование дополнительных источников энергии (главное, чтобы на выходе энергии было бы больше чем на входе). Врезки в батарею не допускаются (мы хотим использовать тепло воды, а не энергию насоса, который эту воду нам качает)

                                Следующим шагом за этим (когда зажжете лампочку) мы провернем финт, описанный в литературе — за счет разницы температур получим нескончаемый источник дармовой энергии.

                                [цитата]
                                — Вот так лучше. А энергию мы добываем из океана. Где остановимся, там
                                и вытягиваем, высасываем ее из него.
                                — Как же это так? — изумленно спросил Павлик. — Электричество? Из
                                воды?
                                — Да. Электричество. Из воды,-- наслаждался произведенным эффектом
                                Марат. — Ты о термоэлементах слыхал?
                                — Немножко… — нерешительно ответил Павлик,-- когда проходили в
                                школе физику… об электричестве…
                                — Ну, так вспомни. Термоэлемент — это прибор, состоящий из двух
                                спаянных между собой на концах проволок или пластинок каких-нибудь разных,
                                но определенных металлов или сплавов, например меди и константана, платины и
                                сплава платины с радием. В таких приборах при подогревании или охлаждении
                                одного спая возникает электрический ток. И чем больше разница температур
                                между обоими спаями, тем большего напряжения получается ток. Ну, так вот,
                                Павлик, до последнего времени все термоэлементы, из каких бы металлов их ни
                                изготовляли, давали ток в самых ничтожных размерах — примерно одну десятую
                                вольта на каждый градус разницы в температуре. Но недавно наш
                                Электротехнический институт изобрел такие сплавы, которые способны давать
                                ток в тысячу раз большего напряжения. А наш Крепин придумал, как получать от
                                этих новых термоэлементов ток большей силы и использовать их в подлодке для
                                получения электрической энергии в любом количестве и во всякое время.
                                [/конец цитаты]

                                Григорий Адамов. «Тайна двух океанов»
                                • UFO just landed and posted this here
                                    0
                                    Нет, это не то. Это преобразование солнечной энергии в электрическую. Любая солнечная батарея это худо-бедно делает. Исходный же посыл был в том, что много тепла от охлаждения суперкомпьютера пропадает даром и его можно «регенерировать» (sic)

                                    • UFO just landed and posted this here
                                        –2
                                        Стоп-стоп-стоп. Действительно, если нагревать солнцем воду в чайнике, то энергией пара можно крутить ротор и получать электричество (можно и другие варианты преобразования энергии придумать). Вопрос был в том — что любое преобразование энергии идет с выделением тепла (куда ж еще, если верить закону сохранения?). Это тепло нужно рассеивать, ибо иначе все спечется. Получить какой-либо профит на этом рассеивании невозможно. Вы хотите и тепло рассеять, и на этом работу еще произвести полезную?

                                        В применении к исходной задаче — можно лишь окружить суперкомпутер трубой с холодной водой, после чего сливать теплую воду в раковину. Будет всегда теплая вода из крана, даже во время летних отключений.

                                        Еще раз прошу вас придумать прибор, который будет прицепляться к обычным бататеям ГВС в обычных квартирах и использовать разницу температуры батареи и окружающей среды. Попробуйте от всех батарей многоэтажки запитать карманный фонарик и тогда я признаю свою неправоту.
                                        • UFO just landed and posted this here
                                            0
                                            Господи, сперва предлагается использовать тепловой насос для увеличения разности температуры рабочего тела и холодильника, потом двигатель стирлинга (курим раздел «применение» по вашей ссылке и сравниваем с тепловым насосом) для преобразования этой разницы обратно.

                                            [сарказм]
                                            Для любителей вечного двигателя предлагаю такой вариант:
                                            Итак, у нас по условиям задачи есть теплый воздух (вода, иное рабочее тело)
                                            У нас есть естественный холодильник (окружающая среда)
                                            Делаем высокую трубу.
                                            Внутрь этой трубы помещаем «змеевик» с нашим теплым воздухом.
                                            Сверху и снизу нашу трубу «накрываем» вентиляторами.
                                            Принцип действия: теплый воздух нагревает змеевик, тот в свою очередь контактирует с окружающей средой и нагревает воздух в трубе. Теплый воздух в трубе поднимается вверх вращая верхний вентилятор и подсасывает холодный воздух снизу, вращая нижний вернилятор. Вентиляторы соединены с генераторами, дальше все очевидно. В результате мы и рабочее тело охлаждаем, и лепестричество вырабатываем. Сплошной профит.

                                            В следующий раз я научу вас подзаряжать автомобильный аккумулятор не от генератора, а от разницы температур внутри и вне цилиндров.

                                            [/сарказм]

                                            • UFO just landed and posted this here
                                                –2
                                                Курим вечный двигатель второго рода и постулат Кельвина
                                                ru.wikipedia.org/wiki/Вечный_двигатель
                                                • UFO just landed and posted this here
                                                  • UFO just landed and posted this here
                                                      0
                                                      Мне нравится реакция читающих этот пост. Я вроде бы как мог объяснил, ссылки привел… Даже оппонент вроде бы согласился с пруфлинком… Но как же хочется поставить минус человеку, который обломал кайф :)
                                                      • UFO just landed and posted this here
                                                          0
                                                          Постулат Кельвина — невозможно создать периодически действующую машину, совершающую механическую работу только за счет охлаждения теплового резервуара.
                                                          • UFO just landed and posted this here
                              0
                              Так 2,8 МВТ — это «Ломоносов», который сейчас в МГУ стоит.
                                0
                                Да, речь идет о уже существующей. Все данные из одной спецификации.
                                  0
                                  Действительно. Прошу прощения, я как-то не понял, что все остальные спеки в статье «Ломоносова» же. Тогда, может быть, «вычислительный узел» и «системная плата» — у них не одно и то же. Иначе и впрямь странно (при условии, конечно, что спеки просто не врут).
                                    0
                                    согласен. похоже оба узла х86 и gpu расположены на системной плате. и часть системных плат имеет на борту оба узла (судя по фотке) а часть только х86. Я просто химик и вздрогнул когда увидел, что все тепло улетает «в трубу» — написал первый коммент. Тем не менее вопрос регенерации энергии интересен. 1,3Пфлопса жрет 3МВт, 10 будет кушать 20МВт? Гонять бы их по кругу
                              0
                              представляю, с какой скоростью идет рендер видео на этом компе)
                                +2
                                Уже сейчас чувствую, что все это будет глючить и тормозить. Как и «Ломоносов».
                                  +6
                                  А можно поподробней по этой теме? :)
                                    +2
                                    А что конкретно вас интересует? И почему? :)
                                    Если вкратце и мягко, то на «Ломоносове» в последнее время не очень стабильно работает система управления вычислительными задачами. По крайней мере так это выглядит для удаленного пользователя.
                                      +1
                                      Интересует с точки зрения коллеги по цеху, так сказать, — сам занимаюсь HPC тематикой. ;)
                                      У нас правда масштабы поменьше, еще только Тфлопс, но интересно же, что там может тормозить на более плотных системах :)
                                        +1
                                        Я знаком с системой только в качестве «конечного пользователя» и деталей о технических проблемах не знаю, могу только предположить, что их — вагон. :)
                                          0
                                          Ну в таких системах их всегда вагон, банально даже по той причине, что оборудования много и оно все-таки выходит из строя. Я, как стал заниматься HPC, вообще разочаровался в надежности железа :). Главное чтоб этот вагон имел наименьший процент во всем составе.
                                            0
                                            Да, железо сейчас отвратительное. У нас в лабораторном кластере (малыше по меркам HPC) сегодня винчестер рассыпался в одночасье, не проработав и года.
                                        0
                                        Она с самого начала так работает, ИМХО :)
                                  • UFO just landed and posted this here
                                      +3
                                      Я бы начинал искал по ключевым словам MPI и CUDA. Да и вообще можно просто читать про многопоточное программирование в целом, потому что мало каким задачам требуется вся мощь «таких монстров», чаще они используются для одновременного запуска множества несвязанных задач.
                                        0
                                        зайди на сайт НИВЦ МГУ там много материала
                                      –6
                                      Это, наверное, всему МГУ с филиалами в контру гонять на терминалах можно…
                                        –3
                                        Crysis 2 на максимуме запустят
                                        +1
                                        Зачем?
                                          0
                                          Могут же наши инженеры сделать шедевр, когда есть желание и должное спонсирование.
                                          Ах, если бы не наша прогнившая власть то…
                                            +4
                                            Ну «подковывать блоху» (в одном экземпляре) у нас всегда были мастера, но в современном мире задачи решаются не одним уникальным, пусть и гениальным, продуктом, а способностью работать регулярно, серийно и стабильно.
                                            А вот со стабильностью, как выше отмечают работавшие с «Ломоносовым» — проблемы.

                                            IBM ведь является «The IBM» не за один 'Blue Genie'.
                                            0
                                            Чрезвычайно радует, что печатные платы делались у нас, пусть даже на чужих компонентах. Наверняка у них очень интересно работать.
                                              –1
                                              Эх, вот бы на таком хотя бы денек Bitcoin посчитать)
                                                0
                                                О. Тэшки таки доросли до концепции мид-плейна в шасси. Еще лет 5 и дорастут до замены кулеров на пару мощных турбин как у IBM в BC. И получим в результате BC российского разлива :)
                                                  0
                                                  В видео концентрация слов «российский» и «инновации» зашкаливает :)
                                                  Но новость приятная.
                                                    0
                                                    5 лет прошло. Т-шки, отзовитесь.

                                                    Only users with full accounts can post comments. Log in, please.