Комментарии 3
«Я думаю, что это круто – иметь всю эту гору необработанных данных, на которых можно сделать потрясающие открытия, если знать, что именно ищешь»,- говорит Ламасса.
А теперь представим ее восторг, когда введут новый радиоинтерферометр, который, предположительно, будет генерировать 20 ТБ\с не обработанной информации в секунду.
Даже Boinc их не спасет от такого огромного массива информации. А кроме как отдать на распределенные вычисления я иного варианта не вижу, как обработать и структурировать такое количество информации.
Плюс нельзя сбрасывать со счетов новые телескопы, которые тоже будут генерировать просто грандиозное количество «необработанных данных». И все это где-то в первой половине 20-ых годов.
Такие объемы не очень удобно далеко пересылать, в SKA планируют обрабатывать на месте, на своем специализированном кластере (в чем-то сходные проблемы так же решают в БАК — CERN) — www.asc-events.org/ASC15/SKA%20and%20HPC.pdf
> SKA1_low (512 st x 256 el) 4.7 Tbps 5.7 PFlops
> SKA1_mid (133+64 MeerKAT) 5.2 Tbps 24 PFlops
Слайд 15 SKA High level system overview
SKA1_low — 2020 год +- 1.
Слайд 23-26 The Compute Island concept " is a self-contained set of processing resources, capable of end-to end processing of a chunk of UVW-space, including Ingest, Buffer, Calibration & Imaging, Archive"
Потоки данных — слайды 5, 13, 14 www.stfc.ac.uk/stfc/cache/file/0FF57404-FE64-4BA9-8D280CFAF06AB640.pdf
Не исключают использования GPU или Intel MIC (Xeon Phi) — слайд 9: 20 TFlops/blade,
слайд 10 «Central Processing System — 1280 Blades incl. correlator»
Статья 2012 года www.astron.nl/~broekema/papers/AstroHPC-12/skabench.pdf «ExaScale High Performance Computing in the Square Kilometer Arra»
> SKA1_low (512 st x 256 el) 4.7 Tbps 5.7 PFlops
> SKA1_mid (133+64 MeerKAT) 5.2 Tbps 24 PFlops
Слайд 15 SKA High level system overview
SKA1_low — 2020 год +- 1.
Слайд 23-26 The Compute Island concept " is a self-contained set of processing resources, capable of end-to end processing of a chunk of UVW-space, including Ingest, Buffer, Calibration & Imaging, Archive"
Потоки данных — слайды 5, 13, 14 www.stfc.ac.uk/stfc/cache/file/0FF57404-FE64-4BA9-8D280CFAF06AB640.pdf
Не исключают использования GPU или Intel MIC (Xeon Phi) — слайд 9: 20 TFlops/blade,
слайд 10 «Central Processing System — 1280 Blades incl. correlator»
Статья 2012 года www.astron.nl/~broekema/papers/AstroHPC-12/skabench.pdf «ExaScale High Performance Computing in the Square Kilometer Arra»
Давайте считать: 100 Pbytes – 3 EBytes / year of fully processed data это за год. В самом жестком режиме в момент запуска на 2024 система будет производить 391 ТБ\с Итого: 12,3 EBytes за год это теоретический максимум.
Необходимое вычислительные мощности на старте 5,7+24 PFlops, когда один блейд дает 20 TFlops их планируется поставить 1280 штук. Итого 2,56 PFlops с первого процессинга. т.е. уже не хватка мощностей. Думаю изначально они будут обрабатывать каталожные данные, а «фотографии» отдадут theSkyNET.org. Думаю, как раз к тому моменту и прикрутят математику на видеокартах. (На текущий момент 29TFlops = полтора блейда)
С другой стороны к 2020 они хотят выйти на мощности 300 PFlops, а к 2028 соответственно 30 EFlops. Мне трудно оценить хватит ли этого для обработки верхнего предела в 3EBytes.
Необходимое вычислительные мощности на старте 5,7+24 PFlops, когда один блейд дает 20 TFlops их планируется поставить 1280 штук. Итого 2,56 PFlops с первого процессинга. т.е. уже не хватка мощностей. Думаю изначально они будут обрабатывать каталожные данные, а «фотографии» отдадут theSkyNET.org. Думаю, как раз к тому моменту и прикрутят математику на видеокартах. (На текущий момент 29TFlops = полтора блейда)
С другой стороны к 2020 они хотят выйти на мощности 300 PFlops, а к 2028 соответственно 30 EFlops. Мне трудно оценить хватит ли этого для обработки верхнего предела в 3EBytes.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Дело об исчезнувших квазарах