Pull to refresh
192.06
Rating
ITSumma
Собираем безумных людей и вместе спасаем интернет

НАСА хочет сохранить 247 петабайт в облаке AWS, но не учло расходы на скачивание

ITSumma corporate blog Server Administration *Amazon Web Services *Cloud services Popular science

Спутники НАСА для топографии поверхности океана и других водных территорий (SWOT) первыми начнут присылать данные в облако Earthdata

Не секрет, что современные научные приборы генерируют огромные объёмы данных. Например, Большой адронный коллайдер выдавал 1 петабайт в секунду, а крупнейший радиотелескоп MeerKAT — до 1 петабайта сжатых данных в сутки.

У НАСА объёмы скромнее, но тоже значительные. Например, система Earth Science Data and Information System (ESDIS) предусматривает сбор данных с десятка миссий по изучению Земли — около 100 терабайт в день. По плану, в ближайшие несколько лет объём хранения вырастет с 32 до 247 петабайт.

Ради экономии НАСА планировало перенести данных со своих дата-центров Distributed Active Archive Centers (DAAC) в облако Amazon Web Services. Но в своих финансовых расчётах агентство не учло важный нюанс, который сильно снижает экономическую привлекательность облачного хранилища. А именно, стоимость скачивания данных.

На сегодня в системе НАСА 12 дата-центров. Все они находятся на территории США.



Дата-центры являются частью информационной системы Earth Observing System Data and Information System (EOSDIS).

НАСА решило постепенно отказаться от управления этой инфраструктурой, ибо это непрофильная деятельность для космического агентства. Поэтому с 2019 года организован перенос данных в облако AWS, пишет The Register. Миграция происходит в рамках проекта, получившего название облако Earthdata.



Первый этап перехода от локального хранения данных к облачному был запланирован на I квартал 2020 года, затем остальные. НАСА планирует, что для полного отказа от локального хранения данных потребуется несколько лет аккуратного переноса всех систем.

По прогнозу, около 15-ти предстоящих миссий, таких как NASA-ISRO Synthetic Aperture Radar (NISAR) и спутники Surface Water and Ocean Topography (SWOT), будут генерировать более 100 терабайт данных в день. Это две первые миссии, которые миссиями, которые начнут сбрасывать данные непосредственно в облако Earthdata.



Таким образом, агентство прогнозирует, что к 2025 году у него будет 247 петабайт данных для обработки. НАСА считает переход в облако отличной идеей. В документации по миграции говорится: «Облако предоставит более широкие возможности для быстрого доступа и обработки больших объёмов данных, что позволит проводить новые виды исследований. Данные, которые ранее были географически распределены, теперь будут доступны через облако, экономя время и ресурсы».

Проблема в том, что НАСА не совсем реалистично оценивает будущие расходы на облачный хостинг. В аудиторском отчёте за март 2020 года от генерального инспектора НАСА отмечается отсутствие должного моделирования расходов на скачивание данных из облака.

«В частности, агентство сталкивается с возможностью существенного увеличения затрат на вывод данных из облака [которые сегодня отсутствуют]», — сказано в отчёте генерального инспектора. «Когда конечные пользователи загружают данные из облака Earthdata, плата за каждую передачу информации будет взиматься с агентства, а не пользователей. В конечном счете, ESDIS будет нести расходы и на облачный хостинг, включая расходы на вывод данных, и на эксплуатацию двенадцати своих дата-центров DAAC», — делают вывод аудиторы.

По их мнению, расходы могут оказаться гораздо выше, чем запланировано. А если NASA введёт ограничения на объём исходящих данных, то это ударит по научному сообществу: «В результате внедрение облачных технологий может увеличить затраты и бремя управления».

Аудиторы рекомендуют дождаться, когда проекты NISAR и SWOT заработают и пришлют достаточно данных — и сразу провести независимый анализ, чтобы определить долгосрочный финансовый смысл миграции со своих дата-центров в облако.
Only registered users can participate in poll. Log in, please.
Правильно делает НАСА, что переносит данные в облако?
12.86% Да, правильно 49
87.14% Нет, лучше свои дата-центры 332
381 users voted. 51 users abstained.
Tags:
Hubs:
Total votes 14: ↑13 and ↓1 +12
Views 8.7K
Comments Comments 15

Information

Founded
Location
Россия
Website
www.itsumma.ru
Employees
101–200 employees
Registered
Representative
ITSumma