Поскольку объем данных, которыми оперируют различные компании растет, а эти данные нужно где-то хранить, крупнейшие провайдеры облачных сервисов стали предлагать своим клиентам «холодное хранение» данных. По всей видимости, cold storage сервисы могут занять какую-то часть рынка традиционных услуг хранения данных.
При этом cold storage в качестве облачного сервиса может в значительной степени изменить способ работы компаний с данными, включая хранение информации и ее доставку. Amazon Web Services, Google Cloud Platform, и теперь еще и Microsoft Azure предлагают клиентам cold storage сервис. При этом у каждого из названных сервисов свои особенности.
Практически все аналитики делают прогнозы о дальнейшем росте рынка облачных сервисов, причем рост этот, судя по всему, будет бурным. Аналитическое агентство Gartner недавно заявило, что в этом году затраты на облачные сервисы и услуги будут являться для компаний основной частью расходов на ИТ. Кроме того, поскольку сейчас все популярнее становятся гибридные облака, к 2017 году около половины крупных компаний воспользуются этой возможностью.
Насколько большой объем данных генерируется ежегодно? По оценке Cisco глобальный трафик дата-центров уже давно превысил отметку в один зеттабайт. В 2014 году объем трафика составлял 3,4 зеттабайта, в 2019 году, по прогнозам, этот показатель вырастет до 10,4 зеттабайт. Очень быстрорастущим сегментом трафика в дата-центрах является «облачный трафик», объем которого в 2019 году составит около 8,6 зеттабайт.
Понимая перспективы услуги cold storage, Google и Amazon уже довольно давно предлагают своим клиентам воспользоваться сервисами «холодного хранения» данных. Корпорация Microsoft решила присоединиться к Google с Amazon и в апреле запустила Cool Blob Storage, сервис с низкой стоимостью хранения «холодных данных».
Для чего все это?
Все три компании позиционируют свои cold storage сервисы как недорогую услугу хранения неактивных и маловостребованных данных, включая бекапы, медиаконтент, научные данные, архивы. В общем-то, любые данные, которые относительно редко запрашивают, можно считать «холодными».
При этом время доступа к таким данным в cold storage хранилище гораздо выше времени доступа к обычной информации при работе с традиционными сервисами хранения данных. Стоимость хранения «холодных данных» ниже, чем стоимость хранения информации, к которой нужен постоянный оперативный доступ.
Google Nearline: корпорация Google впервые представила свой сервис хранения архивной информации в 2015 году. Это решение быстро стало популярным по нескольким причинам. Основная — это быстрый доступ к холодным данным, всего несколько секунд. Это быстрее, чем у того же AWS Glacier. Согласно Google, Nearline немногим отличается от стандартных облачных сервисов компании. Здесь чуть ниже доступность и чуть выше задержка доступа. Время доступа к данным в среде Google Nearline составляет от 2 до 5 секунд. Это действительно неплохо. Но есть несколько проблем.
Главное — это ограничение ширины канала в 4 МБ/с для каждого хранимого терабайта. Соответственно, если вам нужно скачать все и сразу — не получится, придется подождать. Правда, есть возможность ускорить процесс при помощи функции On-Demand I/O. Эта функция позволяет увеличить ширину канала с оговоренных 4 МБ/с. Но эта функция отключена по умолчанию.
Стоимость хранения данных составляет около 1 цента за гигабайт в месяц. Это относительно немного, плюс время доступа к холодным данным в 3-5 секунд делает Google Nearline одним из лидеров рынка. Сервис позволяет хранить неограниченные объемы данных с доступом к ним через Google Cloud Platform Storage API.
Кроме того, у Nearline есть еще и возможность запланировать импорт данных из различных локаций, включая Amazon S3, HTTP/HTTPS сайты и т.п. Все это можно автоматизировать.
Amazon AWS Glacier: это одно из первых на рынке решений по хранению холодных данных. Компания позиционирует AWS Glacier как безопасный и очень недорогой сервис для хранения архивных данных и бекапов. Хранить можно крупные массивы информации, стоимость услуги не высока, и начинается от 1 цента за гигабайт в месяц. AWS Glacier можно настраивать под собственные нужды. Для некоторых типов хранимых данных можно настроить время доступа в несколько часов. Речи о нескольких секундах здесь не идет, но у Glacier свои преимущества. Так, 1 ТБ данных можно скачать часа за четыре. Пользователь Google Nearline за то же время сможет загрузить лишь 5% пакета данных объемом в 1 ТБ, с общим временем загрузки примерно 70 часов.
Компания предлагает хранить здесь ИТ-медиаресурсы, данные здравоохранения, научные данные и работать с Glacier вместо носителей на магнитных пленках.
В среде Glacier данные хранятся в «архивах». Храниться может любая информация, включая фото, видео или документы. Максимальный объем одного «архива» (это своеобразная единица объема хранимых данных в Glacier) составляет 40 ТБ. Загружать и хранить можно неограниченное число таких архивов. У каждого из них — уникальный ID, с присвоением времени создания. После того, как «архив» создан, обновить хранимую в нем информацию нельзя, ее можно лишь скачать, когда в этом возникнет необходимость. Чтобы отсечь пользователей, которые используют сервис не по назначению, за удаление данных ранее трёх месяцев хранения берут определенную плату.
Просматривать и управлять хранимыми данными можно при помощи AWS Management Console и AWS SDK. Для любого из наборов данных применимы следующие операции: создание, удаление, просмотр содержимого, тегирование, установление набора политик и прочее.
Microsoft Cool Blob Storage: служба хранилища Azure предусматривает два уровня для хранилища BLOB-объектов (хранилища объектов), чтобы данные можно было хранить наиболее эффективно в зависимости от их использования. «Горячий» уровень хранилища Azure оптимизирован для хранения часто используемых данных. «Холодный» уровень хранилища Azure оптимизирован для хранения данных, которые используют редко и долго хранят.
Microsoft Cool Blob Storage — это холодный уровень, этот сервис оптимизирован для хранения данных, к которым редко осуществляется доступ, и которые должны храниться в течение долгого времени. Стоимость хранения информации — от 1 до 5 центов за гигабайт в месяц. Все зависит от региона и общего объема хранимых данных. Для сравнения, стоимость хранения «горячих» данных у Microsoft составляет от $0.0223 до $0.061 за гигабайт в месяц. По оценкам представителей компании, в ряде ситуаций хранение холодных данных примерно вдвое дешевле, чем горячих.
При этом компания позволяет передавать данные из холодного сервиса хранения в горячий и обратно. Правда, эта услуга платная. В рамках одной учетной записи можно хранить 500 ТБ. Максимальное количество учетных записей хранилища на подписку — 100. Целевая пропускная способность для одного файлового ресурса — до 60 МБ в секунду.
В общем-то, сервисы хранения холодных данных от Microsoft, Google, Amazon можно назвать конкурентами с определенной натяжкой. Дело в том, что они отличаются друг от друга и набором функций, и характеристиками. Лидера здесь нет, и пока что вряд ли он и появится. Зато пользователям есть из чего выбрать — для любых требований найдется свое решение. Главное — новые сервисы постепенно меняют конфигурацию рынка традиционных сервисов хранения данных, и можно быть уверенным в том, что «холодных» облачных сервисов будет появляться все больше.
