Cold Storage в облаке: Amazon, Google, Microsoft меняют рынок облачных сервисов хранения данных



    Поскольку объем данных, которыми оперируют различные компании растет, а эти данные нужно где-то хранить, крупнейшие провайдеры облачных сервисов стали предлагать своим клиентам «холодное хранение» данных. По всей видимости, cold storage сервисы могут занять какую-то часть рынка традиционных услуг хранения данных.

    При этом cold storage в качестве облачного сервиса может в значительной степени изменить способ работы компаний с данными, включая хранение информации и ее доставку. Amazon Web Services, Google Cloud Platform, и теперь еще и Microsoft Azure предлагают клиентам cold storage сервис. При этом у каждого из названных сервисов свои особенности.

    Практически все аналитики делают прогнозы о дальнейшем росте рынка облачных сервисов, причем рост этот, судя по всему, будет бурным. Аналитическое агентство Gartner недавно заявило, что в этом году затраты на облачные сервисы и услуги будут являться для компаний основной частью расходов на ИТ. Кроме того, поскольку сейчас все популярнее становятся гибридные облака, к 2017 году около половины крупных компаний воспользуются этой возможностью.

    Насколько большой объем данных генерируется ежегодно? По оценке Cisco глобальный трафик дата-центров уже давно превысил отметку в один зеттабайт. В 2014 году объем трафика составлял 3,4 зеттабайта, в 2019 году, по прогнозам, этот показатель вырастет до 10,4 зеттабайт. Очень быстрорастущим сегментом трафика в дата-центрах является «облачный трафик», объем которого в 2019 году составит около 8,6 зеттабайт.

    Понимая перспективы услуги cold storage, Google и Amazon уже довольно давно предлагают своим клиентам воспользоваться сервисами «холодного хранения» данных. Корпорация Microsoft решила присоединиться к Google с Amazon и в апреле запустила Cool Blob Storage, сервис с низкой стоимостью хранения «холодных данных».

    Для чего все это?


    Все три компании позиционируют свои cold storage сервисы как недорогую услугу хранения неактивных и маловостребованных данных, включая бекапы, медиаконтент, научные данные, архивы. В общем-то, любые данные, которые относительно редко запрашивают, можно считать «холодными».

    При этом время доступа к таким данным в cold storage хранилище гораздо выше времени доступа к обычной информации при работе с традиционными сервисами хранения данных. Стоимость хранения «холодных данных» ниже, чем стоимость хранения информации, к которой нужен постоянный оперативный доступ.

    Google Nearline: корпорация Google впервые представила свой сервис хранения архивной информации в 2015 году. Это решение быстро стало популярным по нескольким причинам. Основная — это быстрый доступ к холодным данным, всего несколько секунд. Это быстрее, чем у того же AWS Glacier. Согласно Google, Nearline немногим отличается от стандартных облачных сервисов компании. Здесь чуть ниже доступность и чуть выше задержка доступа. Время доступа к данным в среде Google Nearline составляет от 2 до 5 секунд. Это действительно неплохо. Но есть несколько проблем.



    Главное — это ограничение ширины канала в 4 МБ/с для каждого хранимого терабайта. Соответственно, если вам нужно скачать все и сразу — не получится, придется подождать. Правда, есть возможность ускорить процесс при помощи функции On-Demand I/O. Эта функция позволяет увеличить ширину канала с оговоренных 4 МБ/с. Но эта функция отключена по умолчанию.

    Стоимость хранения данных составляет около 1 цента за гигабайт в месяц. Это относительно немного, плюс время доступа к холодным данным в 3-5 секунд делает Google Nearline одним из лидеров рынка. Сервис позволяет хранить неограниченные объемы данных с доступом к ним через Google Cloud Platform Storage API.

    Кроме того, у Nearline есть еще и возможность запланировать импорт данных из различных локаций, включая Amazon S3, HTTP/HTTPS сайты и т.п. Все это можно автоматизировать.

    Amazon AWS Glacier: это одно из первых на рынке решений по хранению холодных данных. Компания позиционирует AWS Glacier как безопасный и очень недорогой сервис для хранения архивных данных и бекапов. Хранить можно крупные массивы информации, стоимость услуги не высока, и начинается от 1 цента за гигабайт в месяц. AWS Glacier можно настраивать под собственные нужды. Для некоторых типов хранимых данных можно настроить время доступа в несколько часов. Речи о нескольких секундах здесь не идет, но у Glacier свои преимущества. Так, 1 ТБ данных можно скачать часа за четыре. Пользователь Google Nearline за то же время сможет загрузить лишь 5% пакета данных объемом в 1 ТБ, с общим временем загрузки примерно 70 часов.



    Компания предлагает хранить здесь ИТ-медиаресурсы, данные здравоохранения, научные данные и работать с Glacier вместо носителей на магнитных пленках.

    В среде Glacier данные хранятся в «архивах». Храниться может любая информация, включая фото, видео или документы. Максимальный объем одного «архива» (это своеобразная единица объема хранимых данных в Glacier) составляет 40 ТБ. Загружать и хранить можно неограниченное число таких архивов. У каждого из них — уникальный ID, с присвоением времени создания. После того, как «архив» создан, обновить хранимую в нем информацию нельзя, ее можно лишь скачать, когда в этом возникнет необходимость. Чтобы отсечь пользователей, которые используют сервис не по назначению, за удаление данных ранее трёх месяцев хранения берут определенную плату.

    Просматривать и управлять хранимыми данными можно при помощи AWS Management Console и AWS SDK. Для любого из наборов данных применимы следующие операции: создание, удаление, просмотр содержимого, тегирование, установление набора политик и прочее.

    Microsoft Cool Blob Storage: служба хранилища Azure предусматривает два уровня для хранилища BLOB-объектов (хранилища объектов), чтобы данные можно было хранить наиболее эффективно в зависимости от их использования. «Горячий» уровень хранилища Azure оптимизирован для хранения часто используемых данных. «Холодный» уровень хранилища Azure оптимизирован для хранения данных, которые используют редко и долго хранят.

    Microsoft Cool Blob Storage — это холодный уровень, этот сервис оптимизирован для хранения данных, к которым редко осуществляется доступ, и которые должны храниться в течение долгого времени. Стоимость хранения информации — от 1 до 5 центов за гигабайт в месяц. Все зависит от региона и общего объема хранимых данных. Для сравнения, стоимость хранения «горячих» данных у Microsoft составляет от $0.0223 до $0.061 за гигабайт в месяц. По оценкам представителей компании, в ряде ситуаций хранение холодных данных примерно вдвое дешевле, чем горячих.



    При этом компания позволяет передавать данные из холодного сервиса хранения в горячий и обратно. Правда, эта услуга платная. В рамках одной учетной записи можно хранить 500 ТБ. Максимальное количество учетных записей хранилища на подписку — 100. Целевая пропускная способность для одного файлового ресурса — до 60 МБ в секунду.

    В общем-то, сервисы хранения холодных данных от Microsoft, Google, Amazon можно назвать конкурентами с определенной натяжкой. Дело в том, что они отличаются друг от друга и набором функций, и характеристиками. Лидера здесь нет, и пока что вряд ли он и появится. Зато пользователям есть из чего выбрать — для любых требований найдется свое решение. Главное — новые сервисы постепенно меняют конфигурацию рынка традиционных сервисов хранения данных, и можно быть уверенным в том, что «холодных» облачных сервисов будет появляться все больше.
    King Servers
    77,00
    Хостинг-провайдер «King Servers»
    Поделиться публикацией

    Комментарии 10

      0
      Я бы добавил в перечень относительно новый, но весьма конкурентоспособный сервис C14 от online.net
        0
        Сейчас тема построения так называемых multi-temperature data storage весьма актуальна и является на мой взгляд наиболее оптимальным решением в отношении объем-производительность. Я бы еще рассмотрел более подробно вопросы интеграции с горячим хранилищем или теплым(если их 3, а не два). Спасибо за статью.
          +1
          On-Demand I/O у Google больше нет:
          Правда, есть возможность ускорить процесс при помощи функции On-Demand I/O. Эта функция позволяет увеличить ширину канала с оговоренных 4 МБ/с. Но эта функция отключена по умолчанию.
          Nearline Storage read throughput and QPS now automatically scale with your needs, at no extra charge. On-Demand I/O is no longer necessary.
          As of June 2016, On-Demand I/O is no longer necessary. Previously, Nearline buckets were limited to 4 MB/s of read throughput or 4 QPS per TB of data. On-Demand I/O was a billable feature that allowed additional read throughput and QPS from Nearline buckets on a per-location basis. Today, all Nearline buckets offer high throughput at no extra charge. Nearline throughput and QPS automatically scale with your needs. Learn more


          Цена у Амазона начинается с 0.007$/GB, но зато есть дополнительные стоимости за другие вещи.
            +1
            Цена у Амазона низкая, но очень сильное ограничение по объёму, который можно скачать. Если положенные данные вам понадобятся целиком — заплатите больше, чем десять лет хранить их в дропбоксе.
              –2
              Обман все эти системы «холодного хранения».

              Стоимость хранения данных составляет около 1 цента за гигабайт в месяц. Это относительно немного, плюс время доступа к холодным данным в 3-5 секунд делает Google Nearline одним из лидеров рынка.


              Не реклама:
              http://lib.clodo.ru/cloud-storage/cloudstorage.html#section-3
              Цена хранения составляет 1 копейка за хранение 1 гигабайта данных в течение 1 часа


              И это обычный доступ, без какого-либо холодного хранения.
                +1
                Не очень понял смысл вашего комментария.
                Цена хранения составляет 1 копейка за хранение 1 гигабайта данных в течение 1 часа.

                Т.е. цена хранения 1 гигабайта будет ~30*24 = 720 копеек в месяц или ~11 центов. Получается существенно дороже чем у Google Nearline, с которым вы сравнивали.
                +1
                У Amazon есть сервис "Amazon Drive". Стоимость 60$ в год за неограниченный объём. Чем приведённые выше сервисы лучше него?
                  0
                  Интересная вещь. Только реально ли там анлим или после пары Тб отрежут?
                  Читал их tos:
                  3.2 Usage Restrictions and Limits. The Service is offered in the United States. We may restrict access from other locations. There may be limits on the types of content you can store and share using the Service, such as file types we don't support, and on the number or type of devices you can use to access the Service. We may impose other restrictions on use of the Service.

                  3.3 Our Use of Your Files to Provide the Service. We may use, access, and retain Your Files in order to provide the Service to you and enforce the terms of the Agreement, and you give us all permissions we need to do so. These permissions include, for example, the rights to copy Your Files for backup purposes, modify Your Files to enable access in different formats, use information about Your Files to organize them on your behalf, and access Your Files to provide technical support. Amazon respects your privacy and Your Files are subject to the Amazon.com Privacy Notice located at www.amazon.com/privacy.

                  В принципе отличная помойка на паблик файлов. Для личных, конечно, не подойдет.
                    0
                    У меня там 3Tb уже пол года лежит, и норм, всё работает, скорость не порезали. На реддите про 15Tb писали.
                      0
                      Если гугл фотос не допилю, буду там графику хостить. Правда хз, переварят ли они 20 миллионов картино в месяц по 30-40кб.

                Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                Самое читаемое