AWS: Архивация S3 в Amazon Glacier

    Привет!image

    С сегодняшнего дня Amazon Simple Storage (S3) поддерживает архивацию данных в Amazon Glacier. Как известно, Amazon Glacier это сервис хранения данных с очень низкой стоимостью. За 1 цент в месяц вы можете хранить целый гигабайт данных. Правда, доступ к файлам не мгновенный. Нужно потратить от трех до пяти часов, чтоб вытащить данные.

    Несмотря на такой недостаток, Amazon Glacier по праву является одним из самых дешёвых сторадж решений и лучшего хранилища для бекапов бекапов вообще не существует.

    Как это работает? Очень просто! Что нужно для того, чтоб перемещать файлы в архив:
    • регулярное выражение, которое будет определять имя объектов
    • время, после чего объекты стоит уносить в Glacier
    • время, когда объекты в Glacier нужно удалить

    В свойствах S3 бакета идём в Lifecycle и делаем что-то типа:


    Итого, все файлы, имена которых начинаются с backup_ через 15 дней после загрузки будут перенесены в Amazon Glacier и удалены через 500 дней.

    Напомню об SLA, которые предоставляются S3 и Glacier:
    • STANDARD — 99.999999999%.Высокая избыточность, стандартный сторадж S3.
    • RRS — 99.99%. S3 Reduced Redundancy Storage опция. Избыточность низкая.
    • GLACIER — 99.999999999%. Высокая избыточность. Архивация объектов в Glacier.

    Вот небольшое видео по теме:

    EPAM

    102,00

    Компания

    Поделиться публикацией

    Похожие публикации

    Комментарии 28
      0
      выставил transition в 0 дней — пока ничего не перенеслось.
        +1
        я думаю, стоит пару часов подождать.
          0
          прошла уже пара часов :)
            +1
            А префикс точно тот?
              0
              префикс пустой.
                +1
                Там же регулярка. Может * поставить?
                  0
                  из документации:
                  If you don't specify any prefix, the rule applies to all objects in the bucket. Because the Days element is set to 0, all the objects will be archived as soon as they are uploaded.
                    +2
                    Т.е. новые объекты архивируются сразу. Я тоже настроил 0 и залил файл. Буду ждать, тоже интересно как оно работает.
                      0
                      Возможно раз в день архивируется
                      Every day, S3 will evaluate the lifecycle policies for each of your buckets and will archive objects in Glacier as appropriate.

                        +1
                        Да, Виктор, похоже на то. Завтра поймём, если скопируется!
                          0
                          Никаких изменений в самом Glacier. Но в S3 в свойствах файла появились новые детали — файлы забекаплены. Пока не особо ясно, как их вытащить. Нужно ресёч CLI сделать.
                            0
                            о, у меня тоже перенеслось — спустя ~22 часа после загрузки. час назад смотрел — не было.

                            в glacier изменений и не будет. почему не ясно как вытащить? всё ясно. в console правый клик на объекте -> initiate restore, либо через api s3:RestoreObject.
                              0
                              А если файл удалить? Не хранить же его на S3? Ну и хочется, например, почистоить Glacier. Как-то не особо удобно.
                                0
                                он на s3 и не хранится. когда storage class равен glacier, оно хранится в glacier. на s3 хранится только метадата. если его удалить, то с вас спишут early deleletion fee.

                                про чистку glacier не понял.
                                  0
                                  Ясно. Если выбрать storage class Standard у папки, то файлы все вернутся.
                                  0
                                  [delete]
          +1
          Интересна реализация, за счет чего такие цены?
            +2
            Тут можно найти размышления на эту тему.
              0
              Используются накопители на магнитных лентах.

              И очень дёшево положить, но чрезвычайно дорого достать. И не гарантируется, что достанут быстро.
                +2
                Amazon Glacier — они себя явно позиционируют как magnetic tape replacement:
                Magnetic Tape Replacement
                Amazon Glacier can replace on-premise or offsite tape libraries. Although magnetic tape-based storage can be cost-effective when operated at scale, it can be a drain on resources as one (or more) tape libraries need to be maintained (often in geographically distinct locations) requiring specialized personnel, and taking up valuable space in data centers. In addition, the tapes themselves must be carefully stored and managed, which can include periodically copying data from old tapes onto new ones to ensure that your data can still be read as tape technology standards evolve. Replacing your tape library with Amazon Glacier removes the burden of managing these operational challenges. Entire data sets can be moved from tape libraries into Amazon Glacier, a process that can be economically accelerated by using AWS Import / Export.


                Тут говорят о низко-скоростных винчестерах с крайне низкой энернопотребляемостью:
                Amazon:
                — Glacier is tapeless and runs on «inexpensive commodity hardware components».
                — There is no limit on the amount of data that can be stored, though the maximum size per data archive tops out at 40TB.

                И так же:
                A post on Hacker News by a user named «sintaks» — a former S3 employee — gives a lot more information on the Glacier technology. Sintaks says:
                — Glacier's hardware is based on a low-RPM custom hard drives built by «a major hardware manufacturer» for Amazon.
                — These drives are put in custom racks with custom logic boards, and only a percentage of a rack's drives can be spun at full speed at any one time due to some type of constraint within the system.
                — The reason for the 3-5 hour lag in accessing stored data in Glacier is that it must be taken out of these systems and moved to staging storage before it can be downloaded by the client.
                  0
                  Судя по ссылке Коржика, как раз не ленты

                  — Glacier is tapeless and runs on «inexpensive commodity hardware components».
                    0
                    Возможно.
                0
                Интересен механизм, как обратно получить данные. Я понял так:

                Через API Glacier они не доступны.

                В API S3 есть специальный запрос на восстановление данных. После этого они _временно_ появляются в S3 на n-ное количество дней, которое сами указываете, при восстановлении.

                Если хочется оставить их в S3 навсегда, нужно их самому скопировать с S3 на S3.
                  0
                  Хранить может и дешево, но вот извлекать такой бекап безумно дорого. К примеру извлечение 10 Гб за 4 часа будет стоить вам $215.64
                    +2
                    Какая интрига :)
                      +1
                      Там есть продолжение, но его не видно :( Будет стоить $215.64.
                        0
                        Стоимость сильно зависит от времени извлечения?
                          0
                          Где это такое написано?

                          Тут почитайте.

                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                    Самое читаемое