Snapshots — «фото на память (дисковую;)»

    image

    Всегда странно представлять себе времена, когда чего-то не было. Сложно сегодня представить себе, как мы жили без персональных компьютеров, без интернета, без торрентов, mp3, или без электрокопировальных аппаратов, в просторечии «ксероксов». Тем не менее всегда были времена, когда что-то привычное нам еще не существовало. Также обстояло дело и с понятием «снэпшота данных». Но сперва — что же такое «снэпшот»?

    "Снэпшот" (дословно — «фотография», «моментальный снимок», здесь и далее под этим словом мы будем понимать конкретно, не уточняя, «снэпшот данных») это моментальная копия состояния данных в системе хранения, или программе, зафиксированная на определенный момент времени. Это может быть моментальное состояние содержимого файла, базы данных, или файловой системы (как частного случая «базы данных»).
    В применении к системам хранения данных этот термин появился вместе с первыми системами хранения NetApp и был, на тот момент первой и главной их «фичей».


    Ранее я уже рассказывал о внутренней файловой структуре WAFL, придуманной основателями NetApp для своего продукта, и о том, каким образом она работает. Интересующихся техническими деталями отошлю к прекрасной авторской публикации, которая сейчас переведена на русский язык. Именно эта, несколько необычная, на первый взгляд, по принципам работы, файловая структура сделала возможной реализацию концепции снэпшотов — мгновенных копий состояния данных, хранимых на дисках такой системы.

    Как я уже рассказывал в статье про WAFL, основной принцип ее работы состоит в том, что однажды записанные на диск данные, в дальнейшем, не изменяются. Данные (например файл) можно на WAFL либо записать (целиком), либо стереть (целиком). В случае же необходимости изменения его содержимого эти изменения «дописываются» в свободное место дискового пространства, после чего на блоки с записанным содержимым изменений переставляется указатель содержимого файла (старый блок содержимого помечается как свободный, или не помечается, если на него ссылается более одного файла, или он использован в снэпшоте). Следовательно, для того, чтобы сохранить текущее состояние данных, при таком алгоритме работы записи, все что нам нужно, это сохранить «корневой inode» на данный момент времени.

    image

    Inode, напомню, это блок данных, определяющий содержимое файла. Он может ссылаться либо прямо на конкретные блоки, либо, для больших файлов, на промежуточные inodes, образуя «дерево» от «корня», единственного на всю файловую систему тома, так называемого «корневого» inode.
    Таким образом, создав копию ровно одного блока, корневого inode данной файловой системы, мы получим, обратившись к нему, вместо текущего «корня», «псевдо-файловую систему», хранящую без изменений (read-only) все данные на момент времени, когда мы скопировали этот inode. Ведь, как вы помните, однажды записанные блоки данных файлов в дальнейшем не изменяются.

    image

    Каким же образом это выглядит на практике?
    Для упрощения рассказа я буду рассматривать NAS-вариант работы NetApp, хотя, как вы знаете, аналогичным образом тот же самый сторадж может работать и как SAN-устройство.

    Каждый том на системе хранения NetApp является отдельной файловой системой. На каждой файловой системе можно создать до 254 снэпшотов ее состояния, по методике, описанной выше.
    Все созданные снэпшоты автоматически доступны через директорию /.snapshot (или /~snapshot) в корне тома. Зайдя туда, мы увидим имена созданных снэпшотов (они могут носить либо «собственное имя», например "/lets_fix_this_small_bug…oh_shit!..", будучи созданными вручную, либо, если создаются по расписанию, будут располагаться в поддиректориях hourly.0(1,2,3…), daily.0(1,2,3) и так далее.

    image

    Войдя в такую папку мы увидим полностью все содержимое нашего тома, со всеми файлами в нем, причем все файлы будут доступны на чтение, и читаться из них будет все то содержимое, которое было в них на момент взятия снэпшота.

    image

    Причем это даже выглядит несколько странно, на первый взгляд.
    Допустим, что у вас есть том, размером 1TB, на котором лежит файл базы данных, размером 750GB. Для этого тома вы создаете снэпшоты каждый час по расписанию. Войдя в /.snapshot вы увидите в ней поддиректории /hourly.0, /hourly.1, и так далее, причем в каждой из них будет лежать «файл размером 750GB». При этом на собственно томе, емкостью 1TB, на котором как бы и лежат эти 24 (каждый час) копии базы по 750 гиг размером каждая, еще будет гигабайт 200 свободного места.
    При этом любой из этих 24 «файлов» мы можем скопировать в резервную копию на внешнее хранилище, смонтировать как независимый read-only и использовать (читать) эти данные, как если бы это была реальная база данных, восстановить из нее данные, скопировав ее на место «активной», например в случае «все сломали, надо откатится на состояние час назад», и так далее.

    Где же все это хранится?
    Дело в том, что все эти «файлы», это просто ссылки на одни и те же блоки неизмененных данных. Место же на диске занимают только изменения, между снятыми снэпшотами. Допустим, что за сутки мы наменяли в этой базе блоков на 50 гигабайт. Тогда занятое место на дисках, в томе размером 1TB, на котором лежит файл базы на 750GB, и снэпшоты каждый час, будет 1TB — 750GB файл — 50GB изменений = 200GB свободно.
    Если изменений за час между двумя снэпшотами (hourly.0 и hourly.1) получилось на 1% объема базы, то hourly.1 займет 7,5GB места на диске, указывая своими inodes на измененные, по сравнению с предыдущим снэпшотом, блоки. Все же остальные inodes по прежнему будут ссылаться на прежние, неизмененные блоки.

    Чем удобно использование снэпшотов?
    Простейший пример я уже привел. Допустим мы, или наши пользователи, «все сломали». Это может быть база данных, или же, допустим, экселевский файл, в котором, случайно, грохнули не те данные, успели записать, а потом обнаружили это, а восстановить надо срочно, «или нас всех убьют». Но мы знаем, что час (два, три, сутки, неделю, месяц назад, все зависит от частоты и регулярности снэпшотов) нужный нам файл был исправен.
    Мы (это может сделать, кстати, даже сам пользователь) просто заходим в папку /.snapshots и вытаскиваем оттуда простым копированием нужный нам файл, на нужный момент времени, час, два, сутки, и так далее назад.
    Либо, если у нас есть специальная лицензия SnapRestore, одной командой из консоли стораджа, «откатываем» состояние тома на нужный момент времени целиком (что удобно, если нужно восстановить не отдельный одиночный файл, а содержимое всего тома, в целом).

    Таким образом, снэпшоты это, для пользователя, очень оперативная резервная копия, доступная тут же, на этом же сторадже. Кстати, в случае использования Windows XP или 7, вы будете видеть файлы в снэпшоте в панели «Previous versions» свойства файла или папки, NetApp интегрируется в этот механизм Windows как VSS-provider.

    image

    Теперь рассмотрим более сложный вариант. Допустим, мы эксплуатируем большую, ответственную, mission-critical SQL-базу данных предприятия.
    Разумеется, каждый вечер, эта база данных бэкапится на ленту, для создания резервной копии.
    База большая, и резервная копия копируется на ленту примерно час.
    «Ничто не предвещало беды», но однажды, посреди рабочего дня, допустим в 3 часа дня, база необратимо портится.

    Какие действия предпринимает сисадмин, для того, чтобы базу восстановить?
    Мы считываем резервную копию по состоянию на конец прошлого рабочего дня (читаться она будет, допустим, столько же, сколько писалась — час), а затем нам следует «накатить» на нее redo-log-и, от момента создания бэкапа, вечером, и до момента, предшествующего сбою, то есть до 3 часов следующего дня. Этот «накат» часто довольно объемен, и также занимает какое-то время, ведь операции в SQL происходят не мгновенно. Допустим, через 30 минут, после окончания считывания бэкапа, база восстановлена в рабочем состоянии на момент предшествующий сбою, и мы готовы продолжать работу. Итого — 1:30.

    В случае использования снэпшотов дела будут происходить следующим образом. У нас также делается ежедневная копия на ленту для обеспечения безопасности хранения, например на случай полного выхода из строя системы хранения, но у нас хранилище живо, повреждены только данные на нем. Мы знаем, что час назад база была жива и здорова. Мы восстанавливаем базу по состоянию на 2 часа дня, и так как снэпшот создается и восстанавливается практически мгновенно, то это занимает не час, а всего несколько секунд, и накатываем на нее redo-logs, но не со вчерашнего вечера, как в предыдущем случае, а всего за один час, с 2 часов, то есть момента создания снэпшота, до момента аварии, в 3 часа дня. Это занимает также не полчаса, а всего несколько минут.
    Итог: спустя несколько минут, а не полтора часа, как обычно, наша база вновь в рабочем состоянии.

    Очевидные преимущества использования снэпшотов привели к тому, что, на сегодня, практически все производители систем хранения предлагают для своих систем ту или иную реализацию «снэпшотов» как идеи.
    Однако, как мы помним, «не все йогурты одинаково полезны».

    В чем же принципиальное отличие «настоящих снэпшотов» (Название Snapshots (tm) для систем хранения это зарегистрированная торговая марка NetApp) от всех остальных, «контрафактных копий». ;)

    Принципиальное отличие, позволяющее реализовать снэпшоты так, как это было описано мной выше — устройство WAFL, которое, как я уже рассказывал, не позволяет изменять уже записанные данные. Такая модель позволяет реализовать снэпшоты легко и просто. Но все обстоит хуже, если структура записи традиционна. При этом нам придется сперва, до начала использования, выделить зарезервированное пространство блоков, заранее отняв его у данных, затем, при каждом изменении блока на диске, копировать его содержимое в специальный зарезервированный пул, затем изменять его содержимое на его прежнем месте, затем изменять метаданные, указывающие на старое содержимое, для снэпшота.

    Эта технология носит название Copy-on-Write (COW), и широко применяется в системах хранения других производителей, в их реализации снэпшотов.
    Как вы видите из описания выше, даже само наличие включенного механизма снэпшотов для тома превращает одну операцию записи для системы хранения в три (чтение исходного содержимого, запись исходного содержимого на новое место, запись измененного содержимого на старое место).
    Результат не заставляет себя ждать. Использование COW-snapshots резко ухудшает производительность системы хранения его использующего. Это разительный контраст с системами NetApp, в которых снэпшоты вообще никак не влияют на производительность, ведь никакого копирования при записи в них не происходит, все данные остаются на своих местах.
    (демонстрация результатов производительности на тесте SPC-1)

    image

    Следствием такого неприятного поведения при использовании COW-snapshots является рекомендация вендоров свести использование таких «неправильных снэпшотов» к минимуму, или не использовать их вовсе на primary-системах, предъявляющих повышенные требования к производительности.
    Однако системы NetApp такой проблемой не страдают и никаких ограничений на использование снэпшотов не предъявляют.

    Кроме этого, часто (по той же причине) общее количество снэпшотов на таких системах ограничено всего парой десятков максимум, отмечу, для контраста, что на системах NetApp можно использовать до 254 снэпшотов на каждый том, что, при общем количестве томов, допустимых систему, равного 500, достигает теоретического максимума в 127 тысяч.
    Это позволяет, при использовании классической «ротации» резервных копий, хранить в 254 снэпшотах резервные копии данных тома до года включительно.

    Также немаловажной является возможность создавать «по настоящему мгновенные» копии данных, причем независимо от размера «копируемых» данных. Хоть базу на 100MB, хоть на 100TB, снэпшот с нее будет всегда создан мгновенно. Например, мы можем создать «резервную копию» не «за час», а «за секунду», а затем, уже не нагружая нашей задачей реальную боевую базу, потихоньку копировать на резервное хранилище содержимое такого снэпшота.

    Практика показывает, что люди, попробовавшие простоту и удобство использования снэпшотов, очень скоро уже просто не представляют себе жизни без них, считая это «само собой разумеющейся» возможностью любой системы хранения. Попробуйте и вы.
    Напомню, что взять на тестирование систему хранения NetApp можно у любого партнера, список которых можно посмотреть на российской странице вебсайта NetApp.
    www.netapp.com/ru/how-to-buy/resellers/distributor-ru.html
    www.netapp.com/ru/how-to-buy/resellers/platinum-ru.html
    www.netapp.com/ru/how-to-buy/resellers/gold-ru.html

    PS: На традиционном «фото для привлечения внимания» в заголовке — задняя часть контроллера самой младшей модели NetApp — FAS2020. Самой младшей, но, тем не менее, обладающей всеми возможностями хранилищ NetApp, в том числе и работой со снэпшотами.
    На фото, слева направо — два порта FC 4Gb/s, порт последовательной консоли, порт out-of-band микроконтроллера удаленного администрирования, и два порта Gigabit Ethernet.

    PPS: А еще можно было бы написать на этой неделе про 5 место NetApp в Fortune's list Best Plaсes to Work, вон Intel стррашно гордится аж 51-м местом (из ста), но мне показалось, что все эти радости пиар-отдела Хабру не очень интересны, поэтому упомяну об этом «бегущей строкой» в самом конце. Да, пятое место в сотне лучших работодателей США, и пятнадцатое (выше Google (30) и Apple (20), кстати) по списку сайта Glassdoor, оценивающего компании не «снаружи», как Fortune, а изнутри, анонимными голосами самих работников. «Пустячок, а приятно».
    NetApp
    Company
    Ads
    AdBlock has stolen the banner, but banners are not teeth — they will be back

    More

    Comments 66

      +1
      Нельзя отрицать плюсов снимков WAFL, но не стоит забывать о минусах самой файловой системы. Ничего в голову, кроме фрагментации записанных данных не приходит, но хотелось бы услышать и про минусы.
      Кроме того упомянув COW, можно было бы упомянуть и split-mirror для полноты обзора снапшотов.
      В целом топик интересный, а технология от NetApp заслуживает внимания.
        +4
        Все имеет свои плюсы, и свои минусы, за все чем-то да приходится платить.
        Мы платим за сохранность данных емкостью дисков в RAID, мы платим за устойчивость и непрерывность работы стоимостью избыточного оборудования в кластере.

        Вопрос лишь в соотношении, и в том, что и сколько мы получаем за эту плату.
        Можно заплатить немного и получить много.

        Практика показывает, что за сравнительно небольшую плату в случае WAFL мы получаем огромное количество преимуществ (я о них уже третий пост пишу, и еще впереди несколько). Вот и EMC, долго упиралась, но и тоже в конце концов, к этому же пришла в своих новых системах EMC VNX, построенных, по сути, на тех же принципах, что с 92-го года использует NetApp — универсальное хранилище данных поверх файловой системы.
          0
          Не знал, честно говоря, про такую технологию.
          Большое человеческое спасибо автору.
            0
            «EMC VNX… — универсальное хранилище данных поверх файловой системы»
            в корне неверное понимание принципов работы системы
              +2
              Расскажите верное.
                0
                Ну почему же в корне, по словам EMC первая половина верна «универсальное хранилище данных» :)
                Вторая да, неверна. Во FLARE с 28 есть pools которые конечно кусочками выделяют место но файловой системой никак (или «пока» :) ) не назовешь.

                А рассказывать то там нечего, DART и FLARE так же работают на отдельном железе (в VNXe некоторый изврат с гипервизороподобным решением, но по сути работает тот же основной код DART и FLARE).

                EMC пришли не к техническому решению (может просто не могут пока аналогичное сделать) а к тому что тактика продвигания low- mid- решений как «универсальных систем хранения с кучей всяких плюшек» успешна и NetApp много лет отжимает доли рынка.
            0
            Сколько ориентировочно стоит FAS2020 без дисков?
              +1
              Без дисков они не продаются, хотя бы потому, что диски «с базара» в них не ставятся, они продаются укомплектованными дисками, и на систему (и диски в том числе) обепечивается вендорская гарантия Next Business Day.
              Об этом, кстати, я писал в предыдущем посте про Autosupport.
              habrahabr.ru/company/netapp/blog/111916/

              О цене, и сложности с ее называнием я уже писал в самом первом посте моей серии. Дело в том, что NetApp продает в России не напрямую, а через компаний-партнеров (ссылки я привел выше), эти компании сами определяют цену, и NetApp не вмешивается в этот их бизнес.

              Далее, цена зависит от конфигурации (один или два контроллера), дисков (SAS или SATA), их количества (6 или 12, или, может быть, с полками расширения). А также от количества включенных лицензий на софтверные «фичи»и протоколы (сейчас для 2020 идет пак «все включено»).

              Наконец цена может падать в период специальных распродаж. Насколько я знаю (надеюсь никакой военной тайны не выдам;) что до конца 1 квартала запланирована большая распродажа на 2020. Спрашивайте у партнеров.

              Поэтому назвать цену с «точностью до доллара» просто физически невозможно. Но, наверное, не совру, если скажу, что ценовая категория для FAS2020 это «до 10 тысяч долларов» со склада в Москве для конфигурации «один контроллер и 12 дисков SATA 1TB», и «до 15 тысяч» за систему с двумя контроллерами (кластерной high available парой).
              По крайней мере у партнеров сейчас есть все основания за такую цену подобные системы продавать.
                0
                без дисков никто не продает системы хранения данных. диски — самое сладкое и едва ли не «то самое» на чем и зарабатывают бабло. да и кто сказал что «сторонние» винты будут совместимы с «фирменными» салазками… может у них как у hitachi вообще винты приварены к салазкам. .)
                  +1
                  Дело не в том, что кто-то хочет неправедно «навариться» на бедных несчастных-пользователях. Дело в том, что система обеспечивается сервисом, а сервисом нельзя обеспечить систему, набитую «леваком», который она видит в первый раз в жизни.
                  Даже в самом слове «гарантия» есть смысл того, что работоспособность купленного устройства вендором гарантируется. Ее нельзя гарантировать на что-то, что собрал сам пользователь, с его прдставлениями о том, что можно, и что нельзя.

                  Я уже писал это в предыдущем посте, повторю тут: вендоры Tier-1 считают, что «репутационные издержки» в случае такого варианта, не оправдывают возможного снижения цены.
                  Однако есть немало вендоров, скажем так, Tier-2, которые такой вариант поддерживают. Если вам обязателен только вариант «свои диски», то вы моете купить сторадж у них.
                  Однако, разумеется, гарантии работоспособности у них совсем не такие шоколадные, как в рассмотренном случае.
                    +1
                    есессно с «левыми» винтами на саппорт не поставить. бох с ним. но покупать с винтами или без — выбор кастомера, но и тут ждет бида: без винтов салазки отдельно не продаются. т.е. замкнутый круг. хочешь не хочешь, а винты купи. :) да ладно, что вы отмазки малюете, это нормальное положение дел для отрасли. те же ibm, hp, sun/oracle своим серверам так же только родные винты с салазками продают, отдельно — нини. :) и все дружно прикрываетесь заботой про надежность что ваши золотые винты со свежей кровью девственниц надежнее и швыдче и вообще… хотя партнамберы в конфигураторах палят оем и вообще. :P вы же явно не возмещаете потери бизнеса если что упадет, а только «чините» железо. при таком раскладе не пофиг ли какие винты там стоят? да и не разумнее ли переложить заботу о рисках на голову кастомера, учитывая что она и так на его голове. так как при словах клиента «надо чтобы было очень надежно» вы будете считать «надежный» конфиг с резервированием всего и вся и системы хранения данных и серверов работающих с ними, и коммутаторов и линков с хранилки до сервера, и в итоге все равно кастомеру придется решить «заплатить гору бабла за надежность» или «заплатить горку бабла за ненадежность и попутно принять возникшие риски». а еще можно поставить вопрос о качестве саппорта вендора на территории рашки, где, безусловно, вендор будет петь красивые басни, а реальное положение дел можно будет услышать только от кастомером. да, маркетинг такой маркетинг, такие красивые слова у вас получаются. :) это все понятно и так.

                    «диски «с базара» в них не ставятся», — они не ставятся по политическим причинам или таке впринципе не совместимы?
                      +1
                      Ну так повторюсь, у вас есть свобода выбрать другого вендора, который такое позволяет, например Xyratex, Infortrend, Axus. Все они позволяют устанавливать любые диски, которые официально были протестированы и включены в Compatibility lists.
                      Но гарантию вндор не осуществляет, только его локальные партнеры.

                      Вы же не обижаетесь на то, что BMW или Mercedes требуют обслуживания только в официальных сервисах, покупать дорогие «оригиналы» и принуждают вас лить дорогие расходники, хотя вон у дяди Миши в гараже все то же самое, но впятеро дешевле.

                      Хотите гарантию — выполняйте условия поставщика.
                      Не хотите гарантию — делайте что хотите.
                        –1
                        вы первый завели любимую вендорскую шарманку про «мы заботимся о вас, лошках, поэтому продаем оемные диски под нашим шильдиком втридорога, и у вас нет выбора, жрите что дают, хо-хо», — я ответил что думаю об этом, так что не надо обид и непонятных соплей вместо ответа по существу на заданный вопрос. :)

                        вы вспоминаете про мерседес и бмв, а значит отождествляете сабж поста с ними? я бы понял такие сравнения, если бы сабжем была хотя бы Hitachi AMS2100, например, цена головы которой с горсткой винтов от ~$35k, а не low-end софтовая погремушка за до ~$10k. вы смешны такими аналогиями. и я искренне удивлен, я думал цель рекламных статей привлекать новых клиентов, вместо этого вы мне прямым текстом говорите «идите нахуй, вон там есть гора других вендоров».

                        ну рас уж зашли терки про «хотите гарантию», дайте уже почитать ваше SLA, ознакомиться так сказать. было бы интересно узнать про то что такое вообще «гарантия», что она вообще из себя представляет и как обрабатывается, и как реагируют на заявку, сколько времени пройдет между заявкой на неисправность и ее исправление, скажем, в г. Иркутск, а так же что эта «гарантия» таке _гарантирует_. ну кроме гарантии вашего любимого вендор-лока есессно.

                        ps: возвращаясь к вашей аналогии про немецкие машины, вы действительно считаете что масло не из сервсисного центра, соответствующее по требованиям оригиналу, но в десять раз дешевле ввиду отсутствия необходимости кормить всю эту сервисно-дистрибьютерскую шушеру, будет работать хуже или вовсе не будет? сами то на мерседесе ездите, чтобы рассуждать про аналогии на их тему?
                          +1
                          Не думаю, что ваш тон здесь оправдан.
                            0
                            Много видел железа собранного на коленках, отверточками, скрутками подвязанные, дешево, сердито, при этом админы обзванивают розницу или барыг с просьбой продать один винт, и ищут дешевле на пол-копейки и просят гарантию 3 года. Есть такое, но по старинному обычаю, мы в таким заказчикам, либо не продаем, либо без всяких обязательств, коробку забрали, мы о них забыли. Заказчики, которым мы продаем, обслуживаем и выполняем сервис, не спрашивают о возможности поставить чужие винты, и мне спокойно пользоваться их услугами.
                            Хотите SLA делайте запрос на интегратора и вам все прокалькулируют, и консультации, и выезд инженера на сайт ночью в Тюмень, или нахождение там выделенного инженера, все возможно, просто это стоит денег. Если вы считаете, что информация ваших клиентов и ваша стоит того, чтобы хранить ее на самосборе, так она там и должна храниться, не нужно отвлекать интеграторов и вендоров от работы.
                              0
                              я прекрасно знаю что за бабло все на всё согласны, с той лишь разницей что одни могут, а другие нет, а третьим оно не надо.

                              про самосбор придумали только что вы сами и про три копейки тоже. знаете ли, разница между оемом вендора схд и оригинального вендора винта раза так в 3-4 это ниразу не «три копейки», а если помножить на количество шпинделей в инсталяции, то и подавно. на эти «трикопейки» я накуплю гору _правильных_ винтов и буду радый. чем винты с вашим шильдиком такие особенные, что за них надо платить четыре стоимости? тем что они не протеворечат вашему «вендор-локу»? вашей религии?
                                0
                                Да винты дороже, но только не 3-4 раза (такое только в VMax'e) также винты по-особому отформатированы не в 512, а 520 в разнице хранится CRC проверяется, что обеспечивает дополнительную надежность хранения данных. Также винты протестированы, на них постоянно клепают прошивки и т.п.

                                P.S. У меня в FAS3020c (из ~140 винтов) за 4 года вылетел всего один винт и то вылететь не успел т.к. по данным Autosupport мне вендор диск прислал раньше.
                                  +2
                                  «По-моему мы зря его кормим» (с) Кот Матроскин ;)
                                  0
                                  Та ну кто по прайсу покупает? У HDS 3000$ винт стоит в GPL. Но потом предлагается хорошая скидка, и Заказчику приятно, и вендору не накладно. А с NetApp отдельная песня, они могут давать цену, на те деньги, которые есть у Заказчика на систему другого вендора. И можно защитить проект, закрыв потребности клиента, не кол-вом дисков, а функционалом. Если за те же деньги, купить не винты (которые греют воздух и потребляют электричество), а технологии + меньше винтов, думаю разумный человек выберет второе.
                                    +1
                                    Есть мнение, что вы зря сотрясаете эфир. Человеку неинтересно знать, ему интересно посраться в комментах :(
                                      –2
                                      на вопросы вы не отвечаете, на них отвечают другие насколько я вижу, а вы лечите заученную маркетаскую шарманку, но, внезапно, мне не интересен пиздеж маркетастов, так что со своими откровениями про золотые тестированные винты за большую цену идите-ка вы на хуй.
                                        0
                                        Ну я потерплю, пока вы выговоритесь, и все же сходите выпьете свою таблетку, которую вы вчера явно пропустили перед походом в интернет. Вам без нее явно тяжело. :D
                                      –2
                                      вы не поверите, я в курсе что за жпл никто не покупает. однако, ну какая же эта «скидка»? ну пускай будет 50%, все равно остается полторы тыщи баксов за винт в вашем примере. типа приятная цена? да вы издеваетесь. Ж) ну да ладно, хитачам можно простить, у них все по честному, не чей-то оемленый винт, да и не простой «свой»… да и хитачи уже хай-енд, с которым писюк не противопоставишь. в начале ветки вообще речь шла FAS2020. у хитачей попросту нет этих альтернатив в лоуенде, потому что хитаче деревянне и у них на всё про всё едва ли ни одна коробка с разной прошивкой…

                                      жуть, какие еще «технологии»? чего такого умеет конкретно этот FAS2020 чего не умеет любая другая СХД? решения примерно одного уровня у всех умеют примерно одно и стоят примерно одинакого. и с чего вдруг технологии сулят меньше винтов?
                                        0
                                        Скидка есть и 92% на железо, 98% на софт, просто нужно плотно интегратору работать с вендором и заказчиком. Хитачам хитачевое, у них есть дедупликация в AMS или USPV? А снепшоты сколько времени занимают и сколько делаются и как пригружается система? А софта сколько нужно знать, чтобы всем этим рулить, а резать рейдгруппы легко?
                                          0
                                          Хитачи это такие холодильники есть. И экскаваторы, я знаю.

                                          Мой вам совет — оставьте в покое этот организм. Для того, чтобы с ним спорить нужно встать с ним на один уровень. А зачем вам на него вставать? Человек полностью и абсолютно убежденный в собственной непререкаемой правоте, и единственном владении Истиной. Такое бывает в 25 лет, сплошь и рядом. Потом проходит.
                                          Но вам-то это зачем?
                                            0
                                            Скучаю :)

                                            Хитачи, согласен :) Конечно HDS.
                                              0
                                              Да не один ли хрен :)
                                              Производитель систем хранения, не входящий даже в пятерку лидеров, где-то там, во втором эшелоне, вместе со всякими Pillar, Compellent, Xiotech и прочими Huawei-Symantec ;P
                                                0
                                                Мда, чувак… или ты реально полгода как работаешь и у тебя сопли-слюни текут как у нас все хорошо ну или просто туп) Говорить, что HDS — отребье и ДАЖЕ не входит в пятерку — это реально бред, зато вот HP входит, на 90% при помощи OEM. И, да, прежде чем говорить что-то про HDS, необходимо хотя бы войти в Hi-end, а не рассказывать всем про FAS.
                                                  0
                                                  Чувак работает с HDS и NetApp с 2003 года.

                                                  > Говорить, что HDS — отребье

                                                  Там смайлики парсер съел? ;)
                                                  Я там тролля дразню ;)

                                                  Но да, HDS действительно не входит в пятерку производителей по миру, он так нетипично популярен в России, да, и это большая заслуга российского офиса, но в мире это не так. По официальным данным продаж (куда входят и продажи OEM) его даже Dell обходит.
                                          0
                                          Дисков меньше нужно, т.к. есть дедупликация, конечно не все типы данных дадут эффективный прирост дискового пространства при ее внедрении. Давеча я на 2020 отрезал 10ГБ и отдал его ESX серверу по NFS, поставил на него ХР (размер 7ГБ диска С, под ESX 3,5ГБ), а потом при помощи Rapid Cloning Utility на этот же объем клонировал 20 ХР, за 3 минуты. Все машины занимали объем 3,7ГБ, на других системах это было бы 35ГБ. Вот и посчитайте, сколько нужно было бы еще дисков, греть воздух, питать их электричеством, и это только на 20 машинах.
                                            +1
                                            > Скидка есть и 92% на железо, 98% на софт, просто нужно плотно интегратору работать с вендором и заказчиком.

                                            сказки не рассказывайте. с ваших слов получается что и цод можно укомплектовать за цену средненького сервера того же sun'а или ibm'а. или вы имеете ввиду скидки на винты? ну может быть если набрать хлама на ценник где эти винты потеряются, может и кинут их в «подарок». но это лишь вопрос ваших предпочтений что услышать «в подарок» или «всё было включено в стоимость проданного». в любом случае, в частности, оемленные винты не будут стоить столько же или рядом с теми же винтами у родного вендора.

                                            не надо мне рассказывать про дедуплекацию данных как про откровение какое-то, так и знал что про неё мне начнут лечить как про средство «сэкономить на винтах». да, не спорю, бонус из неё приятный. но далеко не факт что на используемой задаче она возымеет профит. энивей, я бы не расчитывал количество дисков из расчета «сэкономим на дедупликации». потому что это частный случай, что собственно и демонстрирует ваш пример с виндовсом. может у вас и хранится сотня копий одного и того же с разницей в байт, то у других может такого и не быть. я бы даже сказал вряд ли будет. такое возможно только в идеально сферическом вакууме, в котором вы наверно и живете. я даже наверно вас удивлю, но клонировать фс и скормить ее в виртуалку на zfs так же можно и так же не будет «лишнего» занимать, пока не начнете эту фс изменять. всё про что вы тут вещаете на коробке с zfs реализуемо чуть более чем полностью. не понимаю что вы пытаетесь доказать: мне незаменимость дешевых схд или себе нужность вашей дешманской схд?

                                            да, неадекватный товарищ под ником track прав, мне вы вряд ли докажете незаменимость и необходимость дешманских СХД аргументами вида «ГАРАНТИЯСЕРВИССВИСТЕЛКИПЕРДЕЛКИЗОЛОТЫЕВИНТЫ», просто потому что это детский сад и пиздеж маркетастов, не более.

                                            ув-мый track, вы все такие умные и гораздые поливать говном конкурентов, может таке кто-нибудь закроет вас всех в одной комнате, чтобы уже с интересом посмотреть как вы друг на друга говном поливать будете? :) и весело и польза будет: оппоненты то спиздеть не дадут. Ж)

                                            ну и да, речь то я веду не за то что вы плохие, а хитачи хорошие. хитачей можете заменить на кого угодно, кто вам больше нравится. речь я веду про то что маркетасты у всех вендоров одинаковые долбоебы и пиздоболы, что вы с остервенением щас и доказали. аплодисменты стоя! Ж)
                                              0
                                              Вам с этим точно лучше к врачу, а не сюда :D
                                                0
                                                Нет никаких сказок, есть реальные проекты. Есть скидки, просто не для вас, вам они не нужны. Молитесь на ZFS, не кто не мешает, долбите в клаву команды, вперед, трабылшутите и судорожно пытаетесь найти потерянные данные, а вас директор материт, флаг в руки. Мы спокойно живем и не заморачиваемся на эти мелочи. Вендоры знают друг друга, никто не будет брызгать пеной, у них одна задача, взять деньги у заказчика и дать ему решение для его конкретной задачи, а не вообще место для мусора всей конторы + ZFS. Правильное ТЗ (не на тендер) на СХД решит какой вендор будет более вписываться в решение, а деньги это вопрос другой. И вам тут не маркетологи пишут.
                                                  0
                                                  окей. допустим убедили.

                                                  >Но, наверное, не совру, если скажу, что ценовая категория для FAS2020 это «до 10 тысяч долларов» со склада в Москве для конфигурации «один контроллер и 12 дисков SATA 1TB», и «до 15 тысяч» за систему с двумя контроллерами (кластерной high available парой).

                                                  как мне купить FAS2020 в указанном конфиге за $200 вместо указаных $10k? готов прямо щас оформить сделку :D да бох с вами, готов два таких конфига купить за $400 каждый или в сумме за $800. доставку в магадан оплачу сам. по рукам? куда реквизиты слать?

                                                  ну и еще пару слов про zfs vs netapp(wafl). всем известна патентная тяжба между sun и netapp после покупки первой storagetek, всем известно чем это закончилось. последняя спаслась ответным иском про нарушение патентов wafl в zfs, что какбэ намекаэ нам… а учитывая что zfs проэктировалась не в мезазойных 92-93х годах, а уже в этом тысячелетии, что нам уже должно говорить о большем ее совершенстве и о решении проблем существующих в wafl. вобщем-то об этом особо нечего рассуждать, обилие low-end СХД zfs-based на рынке об этом говорит. к слову даже есть и не совсем low-end, та же 7XXX серия хранилищ от sun.
                                                    0
                                                    Давайте ТЗ. Т.е. утром стулья, вечером деньги. Да и закажите лучше 200 тысяч таких систем, и будет скидка, а то пару не серьезно. А может вы из РЖД? Тогда можем и поговорить на счет парочки маленьких систем. Только зачем оно вам нужно, там же поддержка, при чем авто, сама система вам диски закажет, а не откат от продавца, да и wafl вместо zfs. Да и SUN почил уже внутри Oracle. 10-15килодолларов это реальная цена для человека с улицы. Для получения лучшего предложения необходим объем заказа. За патенты все судятся, это модно.
                                                      0
                                                      а что вы меня попрекаете? за 2% от стоимости, да бох с ним, за 4% или даже 10% я бы купил и не вспомнил о каких-то гарантиях. всё равно вопрос рисков — это моя головная боль, а не вендора или интегратора или кого-то еще.

                                                      а вообще все как и ожидалось. чего тогда было рассказывать про 98% скидки? на объемах кто угодно скидок наделает. правда во что-то большее чем 45-50% я не поверю, ну да это мои личные проблемы. хотя, конечно, вагонами их не покупал, может и правда за два вагона винтов с полками дадут 98% скидки. ну а за 10килобаксов брать лоуенд не вдохновляет. хотя, может быть, людям далеким и привыкшим клацать мышкой в чекбоксах славного «бесплатного» софта оно и покажется сказной, цена то по меркам СХД нищебродская, да.
                                                        0
                                                        Вы приходите сами к правильным выводам, большие скидки — на больших объемах, так везде, даже на шуруповерты Хитачи. Если 2020 закроет вашу задачу, и отпадет необходимость платить админу штуку баксов в месяц за его труд над поддержкой ZFS, то эта система отбивается за 10 месяцев, тока на зарплате, а если еще посчитать экономию электроэнергии, места в шкафу и охлаждение, то еще быстрее. Скидка в 40-50% это партнерская скидка, практически у любого вендора, поверьте.
                                                          0
                                                          одминов в штате все равно надо держать, причем квалифицированных, которые за колбасу не работают, причем несколько, чтобы они в отпуск по очереди ходить могли и подменять друг друга если вдруг чо… покупка вундервафли за гору денег никак не причина сэкономить на обслуживающем персонале, скорее наоборот, причина озаботиться обучением персонала и здесь я не имею ввиду обучение до сервисного инженера. насчет мест в шкафу и экономии электроэнергии все спорно, зависит от размеров инсталляции. про скидку в 40-50% охотно верю, потому что _знаю_, что да, это так.

                                                          ps: выводы я сделал вобщем-то давно, да и чего вы привязались к этим хитачам? Ж) я вовсе не любитель хитачей или кого-то еще. мне ровно.
                          0
                          Ане опасно хранить такую копию данных на самом же сторадже?
                          Ведь это аксиома — не хранить бэкапы на том же носителе.
                            0
                            Не бекапы, это мгновенная копия.
                              +3
                              Тут вот какая ситуация. Во первых хочу отметить, что снэпшоты совсем не отменяют и не заменяют бэкапы, так сказать «классические». Это расширение возможностей традиционного бэкапа.

                              Что есть бэкап? Бэкап это то, с чего можно восстановиться, причем восстановиться за время, «прежде чем нас вcех за это поубивают»;) В науке это называется SLA — Service Level Agreement.
                              Если с бэкапа можно восстановиться за оговоренное время — это хороший бэкап. Если с бэкапа нельзя восстановиться за оговоренное время — это плохой бэкап, как бы правильно и «по науке» он не был сделан.

                              «Удаленный бэкап» отличная штука, которая помогает в случае физического выхода из строя стораджа. Но физический выход из строя стораджа это все же неповседневность. Пожары и наводнения, славбогу, это не ежедневная данность. А вот секретарша притащила на флешке вирусы, или в ведомости обнаружился мальчик с именем DROP TABLE ;) это, на практике, гораздо более частая ситуация сбоя в данных.

                              И в такой ситуации восстановление из снэпшота, с того же хранилища, будет выполнено быстрее, а значит — удобнее и лучше.
                              Что, конечно же, не исключает необходимости делать правильный удаленный бэкап, на случай аварии. Просто восстанавливаться с него придется не по пустякам, а в случае по настоящему серьезных проблем.

                              К слову сказать, делать бэкап со снэпшота, а не с активных данных, это еще и отличное решение резервного копирования «открытых файлов», вечной головной боли любого практическго админа.
                              • UFO just landed and posted this here
                                  0
                                  Не совсем понял вопрос, поэтому отвечу так, как я его понял :)
                                  Если не то — уточняйте.

                                  Снэпшоты это такие «дифференциальные копии», по занимаемому на дисках месту, да, но с точки зрения пользователя «дифференциальность» эта скрытая, так как в каждом снэпшоте пользователь видит полноценную полную копию своих данных на томе, на соответствующий момент времени.

                                  Например, в рассмотренном выше случае, с 1TB-разделом и слабоизменяющейся (например на 5 процентов за сутки) базой на 750GB, если мы начнем куда-то наружу копировать наши снэпшоты, то каждый снэпшот будет копироваться как полноценная база размером 750GB, хотя на диске будет занято за все сутки всего 50GB разницы между всеми снэпшотами и активной базой.
                                  • UFO just landed and posted this here
                                      0
                                      Я бы поступил иначе. Я бы хранил снэпшоты на диске, взятые с нужной периодичностью (раз уж они мало места занимают), и раз в сутки (может реже) бы утаскивал полную копию на внешний носитель. Ну или там если бэкапный софт умеет, то делал бы блочно-инкрементальную.
                                      Полная копия выгодна быстрым восстановлением. Потому что покааааа из кучи инкрементальных соберется актуальное состояние… А полная — она и есть полная.

                                      Но утащить средствами стораджа «только разницу» — нет, нельзя. Ее можно утащить на другой нетапповский сторадж, с помощью средства D2D backup — SnapVault, там они могут между собой разобраться как передать на внешний сторадж «разницу» но о SnapVault я может как-нибудь дальше расскажу.
                                      • UFO just landed and posted this here
                              0
                              А никто не видел, чтобы можно было так с программой? Типа пять минут назад она еще не упала, верните в зад. Для форков же работает.
                                0
                                Может, я что-то пропустил в статье (она довольно большая, а мне на работу скоро бежать), но если система не даёт ничего изменить на диске, а всё решается созданием нового файла, то как быть со вставкой в середину?

                                Получается, что на операциях UPDATE при сбросе на диск (fsync и прочих) каждый раз файл перекопируется с новыми данными?

                                Наверное, это сильно снижает скорость?

                                Есть место, которое я не понял в статье, возможно, в нём и спрятан ответ:
                                В случае же необходимости изменения его содержимого эти изменения «дописываются» в свободное место дискового пространства, после чего на блоки с записанным содержимым изменений переставляется указатель содержимого файла (старый блок содержимого помечается как свободный, или не помечается, если на него ссылается более одного файла, или он использован в снэпшоте).
                                Что вот это значит? В файле можно изменить блок из середины? А как конкретно? Новые блоки накладываются как патчи на прежний файл? Файл представляет собой последовательность блоков и можно перезаписать любой блок, переставив указатели в соседних, но не изменяя размер блока?

                                В общем, проясните кто-нибудь это место.
                                • UFO just landed and posted this here
                                    0
                                    Ага, спасибо! Стало намного понятнее.
                                  0
                                  А сколько денег это стоит? Вот к примеру ваш NAS в примере 4тб, если включить снапшоты 1тб-ной базы(лучше хралища документов) каждый час/еженочно +3 недели. предположим что снапшоты будут занимать еще 1тб, сколько будет стоить это удовольствие помимо оборудования и ПО которое это умеет.
                                    +1
                                    Пока все, о чем я до сих пор рассказывал — базовые возможности любой системы NetApp.
                                    Есть ряд возможностей, которые включаются покупкой лицензий, но снэпшоты, а также thin provisioning, дедупликация, сервис NBD, и еще несколько возможностей, о которых я еще напишу далее, это все «в базе» любой системы, и дополнительных денег эти функции не стоят.

                                    Так что «стоить» снэпшоты могут только в виде занимаемого места.
                                    А занимаемое место зависит, как я писал выше, от объемов изменений.
                                    Если между взятыми снэпшотами в базе изменены 5% данных, то размер доступного данным пространства на томе, где лежит база и взяты снэпшоты, уменьшится на 5%.

                                    Заранее место на дисках под пул блоков, в отличие от COW, не отнимается.
                                      +1
                                      на вашем месте я бы не смотрел на low-end решения. проще и дешевле набить сервер винтами и крутить на нем zfs, причем дешевле в разы. в рисках и гарантиях вряд ли что потеряете. зато за те же деньги хоть два сервера с винтами купить можно, ну или как минимум один с горой запаса. в _вашем_ случае на 4 тб этого более чем достаточно, даже есть огроменный запас по масштабированию. :)

                                      смотреть на «готовые» решения надо только если вам надо high-end решения, ну или хотя бы middle, — это когда надо много и сразу. а пару-тройку десятков терабайт можно и на «писюке» с горой винтов и правильным контроллером дисков без проблем отстрелять на отличненько. :)
                                        0
                                        4тб я привел для примера. У меня уже используются hi-end решения от другого вендора. Но дополнительные фичи — это дополнительные деньги на лицензии ПО. Они стоят неадекватных денег за каждый терабайт, с моей точки зрения того как это можно реализовать на ПО от FSF.
                                        Но т.к. я не администрирую СХД, не плачу из своего кармана за диски, полки и даже за экономию бюджета кроме лучей ненависти от интегратора ничего не получу, а более того — с перехода внутренних SCSI-дисков сервера на внешние в SAN, аварийные работы из-за выхода из строя дисковой системы стали в раз 20-30 реже, вообщем молчу и улыбаюсь.
                                          +1
                                          У вас неверное между эксплуатацией и бизнесом нет SLA, и соответственно штрафов, за простой сотен рабочих мест, и по-этому вы можете позволить себе налаживать хранение данных на «писюке».
                                            +1
                                            В свое время, когда я был молодой и зеленый, и любил чувствовать «незаменимость» (а чего проще стать незаменимым, как сделать что-то, в чем никто кроме тебя не понимает как это работает, и как его починить, случись что), я тоже таким был.
                                            Но однажды руководство конторы, в которой я работал, не отпустило меня в давно условленный отпуск под предлогом: «Так никто ж без тебя тут в этом не разберется, а если сломается? А надо чтоб работало. Не-е!»
                                            И я крепко задумался, насколько хорошо быть таким «незаменимым» и городить «серверы с винтами под zfs на FreeBSD»
                                              0
                                              вот вы такой не молодой, спелый и опытный, что даже о простом ведении документации не слышали и не подозреваете что она то таке решает все эти проблемы «незаменимости». никакое железо не решит ваших проблем с отпуском, если не будет рабочей документации, даже если есть человек который может вас подменить. «зубры» то уж должны знать такие простые истины, равно как и то что zfs на freebsd говно. впрочем про freebsd придумали вы сами. :)
                                            0
                                            Как же я не люблю подобную точку зрения… напоминает коммунистов у которых всего два мнения — одно моё, второе не правильное. У ZFS нет обеспечения работоспособности инфраструктуры а именно специализированны софт управления (помимо консоли), те же SnapManager'ы (да, да просто снапшоты штука клевая но не делает все за вас), софт репликации кластеризации и т.д. и т.п. сначала попробуй поднять ZFS, а потом поддерживать в масштабах Enterprise потом сравнивай…

                                            P.S. Я ничуть не считаю ZFS плохой штукой — просто все нужно применять для своих задач.
                                              0
                                              это из разряда шашечек, вместо того чтобы ехать. «обвязок» для zfs в интернетах гора и так. есть даже стораж системы готовые: nexenta storage, sun zfs storage, и т.п.

                                              мигрировать данные между хранилками в любом случае тяжелый процесс. все остальное без проблем и так умеет. я лично вообще ненавижу свистелке перделке с кнопкачками и галочками… но за ценник в разы меньше это не определяющий фактор.

                                              ZFS как раз и создавали для таких задач. теперь ни дешманские рейд-контроллеры, ни дешманские СХД никуда не уперлись. хай-енд, да, без него никак.
                                                +2
                                                Как хорошо, что вы можете писать только раз в час %)
                                          0
                                          Первое фото в статье старое?
                                            0
                                            В каком смысле?
                                              0
                                              Оборудование кажется старым
                                                0
                                                Нет, просто реальный контроллер, реальной рабочей системы а не лакированное маркетинговое презентационное фото.

                                                FAS2020 это, конечно, не суперновая модель, появилась она в продуктовой линейке, если не ошибаюсь, в 2006-м году, но до сих пор еще продается. На сегодня это самая младшая и самая недорогая система производства NetApp.
                                                  0
                                                  Еще вот с такой точки могу показать:

                                                    0
                                                    Копилефты принадлежат хабраюзеру foboss :)
                                                    За что ему спасибо.

                                            Only users with full accounts can post comments. Log in, please.