company_banner

Резервное копирование, часть 5: Тестирование Bacula и Veeam Backup for Linux


    В данной заметке будут рассматриваться различные "большие" программные средства для резервного копирования, включая коммерческие. Список кандидатов: Veeam Agent для Linux, Bacula.


    Будет проверяться работа именно с файловой системой, чтобы было удобно сравнивать с предыдущими кандидатами.


    Ожидаемые результаты


    Поскольку оба кандидата — универсальные готовые решения, важнейшим результатом будет предсказуемость работы, а именно — одинаковое время работы при обработке одного и того же объема данных, а также одинаковой нагрузке при этом.


    Обзор Veeam Agent для Linux


    Данная программа для резервного копирования работает с блочными устройствами, для чего у нее имеется модуль для ядра Linux, который обеспечивает целостность резервной копии за счет отслеживания измененных блоков данных. Более детальное описание находится здесь.


    Процесс создания файловой резервной копии работает на основе того же модуля ядра: создается слепок блочного устройства, который монтируется во временный каталог, после чего выполняется синхронизация данных пофайлово из слепка в другой локальный каталог, или удаленный по протоколу smb или nfs, где создается несколько файлов в проприетарном формате.


    Процесс создания файловой резервной копии так и не получилось довести до конца. Примерно на 15-16% выполнения скорость падала до 600 кб\сек и ниже, при 50% использовании cpu, что потенциально приводило к 6-7 часам работы процесса резервного копирования, поэтому процесс был остановлен.


    Была создана заявка в техническую поддержку Veeam, сотрудники которой в качестве решения предложили использовать поблочный режим.


    Результаты работы при поблочном режиме создания резервных копий таковы:


    Время работы программы в этом режиме — 6 минут на 20 гб данных.


    В целом достаточно неплохие впечатления от работы программы, но в общем обзоре она не будет учитываться из-за сильно большой медлительности файлового режима работы.


    Обзор Bacula


    Bacula — клиент-серверное ПО для создания резервных копий, логически состоит из нескольких частей, каждая из которых выполняет свою часть работы. Есть Director, который служит для управления, FileDaemon — сервис, отвечающий за резервное копирование, StorageDaemon — сервис хранения резервных копий, Console — интерфейс к Director (есть TUI, GUI, Web варианты). Данный комплекс включен в обзор еще и потому, что несмотря на ощутимо большой порог вхождения, он является достаточно популярным средством организации резервного копирования.


    В режиме создания полных резервных копий

    В этом режиме Bacula показала себя достаточно предсказуемо, выполняя создание резервной копии в среднем за 10 минут,
    профиль нагрузки получился такой:



    Размер резервных копий составил примерно 30 гб, как и ожидалось при работе в данном режиме работы.


    При создании инкрементальных резервных копий результаты не особо отличались, кроме размера репозитория, разумеется (порядка 14 гб).


    В целом видно равномерную нагрузку на одно процессорное ядро, а также то, что показатели похожи на обычный tar с активированным сжатием. Ввиду того, что настройки bacula для резервного копирования весьма и весьма обширны — показать явное преимущество не получилось.


    Результаты


    В целом ситуация неблагоприятная для обоих кандидатов, вероятнее всего из-за того, что используется файловый режим создания резервных копий. В следующей части будет рассмотрен также процесс восстановления из резервных копий, общие выводы можно будет сделать по суммарному времени.


    Анонс


    Резервное копирование, часть 1: Зачем нужно резервное копирование, обзор методов, технологий
    Резервное копирование, часть 2: Обзор и тестирование rsync-based средств резервного копирования
    Резервное копирование, часть 3: Обзор и тестирование duplicity, duplicati
    Резервное копирование, часть 4: Обзор и тестирование zbackup, restic, borgbackup
    Резервное копирование, часть 5: Тестирование Bacula и Veeam Backup for Linux
    Резервное копирование: часть по просьбам читателей: обзор AMANDA, UrBackup, BackupPC
    Резервное копирование, часть 6: Сравнение средств резервного копирования
    Резервное копирование, часть 7: Выводы


    Автор публикации: Finnix

    Southbridge
    585.88
    Обеспечиваем стабильную работу highload-проектов
    Share post

    Comments 19

      +9
      На мой взгляд, обзор получился довольно куций.

      Почему именно эти решения для резервного копирования выбирались для сравнения?
      Продукты значительно различаются по функциональности. Veeam Agent for Linux позволяет восстанавливать тома машины целиком, так как делает резервную копию именно тома. Bacula, как и большинство opensource средств для резервного копирования, делают резерную копию файлов с живой машины.

      Инкрементальный режим у Veeam Agent for Linux тоже есть. Его тоже было бы не плохо сравнить. Данные для инкрементального режима тоже было бы хорошо привести.

      На каких аппаратных и программных средствах проводились эксперименты? Это обязательно указывать!

      Я считаю, что статья, как минимум, требует значительной доработки.

      P.S. Режим файлового бэкапа Veeam Backup for Linux на множестве маленьких файликов — это боль. Большие файлы бэкапяться нормально. Так что если надо бэкапить только к примеру базу, то скорость должна быть хорошей. Над оптимизацией режима файлового бэкапа работаем.
        +2

        Действительно скромно
        Сюда нужно как минимум urbackup, amanda

          0
          Без urbackup — скучно :)
            0
            Добрый день! Тесты уже сделаны, будет обзор в следующей статье, получилось чуть быстрее, чем Вacula.
          0
          Добрый день! Оба нынешних кандидата применяются чаще, чем остальные, к тому же они более «всеядные», поэтому их интересно сравнивать с предыдущими кандидатами. Ну а описание оборудования и его метрики есть в второй статье, к тому же выбран файловый режим работы (методика есть тоже в второй статье), поскольку поблочный режим не всегда удобно применять (не часто изменяемые файлы).
          –1
          Вы меня конечно извините, но это полный фэйл, а не статья.
          Veeam Backup for Linux — в лучшем случае 10-я часть от всего продукта, при этом о бакуле вы говорите, как о комплексе (видимо по тому что отдельно модули не работают).

          В целом ситуация неблагоприятная для обоих кандидатов, вероятнее всего из-за того, что используется файловый режим создания резервных копий.

          Приходите в t.me/RussianBackupUserGroup мы вам расскажем, как делать бекапы быстро и правильно, а то кандидаты у вас не такие…
            0
            Добрый день! Спасибо за предложение, а можно основные тезисы статьей оформить – чтобы всем были доступны, не только участникам группы?
              0
              Тезисы каких статей?
            +1
            Может не совсем в тему, но тем не менее: вчера увидел что моя утилитка на одном сервере работает чудовищно медленно. Оказалось Veeam активно бэкапит файлы.
            И это вызывает интересный эффект, каждый второй-третий запрос к файловой системе выполняется за примерно 700мс.
            В принципе терпимо, но когда нужно быстренько проверить наличие 1-2 сотни подпапок просто на существование (Directory.Exists(subdirpath)) то с таким диким latency это было ну совсем так не быстро, просто не хватало терпения у меня дождаться.
            Переписал функцию на один единственный запрос получения всех подпапок сразу (Directory.GetDirectories(dirpath)), утилитка можно сказать мгновенно стала делать ту проверку и активный файловый бэкап ей больше не мешает.
            Конечно все знают что с большим latency лучше делать большие запросы, но меньше по количеству. Но про локальные диски не все готовы осознать это.
              0
              Добрый день! Тех.поддержка Veeam так и сказала, что «файловый может быть медленным, используйте поблочный режим работы».
              0
              А включите ещё Burp в обзор, я пользуюсь им для собственных нужд, вроде очень удобное и несложное решение.
                0
                Добрый день! Включим, спасибо!
                0
                А что есть для бэкап линукса с возможностью восстановления всей машины на другом железе?
                Как Mondo/Mindi, но работающее более стабильно?
                0
                Veeam Backup and Replication прекрасно работает на уровне гипервизора для резервного копирования виртуальных машин, он для этого и создавался в первую очередь, агенты под Windows и Linux заметно послабее, хотя я делаю резервные копии рабочего компьютера при помощи бесплатного Veeam Agent for Windows.
                  +1
                  Bacula/Bareos в частности умеет LZ4 в многопоточном режиме. И если обернуть этот комбайн Ansible-ом, можно добиться кнопочки «сделать хорошо»
                    +1
                    Так и не понял, чем плоха Bacula?
                      0
                      Добрый день! Не то чтобы Bacula плохая, просто настроек столько, что результаты могут сильно отличаться.

                    Only users with full accounts can post comments. Log in, please.