unno Jul 5 2009 at 17:18

Бэкапим без расходов

9 min

4.4K

Бэкапы — это вечная проблема: то объемы данных сумасшедшие, то вообще забываешь про них. В своем предыдущем проекте dvice.ru (он пока закрыт, так что без ссылки) я допустил досадную ошибку в самом начале его запуска. Я написал небольшой крон, который в 12 часов ночи удалял всех неактивированных пользователей, зарегистрировавшихся больше 24 часов назад. Но я ошибся в запросе и потерял данные пользователей, которые зарегистрировались до первого запуска этого запроса. Слава Богу, у меня были все данные в сессиях, поэтому я восстановил всех тех, кто логинился и ставил галку на чекбоксе — запомнить меня. Обидно и глупо, но на ошибках учатся. Поэтому перед запуском своего крайнего проекта — inwhite.ru, я сделал систему бэкапов.

Бэкапы делались и копились, старые удалялись, и все было отлично. Пока внезапно я не понял, что страдаю полной фигней. Бэкапы-то я делаю, а вот забирать — не забираю. Объемы данных, лежащих на моем VPS, не такие большие, но по почте тоже особо не наотправляешься. Покупать еще один VPS и складывать туда все по FTP/SVN/CVS/SSH не особо хочется, хотя тоже вариант интересный.

До вчерашнего дня я был озадачен мыслью: а как все же забирать эти данные? И вот вечером меня осенило.

Я являюсь счастливым пользователем сервиса Dropbox. Хоть и с бесплатным аккаунтом, но благодаря inwhite.ru у меня есть еще 2.5ГБ места сверху, т.е. не начальные 2ГБ, а уже аж целых 4.5ГБ. И еще на 500МБ место может увеличиться. А это уже нормальная площадка для создания бэкапов средних объемов данных.

На данный момент у меня файлов в архивах бэкапится на 200МБ, баз данных, которые я поставил бэкапиться ежедневно — 2МБ в день, а бэкапов базы данных inwhite.ru, которая бэкапится каждый час (от греха подальше), за неделю набирается пока что примерно на 215МБ.

Я не стал искать книжку «КАК НАСТРОИТЬ БЭКАПЫ С ВАШЕГО СЕРВЕРА ЧЕРЕЗ ДРОПБОКС ЗА 24 ЧАСА». Покопавшись в больших интернетах, я нашел статью, в которой говорится о том, как настроить и заставить работать Dropbox при отсутствии GUI. Это было самое главное, т.к. если у вас не Windows сервер, то вряд ли у вас на сервере есть X.

Статья находится по этому адресу, и я не буду приводить ее здесь, т.к. сам процесс довольно прост и описан достаточно подробно. Скажу лишь пару вещей:

Если вы начали настраивать Dropbox, то HOST_ID зависит от папки, откуда запустили Dropbox
Если вы из обсуждаемого в статье расположения файлов ~/.dropbox-dist перенесете файлы, например, как я, в /usr/local/dropbox (я привык там хранить программы), то вам надо будет по-новой получать HOST_ID
dbreadconfig у меня так и не заработал, и что-то мне подсказывает, что у вас тоже просто так не заработает, только если вы не исправите этот скрипт, написанный на Python
Следствие из п.3 — запаситесь sqlite3
Скрипт запуска Debian/Ubuntu у меня тоже не особо пожелал работать, поэтому я вам тут его в исправленном виде выложу

Также я позволил себе сделать несколько новых па, т.к. у меня свои правила на сервере. Надо создать пользователя для Dropbox:

adduser --home /home/dropbox --shell /bin/false --disabled-login dropbox

Обратите внимание на то, что в папке пользователя вам надо будет сделать еще одну папку — «Dropbox», т.к. именно в нее по умолчанию Dropbox будет записывать файлы.

Т.е. по сути должно получиться что-то вроде:

/home /home/dropbox # эту папку вам создаст сам Dropbox после первого правильного запуска /home/dropbox/.dropbox # а вот эту папку вам надо будет сделать самому, т.к. Dropbox этого почему-то не делает /home/dropbox/Dropbox

Сам скрипт запуска

USERS="dropbox" DAEMON=/usr/local/dropbox/dropbox LAUNCH=/usr/local/dropbox/dropboxd start() { echo "Starting dropbox..." for dbuser in $USERS; do HOMEDIR=`getent passwd $dbuser | cut -d: -f6` if [ -x $DAEMON ]; then HOME="$HOMEDIR" start-stop-daemon -b -o -c $dbuser -S -u $dbuser -x $LAUNCH fi done } stop() { echo "Stopping dropbox..." for dbuser in $USERS; do if [ -x $DAEMON ]; then start-stop-daemon -o -c $dbuser -K -u $dbuser -x $DAEMON fi done } status() { for dbuser in $USERS; do HOMEDIR=`getent passwd $dbuser | cut -d: -f6` USERPID=`cat $HOMEDIR/.dropbox/dropbox.pid` if [ -z $USERPID ] ; then echo "Dropbox for USER $dbuser: not running." else echo "Dropbox for USER $dbuser: running (pid $USERPID)" fi done } case "$1" in start) start ;; stop) stop ;; restart|reload|force-reload) stop start ;; status) status ;; *) echo "Usage: /etc/init.d/dropbox {start|stop|reload|force-reload|restart|status}" exit 1 esac exit 0

Но написать статью про то, как воспользоваться какой-то там другой статьей — это мне кажется бредом, поэтому я решил поделиться не просто такого рода вариацией на тему «Как забэкапить данные с сервера без лишних телодвижений», а еще и скриптами самого процесса.

Я уже говорил, что бэкап у меня происходит с разным постоянством для разных сайтов, но напомню еще раз:

inwhite.ru – каждый час
все остальное — каждые сутки

По сути особой разницы в этих скриптах нет, поэтому приведу их 1 раз. Скриптов два, т.к. мы бэкапим базы и файлы, а они — суть разные вещи.

Итак.

Бэкапим базы данных

#!/bin/bash DATE=`date "+%Y-%m-%d"` TIME=`date "+%H-%M"` # в Dropbox я создал специальную папку Backup, т.к. # у меня там хранятся еще и другие файлы и папки # если же вы создадите себе отдельный аккаунт на Dropbox # для этого, то, конечно же, вам эта папка будет не нужна HOME="/home/dropbox/Dropbox/Backup" # массив таблиц, которые скрипт должен игнорировать # я старался максимально упростить жизнь, и сделать так, чтобы можно # было меньше залезать на сервер при добавлении новых баз # мне кажется, что проще залезть и добавить базу, которую не надо # бэкапить, чем каждый раз добавлять новые базы, которые надо бэкапить SKIP=("information_schema" "mysql") HOST="127.0.0.1" # хост, на котором расположена база данных USER="" # укажите здесь имя пользователя для соединения с базой данных PASSWORD="" # пароль этого пользователя # получаем список доступных баз данных DBS="$(mysql -h$HOST -u$USER -p$PASSWORD -Bse 'show databases')" # небольшая функция, для проверки на вхождение записи в массив # я не буду объяснять, как она работает, если вы захотите, то сами # разберетесь, т.к. тут нет ничего сложного in_array() { haystack=("$@") needle=$1 unset haystack[0] for i in "${haystack[@]}"; do if [ "$needle" == "$i" ]; then return 1 fi done return 0 } # HERE GOES THE MAGIC for DB in $DBS; do # есть ли текущая база в списке игнорируемых in_array $DB "${SKIP[@]}" # если нет if [ "$?" == 0 ]; then # создаем полный путь до папки, куда мы положим бэкап # это будет выглядеть примерно так: # /home/dropbox/Dropbox/Backup/DB/inwhite mkdir -p $HOME/DB/$DB # делаем дамп базы данных mysqldump -h$HOST -u$USER -p$PASSWORD $DB > /tmp/db-$DB-$DATE-$TIME.sql # сжимаем TAR'ом tar -Pcf /tmp/db-$DB-$DATE-$TIME.tar /tmp/db-$DB-$DATE-$TIME.sql # сжимаем GZIP'ом. обратите внимание на то, что стоит максимальное сжатие, # поэтому на больших объемах данных процесс может происхоть долго gzip -c9 /tmp/db-$DB-$DATE-$TIME.tar > $HOME/DB/$DB/$DATE.tar.gz # удаляем ненужные файлы, оставшиеся после создания бэкапа rm -f /tmp/db-$DB-$DATE-$TIME.tar rm -f /tmp/db-$DB-$DATE-$TIME.sql # удаляем файлы, которым больше 7 дней find $HOME/DB/$DB/* -type d -mtime +7 -exec rm -rf {} \; fi done exit 0;

А теперь бэкапим файлы

По сути это два примерно одинаковых процесса с небольшими различиями в плане получения данных.

#!/bin/bash HOME="/home/dropbox/Dropbox/Backup" DATE=`date "+%Y-%m-%d"` TIME=`date "+%H-%M"` # массив доменов, которые мы не бэкапим SKIP=("test1.ru" "test2.ru" "test3.ru") # получаем список папок, в которых расположены файлы наших доменов # у меня файлы расположены в папке /home/apache # если у вас они расположены, например, в /var/www, то строка ниже # должна выглядеть примерно так: # DOMAINS=`find /var/www -maxdepth 1 -type d | sed 's/\/var\/www//' | sed 's/\///'` DOMAINS=`find /home/apache -maxdepth 1 -type d | sed 's/\/home\/apache//' | sed 's/\///'` in_array() { haystack=("$@") needle=$1 unset haystack[0] for i in "${haystack[@]}"; do if [ "$needle" == "$i" ]; then return 1 fi done return 0 } for DOMAIN in $DOMAINS; do in_array $DOMAIN "${SKIP[@]}" if [ "$?" == 0 ]; then mkdir -p /$HOME/FS/$DOMAIN tar -Pcf /tmp/fs-$DOMAIN-$DATE-$TIME.tar /home/apache/$DOMAIN gzip -c9 /tmp/fs-$DOMAIN-$DATE-$TIME.tar > /$HOME/FS/$DOMAIN/$DATE.tar.gz # в случае с файлами мы удаляем только TAR, т.к. SQL файла # у нас тут не производится rm -f /tmp/fs-$DOMAIN-$DATE-$TIME.tar find /$HOME/FS/$DOMAIN/* -type d -mtime +7 -exec rm -rf {} \; fi done; exit 0;

У меня они называются database и filesystem соответственно, так что после установки их в /etc/cron.daily вам надо сделать:

chmod +x /etc/cron.daily/database chmod +x /etc/cron.daily/filesystem

Это, конечно же, простейший вариант. Можно все сделать более «правильно» и положить эти скрипты куда-нибудь, а задачу добавить через crontab -e. Но я единоличный пользователь своего сервера, и доступа к нему нет ни у кого другого, поэтому я вправе сделать так, как мне проще и удобнее.

Обращаю также внимание на то, что пользователю, от имени которого вы будете делать бэкапы базы данных достаточно таких прав:

SELECT, SHOW DATABASES, LOCK TABLES, SHOW VIEW

Вот, в общем-то, и все, что тут можно рассказать. Спасибо за внимание, и пользуйтесь на здоровье. Надеюсь, кому-то это все же пригодится.

Tags:

Hubs:

System administration