Уже несколько лет как появилась возможность любому Так же поступил и я несколько лет назад. Сначала арендовал один сервер, потом другой, и переносил настройки ручками, находя нужные файлы в директории /etc.
За пару лет на моём сервере осело несколько блогов друзей, и даже почтовый сервер, так как давно не хочу, чтобы моя почта была у Google. Насчет сохранности данных задумывался после каждой статьи на Хабре, но всё было как-то не до этого. И, как говорится, админы делятся на три категории: на тех, кто не делает бэкапы, на тех, кто уже делает и на тех, кто даже проверяет восстанавливаемость из бэкапов. Так получилось и со мной, хоть хостер и очень хороший, но произошла у них авария с жесткими дисками. Да такая, что неделю они пытались восстановить диски и предварительные оценки были очень неутешительными. А бэкапов у меня не было. Какое настроение у меня было в те дни можете сами представить.
Но через несколько дней техникам хостера удалось-таки восстановить данные и запустить все виртуальные сервера на той ноде. А я задумался о бэкапах. Думал я так — бэкап должен быть не на том же сервере (естественно!), желательно, чтобы он был у меня на компьютере, но не в одном экземпляре. Я обдумал и установку FTP на домашний компьютер и даже отправку архивов письмами, но все эти варианты меня не устраивали. И я понял, что надо попробовать Dropbox, которым я к тому времени пользовался уже пару лет, а бесплатных гигов у меня было около 18-ти.
Преимущества бэкапа в Dropbox:
- Независимость от домашней инфраструктуры и канала в Интернет
- Множественные копии (сразу на все синхронизируемые ПК)
- Кроме собственного хранения бэкапы хранятся и в облаке
Что делает представленный мной скрипт?
- Инкрементальный бэкап файлов в указанных папках (по первым и пятнадцатым числам идет полный бэкап)
- Бэкап всей базы MySQL
- Бэкап архивируется с помощью 7zip, с указанием пароля (вам же не надо хранить пароли в открытом виде в Dropbox'е?)
Как это делается?
Вкратце, создаётся «приложение» с точки зрения платформы Dropbox, авторизуется пользователем (то есть нами) и пишется скрипт, который пользуется авторизационными данными и заливает файлы бэкапа на Dropbox.
А точнее?
Шаг 1 — создание приложения
Заходим на страницу App Console, нажимаем кнопку «Create app», выбираем тип «Dropbox API app», выбираем пункт «Files and datastores», так как мы собираемся работать с файлами, а в следующем пункте отвечаем «Yes — My app only needs access to files it creates», это означает, что ваше приложение будет ограничено только своей отдельной подпапкой в папке App, к другим файлам у него не будет доступа. Придумываем название своему приложению и нажимаем «Create app».
Перед вами предстанет целая страница настроек созданного приложения, но там не требуется ничего дополнительно настраивать. Но пока не закрывайте её.
Шаг 2 — скачивание и установка SDK
Чтобы писать приложения, которые будут работать с файлами в вашем Dropbox'е, надо зайти в раздел Core API. Там мы можем скачать нужные нам SDK, почитать документацию и пройти обучающие туры.
Так как я считаю, что лучшим языком для скриптования для меня является Python, то я скачал себе его SDK и установил. Установка очень простая, всё ограничивается скачиванием, разархивированием самого SDK и установкой его с помощью команд "python setup.py install", или "pip install dropbox".
Шаг 3 — авторизация
Библиотека Core API использует OAuth v2, но Python SDK от Dropbox'а сам позаботится о том, как им пользоваться, так что вам не о чем волноваться и не придется писать всё с нуля.
Настало время накодить небольшой скрипт:
# Включить Dropbox SDK
import dropbox
# Вставить настоящие app_key и app_secret со страницы созданного приложения из шага 1
app_key = 'INSERT_APP_KEY'
app_secret = 'INSERT_APP_SECRET'
flow = dropbox.client.DropboxOAuth2FlowNoRedirect(app_key, app_secret)
# На данном этапе юзер авторизуется
authorize_url = flow.start()
print '1. Перейдите по ссылке: ' + authorize_url
print '2. Нажмите "Allow"'
print '3. Скопируйте авторизационный код.'
code = raw_input("Вставьте авторизационный код сюда: ").strip()
# Если вы ввели правильный код, то дальше он отсылается на сервер и получается access_token, который нам нужен
access_token, user_id = flow.finish(code)
# Для проверки авторизации выведем информацию об аккаунте
client = dropbox.client.DropboxClient(access_token)
print 'linked account: ', client.account_info()
# А сам access_token вам надо сохранить в файл для дальнейшей работы скрипта
print 'access_token: ', access_token
Шаг 4 — создаём временную папку и файл токена
Сам скрипт backup.py у меня лежит в папке /root, в ней же есть временная папка backup и файл dropbox_token.txt. Вам тоже нужно создать их и в файл записать токен с предыдущего шага. Токен состоит из двух строк, в файле они именно так и лежат, с переносом строки.
Шаг последний — пишем скрипт бэкапа
Развернуть
#!/usr/bin/python
import os
import sys
import time
import string
from os.path import getsize
curDate = time.strftime("%d.%m.%Y", time.gmtime())
curDay = time.strftime("%d", time.gmtime())
backupDelay = time.time()-86400
if curDay == "01" or curDay == "15":
backupDelay = 0
print "curDate:", curDate
# Include the Dropbox SDK libraries
from dropbox import client, rest, session
# Get your app key and secret from the Dropbox developer website
APP_KEY = 'ключ приложения'
APP_SECRET = 'секретный код приложения'
# ACCESS_TYPE should be 'dropbox' or 'app_folder' as configured for your app
ACCESS_TYPE = 'app_folder'
sess = session.DropboxSession(APP_KEY, APP_SECRET, ACCESS_TYPE)
oauth_token = ''
oauth_token_secret = ''
f = open("dropbox_token.txt",'r')
if f:
oauth_token = string.strip(f.readline())
oauth_token_secret = string.strip(f.readline())
f.close()
print "oauth token found:", oauth_token, oauth_token_secret
if oauth_token == '' or oauth_token_secret == '':
request_token = sess.obtain_request_token()
# Authorize the application on dropbox site
url = sess.build_authorize_url(request_token)
print "url:", url
print "Please visit this website and press the 'Allow' button, then hit 'Enter' here."
raw_input()
# This will fail if the user didn't visit the above URL and hit 'Allow'
access_token = sess.obtain_access_token(request_token)
f = open("dropbox_token.txt","wb")
f.write(access_token.key + '\n')
f.write(access_token.secret)
f.close()
else:
sess.set_token(oauth_token, oauth_token_secret)
client = client.DropboxClient(sess)
print "linked account:", client.account_info()
def sync_dir(dir):
rootdir = dir
print "Syncing directory:", rootdir
startTime = backupDelay
for root, subFolders, files in os.walk(rootdir):
for file in files:
fname = os.path.join(root,file)
if os.path.getmtime(fname)>startTime:
#print root, file
os.system("mkdir -p 'backup"+root+"'")
os.system("cp '"+fname+"' 'backup"+fname+"'")
print "Making dump of MySQL databases..."
os.system("mysqldump --all-databases -uroot -pROOT_ПАРОЛЬ_MYSQL -r backup/backup.sql")
sync_dir("/var/www")
sync_dir("/var/spool/virtual")
sync_dir("/home/user")
backupName = 'backup_'+curDate+'.7z'
print "Creating archive with name", backupName
os.system("7z a -pПАРОЛЬ_АРХИВА "+backupName+" backup/* /etc")
f = open(backupName,'rb')
if f:
fsize = getsize(backupName)
uploader = client.get_chunked_uploader(f, fsize)
print "Uploading file", fsize, "bytes..."
while uploader.offset < fsize:
try:
upload = uploader.upload_chunked()
print "."
except rest.ErrorResponse, e:
# perform error handling and retry logic
print "error uploading file!"
uploader.finish("/"+backupName)
f.close()
print "File uploaded successfully."
print "Deleting temp files..."
os.system("rm -r backup/*")
os.system("rm " + backupName);
Послесловие
- Этот скрипт я добавил в crontab с запуском ежедневно в 4:00 утра.
- В скрипте есть три строки с вызовом функции sync_dir, точно так же вы сами можете настроить, какие папки вам надо бэкапить.
- Скрипт не удаляет файлы, которые были удалены из папки, если инкрементально разархивировать полный архив и последующие, то удалённые папки/файлы останутся.
- Удаление старых бэкапов в самом Dropbox я делать не стал, чищу папку сам когда вспоминаю об этом.
- Недавно взял себе еще пару VPS в других странах, а в скрипт добавил только префикс к названию бэкапов, таким образом все бэкапы сливаются в одну папку, но их можно отличить очень просто.
