maxout Apr 7 2010 at 11:37

Быстрая реализация резервного копирования в Amazon S3

3 min

25K

System administration*

+164

Comments 62

bondbig Apr 7 2010 at 11:55

Просто и доступно. Спасибо за инструкцию, мысленно ставлю плюс.

bondbig Apr 7 2010 at 16:12

спасибо анонимусу за вполне реальный минус в коммент!

-6

odiszapc Apr 7 2010 at 17:03

Сам сейчас пишу абстракцию над стандартным PHP-коннектором для S3.
От себя отмечу, что если у вас карта Альфабанк, то на обычную дебет-карту Амазон почему-то не принимает, однако с виртуальной работает на ура.

bondbig Apr 7 2010 at 17:21

У меня как раз для платежей в интернете есть master card virtual от Альфабанка. Работает всегда, даже с paypal.

nightfog Apr 7 2010 at 11:56

маленький нюанс, при работе в S3 надо учесть то размер файла не должен превышать 5G.

+10

maxout Apr 7 2010 at 12:23

спасибо, добавил в статью

Lachezis Apr 7 2010 at 12:55

Я использую для бекапа и для CDN доступа английскую компанию rackspace.com (http://www.rackspacecloud.com/), смысл тот же, но вроде немного дешевле (0.15$ за GB + 0.22$ за траффик). К тому же они имеют уже готовый API для php, python и т.д.

Правда для своих нужд я всё равно API переписал. :)

cgvictor Apr 7 2010 at 13:18

О, спасибо большое за наводку! thx!
Глянул цены — что-то вообще коммунизм какой-то, для бекапов копейки получаются…

lasc Apr 7 2010 at 13:27

А может о них тоже статью напишите?

Lachezis Apr 7 2010 at 13:38

Там не очень много писать, я-то использую в основном их в качестве CDN со своим API, а бекап делаю только базы данных. Но могу попробовать.

Rulez Feb 4 2011 at 05:29

ждем, про цдн тоже напишите

Lachezis Feb 4 2011 at 13:36

Честно говоря я уже уволился и перешел на Amazon, но попробую покопать старый библиотеки.

ajaxtelamonid Apr 7 2010 at 16:19

Зарегся посмотреть, они не смогли дозвониться до меня для подтверждения акка (зачем им такое суровое подтверждение?) и засуспендили аккаунт.

minibikini Apr 25 2010 at 21:57

А почему дешевле? у амазона 0.15+0.15, у rackspace 0.15+0.22.

UFO just landed and posted this here

maxout Apr 7 2010 at 13:09

у меня сервер в Долгопрудном (Агава), бекапы заливались на европейский E3 со скоростью ~500 KB/s

UFO just landed and posted this here

maxout Apr 7 2010 at 13:33

килобайты в секунду, да.
бекапить, например, хостинговую инфраструктуру в S3 было бы как-то странно, а для личного использования скорость такого значения, мне кажется, не имеет.
пыхтит сервер ночью 1 час или 5 часов — в итоге разницы особой нет.

ну и кстати, у вас больше 10Гб изменённых данных каждый день? у меня полный бекап делается раз в неделю, в остальные дни — делаются инкрементальные бекапы, они сильно компактнее.

Paspartu Apr 7 2010 at 18:30

Есть приятная тонкость: при использовании протокола rSync, в хранилище отправляется только измененный фрагмент файла.

Ankheg Apr 7 2010 at 15:06

Попробуйте www.cloudclimate.com/cdn-speed-test/

ProstoTyoma Apr 7 2010 at 17:04

Москва, провайдер — МГУ. Скорость закачки на европейский S3 — около 2МБайт\сек.
Кстати странно с этим S3 — ни один из клиентов, кроме s3cmd, не давал такой скорости ни винде ни в линухе.

UFO just landed and posted this here

ProstoTyoma Apr 7 2010 at 17:17

CloudBerry у меня вообще отказался что-то качать, s3fox работал, но макс. скорость была около 100КБайт, S3 Browser был чуть быстрее. s3cmd и в винде и в линухе давал стабильно 2МБайта. Но было это в сентябре 2009, как сейчас — не знаю.

sevmax Apr 7 2010 at 19:47

Зато есть CloudBerry Backup под Windows

maxout Apr 7 2010 at 17:10

2 МБайт/сек — мало или много? =)

ProstoTyoma Apr 7 2010 at 17:17

Ну пока качается 20Гб за раз ночью и само — хватает =).

powerman Apr 8 2010 at 04:22

Сервера в англии, бэкапы заливаем, соответственно, в --bucket-location=US. s3cmd выдаёт в разные дни от 400 килобайт/сек до 4 мегабайт/сек. Но какая разница, какая там скорость — ресурсов заметных на это не тратится, успевает залить меньше чем за сутки (т.е. до следующего бэкапа) — ну и отлично.

Nevermind Apr 8 2010 at 14:46

Яндексом скорость мерить зачастую без толку, т.к он локален для многих провайдеров.

whiplash Apr 7 2010 at 13:24

сегодня и Оверсаном занялись, если верить этому.

www.soft-teleport.ru/

АХТУНГ!!!
Сервер SOFT-TELEPORT.RU вечером 6/04/10 был незаконно арестован в ДатаЦентре «Оверсан-Меркурий».
PS: Переезжаем заграницу… Скоро будем…

/грустно всё это :(

-12

tibalt Apr 7 2010 at 16:20

если незаконно — в суд пишите, а не хабр

KrasivayaSvo Apr 7 2010 at 13:25

Спасибо огромное за статью.
У меня маленький вопрос: а какой смысл, например в вашем случае, брать 20Гб закачивания и 2Гб скачивания?
По идее, если вдруг накроется текущий хостинг, тьфу-тьфу-тьфу, то придется бекап «гнать» на новый сервер, а это фактически потребует скачивания полного бекапа (ну допустим 10Гб). Или же есть ситуация, что в случае необходимости восстановления из бекапа — вы просто увеличиваете скачивание и восстанавливаетесь?

maxout Apr 7 2010 at 13:29

я не осветил этот момент, каюсь, а вы чуть-чуть неверно поняли…
в S3 нет тарифов и лимитов в привычном понимании, вы платите только за то, что фактически хранилось, скачивалось и закачивалось в прошедшем месяце.

в примере я привёл цифры с потолка, эдакий средний use-case (бекапим 20 Г в месяц, храним бекапы 5 месяцев, иногда скачиваем что-нибудь назад по мелочи).

если вам вдруг понадобится стянуть полный бекап, то за этот месяц вы заплатите чуть больше, чем за предыдущий. ничего перенастраивтаь в этом случае не придётся.

KrasivayaSvo Apr 7 2010 at 13:37

Спасибо за разъяснения про лимиты — теперь у меня в голове все разложилось по полочкам.

ragimovich Apr 7 2010 at 14:33

Там нет понятия четкого тарифного плана. Есть цена на трафик, дисковое пространство и запросы. По итогам месяца вам выпишут счет.
У меня бекап проектов с домашнего ПК обходится в 1-2 «зеленых» в месяц.

UFO just landed and posted this here

shai_xylyd Apr 7 2010 at 14:22

Цена за скачивание (GET) и другие операции (PUT/COPY/POST/LIST)

UFO just landed and posted this here

shai_xylyd Apr 7 2010 at 15:09

Там все цены есть на сайте, посчитайте)
Я в прошлый месяц залил около 140 000 файлов, заплатил за это удовольствие 3 бакса.

UFO just landed and posted this here

shai_xylyd Apr 7 2010 at 15:21

Один файл — одна операция.

UFO just landed and posted this here

bondbig Apr 7 2010 at 16:32

попробуйте задействовать мозг, по назначению.

yul Apr 7 2010 at 16:36

12 — еще. и…

rPman Apr 7 2010 at 14:49

а я тогда спрошу, один цыкл бакапа (инкрементального или полного) это один запрос или по файлу на запрос? или еще как то?

P.S. какой то коммунизм там с ценами О_о

Vizzy Apr 7 2010 at 14:22

Лучше вообще все файлы по возможности держать на S3, тогда, во-первых, они будут доступны в любой момент, даже если сам ваш сайт умер, а во вторых, при смене сайта не надо будет перекачивать тонны бэкапов.

Guria Apr 7 2010 at 14:32

Прочитал в ГуглРидере анонс этой статьи, открыл Хабр, а он на профилактике.
«Наверное, реализуют бекап на S3» — подумал я.

-3

ivlis Apr 7 2010 at 14:51

А этот s3cmd он совсем как rsync или нет? --link-dest он поддерживает? Если да, то тогда можно было бы модифицировать модифицировать rsnapshot вообще красота.

maxout Apr 7 2010 at 15:46

не поддерживает. там простейшая реализация.

ivlis Apr 7 2010 at 16:09

Очень жаль :(

maxout Apr 7 2010 at 16:11

каюсь, но я покурив ман к rsync, я так и не понял для чего нужен --link-dest

maxout Apr 7 2010 at 16:14

вкурил ещё раз, на этот раз осознал всю глубину глубин =)
примерно представляю, в каких случаях это может пригодиться, и для моих задач точно не актуально

ivlis Apr 7 2010 at 16:16

Ну это длоя больших бекапов, которые со временем не сильно меняются. Архив фоток например.

linux2000 Apr 7 2010 at 15:12

Зарегистрировался, залил бэкапы. Только вот не могу найти где у них статистика сколько места я занял, и сколько трафла прокачал. Если кто нашел биллинг, напишите где он у них находится.

maxout Apr 7 2010 at 15:49

https://aws-portal.amazon.com/gp/aws/developer/account/index.html
Слева Account Activity и Usage Reports. Только обновляется оно явно не в реальном времени.

ersh Apr 7 2010 at 15:34

а фрёвый хендбук упоминает о www.tarsnap.com/
Да и в портах вроде есть.

Valery35 Apr 7 2010 at 15:51

Не забудьте расширения к Chrome и FF — они простецкие, но свое дело делают :)
https://chrome.google.com/extensions/detail/appeggcmoaojledegaonmdaakfhjhchf?hl=ru

Еще www.cloudberrylab.com — сам эту пользую.

С ценами — коммунизм. Меньше доллара выходит если особо данных не гоняю.
Пишу всюду US. Разницы пока не заметил.

Слегка погуглил на тему backup S3 www.google.ru/search?aq=f&sourceid=chrome&ie=UTF-8&q=s3+backup — утилит хватает
jeremy.zawodny.com/blog/archives/007641.html — такой список есть

vp7 Apr 7 2010 at 16:28

А если дома достаточно быстрый интернет, то можно и без амазона обойтись :)
Я бекапы своего сервера (установлен в Agava) делаю на домашний мини-сервер — раз в 3 суток запускается процедура бекапа всех openVZ контейнеров (через LVM), после завершения бекапа все архивы сливаются домой.
При необходимости из них можно буквально за час (ограничение — скорость домашнего интернета на upload) развернуть работающие сайты на любом сервере с поддержкой openVZ

vitalyk Apr 9 2010 at 15:00

Или можно не изобретать велосипед и использовать существуещее решение :): astrails.com/astrails-safe
устанавливка и конфигурация за 5 минут.

В кратце о возможностях:

бэкапим:
* mysql (mysqldump)
* postgresql (pgdump)
* svn (svndump)
* files (tar)

на
* Amazon S3
* любой sftp сервер
* локально

+ поддержка шифрования данных с GnuPG и ротация бэкапов.

klark Apr 12 2010 at 10:29

Как там платить картой Visa, если нет поля ввода CVV2?

nickon Apr 13 2010 at 11:22

идти в банк, писать заявление и отказыватся от кода =)
у амазона как и у гугла свои замарочки…

nickon Apr 13 2010 at 11:28

Попробывал запустить s3cmd на FreeBSD!
Установил из портов + установил gpg (требует путь)
При вызове s3cmd --configure и на этапе тестирования соединения выдаёт:

ERROR: Test failed: 403 (NotSignedUp): Your account is not signed up for the S3 service. You must sign up before you can use S3.

хотя акаунт активирован, ключи выданы… кто нить сталкивался с подобным?

Murz Nov 28 2011 at 19:12

По Amazon S3 хотелось бы уточнить информацию, если кто знает:

1. Если я вовремя не оплачу аккаунт, то файлы мои удалят или просто доступ приостановят до момента погашения задолженности?

2. Оплата взымается за фактически произведённые операции или я должен заранее купить себе пакет на месяц и если не израсходовал, то всё-равно абонплата будет сниматься?

3. «режим работы а-ля rsync» — в этом режиме если я, например, 1000 файлов синхронизирую иа поменялось только 5, то сколько будет операций PUT/COPY/POST/LIST Requests?

Show the best of all time