Быстрая реализация резервного копирования в Amazon S3

[bondbig]

Просто и доступно. Спасибо за инструкцию, мысленно ставлю плюс.

[bondbig]

спасибо анонимусу за вполне реальный минус в коммент!

[odiszapc]

Сам сейчас пишу абстракцию над стандартным PHP-коннектором для S3.
От себя отмечу, что если у вас карта Альфабанк, то на обычную дебет-карту Амазон почему-то не принимает, однако с виртуальной работает на ура.

[bondbig]

У меня как раз для платежей в интернете есть master card virtual от Альфабанка. Работает всегда, даже с paypal.

[nightfog]

маленький нюанс, при работе в S3 надо учесть то размер файла не должен превышать 5G.

[maxout]

спасибо, добавил в статью

[Lachezis]

Я использую для бекапа и для CDN доступа английскую компанию rackspace.com (http://www.rackspacecloud.com/), смысл тот же, но вроде немного дешевле (0.15$ за GB + 0.22$ за траффик). К тому же они имеют уже готовый API для php, python и т.д.

Правда для своих нужд я всё равно API переписал. :)

[cgvictor]

О, спасибо большое за наводку! thx!
Глянул цены — что-то вообще коммунизм какой-то, для бекапов копейки получаются…

[lasc]

А может о них тоже статью напишите?

[Lachezis]

Там не очень много писать, я-то использую в основном их в качестве CDN со своим API, а бекап делаю только базы данных. Но могу попробовать.

[Rulez]

ждем, про цдн тоже напишите

[Lachezis]

Честно говоря я уже уволился и перешел на Amazon, но попробую покопать старый библиотеки.

[ajaxtelamonid]

Зарегся посмотреть, они не смогли дозвониться до меня для подтверждения акка (зачем им такое суровое подтверждение?) и засуспендили аккаунт.

[minibikini]

А почему дешевле? у амазона 0.15+0.15, у rackspace 0.15+0.22.

[maxout]

у меня сервер в Долгопрудном (Агава), бекапы заливались на европейский E3 со скоростью ~500 KB/s

[maxout]

килобайты в секунду, да.
бекапить, например, хостинговую инфраструктуру в S3 было бы как-то странно, а для личного использования скорость такого значения, мне кажется, не имеет.
пыхтит сервер ночью 1 час или 5 часов — в итоге разницы особой нет.

ну и кстати, у вас больше 10Гб изменённых данных каждый день? у меня полный бекап делается раз в неделю, в остальные дни — делаются инкрементальные бекапы, они сильно компактнее.

[Paspartu]

Есть приятная тонкость: при использовании протокола rSync, в хранилище отправляется только измененный фрагмент файла.

[Ankheg]

Попробуйте www.cloudclimate.com/cdn-speed-test/

[ProstoTyoma]

Москва, провайдер — МГУ. Скорость закачки на европейский S3 — около 2МБайт\сек.
Кстати странно с этим S3 — ни один из клиентов, кроме s3cmd, не давал такой скорости ни винде ни в линухе.

[ProstoTyoma]

CloudBerry у меня вообще отказался что-то качать, s3fox работал, но макс. скорость была около 100КБайт, S3 Browser был чуть быстрее. s3cmd и в винде и в линухе давал стабильно 2МБайта. Но было это в сентябре 2009, как сейчас — не знаю.

[sevmax]

Зато есть CloudBerry Backup под Windows

[maxout]

2 МБайт/сек — мало или много? =)

[ProstoTyoma]

Ну пока качается 20Гб за раз ночью и само — хватает =).

[powerman]

Сервера в англии, бэкапы заливаем, соответственно, в --bucket-location=US. s3cmd выдаёт в разные дни от 400 килобайт/сек до 4 мегабайт/сек. Но какая разница, какая там скорость — ресурсов заметных на это не тратится, успевает залить меньше чем за сутки (т.е. до следующего бэкапа) — ну и отлично.

[Nevermind]

Яндексом скорость мерить зачастую без толку, т.к он локален для многих провайдеров.

[whiplash]

сегодня и Оверсаном занялись, если верить этому.

www.soft-teleport.ru/

АХТУНГ!!!
Сервер SOFT-TELEPORT.RU вечером 6/04/10 был незаконно арестован в ДатаЦентре «Оверсан-Меркурий».
PS: Переезжаем заграницу… Скоро будем…

/грустно всё это :(

[tibalt]

если незаконно — в суд пишите, а не хабр

[KrasivayaSvo]

Спасибо огромное за статью.
У меня маленький вопрос: а какой смысл, например в вашем случае, брать 20Гб закачивания и 2Гб скачивания?
По идее, если вдруг накроется текущий хостинг, тьфу-тьфу-тьфу, то придется бекап «гнать» на новый сервер, а это фактически потребует скачивания полного бекапа (ну допустим 10Гб). Или же есть ситуация, что в случае необходимости восстановления из бекапа — вы просто увеличиваете скачивание и восстанавливаетесь?

[maxout]

я не осветил этот момент, каюсь, а вы чуть-чуть неверно поняли…
в S3 нет тарифов и лимитов в привычном понимании, вы платите только за то, что фактически хранилось, скачивалось и закачивалось в прошедшем месяце.

в примере я привёл цифры с потолка, эдакий средний use-case (бекапим 20 Г в месяц, храним бекапы 5 месяцев, иногда скачиваем что-нибудь назад по мелочи).

если вам вдруг понадобится стянуть полный бекап, то за этот месяц вы заплатите чуть больше, чем за предыдущий. ничего перенастраивтаь в этом случае не придётся.

[KrasivayaSvo]

Спасибо за разъяснения про лимиты — теперь у меня в голове все разложилось по полочкам.

[ragimovich]

Там нет понятия четкого тарифного плана. Есть цена на трафик, дисковое пространство и запросы. По итогам месяца вам выпишут счет.
У меня бекап проектов с домашнего ПК обходится в 1-2 «зеленых» в месяц.

[shai_xylyd]

Цена за скачивание (GET) и другие операции (PUT/COPY/POST/LIST)

[shai_xylyd]

Там все цены есть на сайте, посчитайте)
Я в прошлый месяц залил около 140 000 файлов, заплатил за это удовольствие 3 бакса.

[shai_xylyd]

Один файл — одна операция.

[bondbig]

попробуйте задействовать мозг, по назначению.

[yul]

12 — еще. и…

[rPman]

а я тогда спрошу, один цыкл бакапа (инкрементального или полного) это один запрос или по файлу на запрос? или еще как то?

P.S. какой то коммунизм там с ценами О_о

[Vizzy]

Лучше вообще все файлы по возможности держать на S3, тогда, во-первых, они будут доступны в любой момент, даже если сам ваш сайт умер, а во вторых, при смене сайта не надо будет перекачивать тонны бэкапов.

[Guria]

Прочитал в ГуглРидере анонс этой статьи, открыл Хабр, а он на профилактике.
«Наверное, реализуют бекап на S3» — подумал я.

[ivlis]

А этот s3cmd он совсем как rsync или нет? --link-dest он поддерживает? Если да, то тогда можно было бы модифицировать модифицировать rsnapshot вообще красота.

[maxout]

не поддерживает. там простейшая реализация.

[ivlis]

Очень жаль :(

[maxout]

каюсь, но я покурив ман к rsync, я так и не понял для чего нужен --link-dest

[maxout]

вкурил ещё раз, на этот раз осознал всю глубину глубин =)
примерно представляю, в каких случаях это может пригодиться, и для моих задач точно не актуально

[ivlis]

Ну это длоя больших бекапов, которые со временем не сильно меняются. Архив фоток например.

[linux2000]

Зарегистрировался, залил бэкапы. Только вот не могу найти где у них статистика сколько места я занял, и сколько трафла прокачал. Если кто нашел биллинг, напишите где он у них находится.

[maxout]

https://aws-portal.amazon.com/gp/aws/developer/account/index.html
Слева Account Activity и Usage Reports. Только обновляется оно явно не в реальном времени.

[ersh]

а фрёвый хендбук упоминает о www.tarsnap.com/
Да и в портах вроде есть.

[Valery35]

Не забудьте расширения к Chrome и FF — они простецкие, но свое дело делают :)
https://chrome.google.com/extensions/detail/appeggcmoaojledegaonmdaakfhjhchf?hl=ru

Еще www.cloudberrylab.com — сам эту пользую.

С ценами — коммунизм. Меньше доллара выходит если особо данных не гоняю.
Пишу всюду US. Разницы пока не заметил.

Слегка погуглил на тему backup S3 www.google.ru/search?aq=f&sourceid=chrome&ie=UTF-8&q=s3+backup — утилит хватает
jeremy.zawodny.com/blog/archives/007641.html — такой список есть

[vp7]

А если дома достаточно быстрый интернет, то можно и без амазона обойтись :)
Я бекапы своего сервера (установлен в Agava) делаю на домашний мини-сервер — раз в 3 суток запускается процедура бекапа всех openVZ контейнеров (через LVM), после завершения бекапа все архивы сливаются домой.
При необходимости из них можно буквально за час (ограничение — скорость домашнего интернета на upload) развернуть работающие сайты на любом сервере с поддержкой openVZ

[vitalyk]

Или можно не изобретать велосипед и использовать существуещее решение :): astrails.com/astrails-safe
устанавливка и конфигурация за 5 минут.

В кратце о возможностях:

бэкапим:
* mysql (mysqldump)
* postgresql (pgdump)
* svn (svndump)
* files (tar)

на
* Amazon S3
* любой sftp сервер
* локально

+ поддержка шифрования данных с GnuPG и ротация бэкапов.

[klark]

Как там платить картой Visa, если нет поля ввода CVV2?

[nickon]

идти в банк, писать заявление и отказыватся от кода =)
у амазона как и у гугла свои замарочки…

[nickon]

Попробывал запустить s3cmd на FreeBSD!
Установил из портов + установил gpg (требует путь)
При вызове s3cmd --configure и на этапе тестирования соединения выдаёт:

ERROR: Test failed: 403 (NotSignedUp): Your account is not signed up for the S3 service. You must sign up before you can use S3.

хотя акаунт активирован, ключи выданы… кто нить сталкивался с подобным?

[Murz]

По Amazon S3 хотелось бы уточнить информацию, если кто знает:

1. Если я вовремя не оплачу аккаунт, то файлы мои удалят или просто доступ приостановят до момента погашения задолженности?

2. Оплата взымается за фактически произведённые операции или я должен заранее купить себе пакет на месяц и если не израсходовал, то всё-равно абонплата будет сниматься?

3. «режим работы а-ля rsync» — в этом режиме если я, например, 1000 файлов синхронизирую иа поменялось только 5, то сколько будет операций PUT/COPY/POST/LIST Requests?