Быстрая реализация инкрементального бэкапа на Amazon S3

[easyman]

Еще более быстрая реализация: code.google.com/p/duplicati/

[easyman]

Упс, автор и без меня в курсе

[printf]

Вот спасибо, как раз хотел поднять такую штуку.

[SonicGD]

А не подскажет ли кто-нибудь сколько будет стоить хранить там бэкап сервера, на котором полезных файлов гигов 60? Спасибо.

[printf]

Хранить — $0.14 в месяц за гигабайт.
Загружать — $0.01 за тысячу запросов.
Скачивать — $0.12 за гигабайт.
Вполне бюджетненько так.

[xana4ok]

Дороговато и медленно. На каждый бэкап надо скачать все, а потом залить заново.

[tyzhnenko]

К сожалению S3 актуален пока данных мало :(
Когда данных становиться сотни Гб, а трафика десятки Гб в сутки проще покупать отдельно железяки. Ну а для дома проще и дешевле купить пару-тройку винтов :)

За статью спасибо для бюджетного бекапа самое-то!

[ivlis]

Дома винты могут сдохнуть от перенапряжения, сгореть, утонуть при потопе, их могут в конце-концов украсть. Так что сравнимое по надёжности с амазоном это хранение винта в банкоской ячейке, что не особо удобно и не бюджетно.

[tyzhnenko]

наличие не сгораемого сейфа может решить ваши проблемы, плюс наличие 2-3 винтов в разных местах.
каждому свой подход, s3 все же дороговато…

[ivlis]

Хороший несгораемый сейф, даже самый маленький, стоит очень не хило. Если вам не 9T немецких фильмов бекапить, то s3 выигрывает.

Тем более там бекапы можно получить откуда угодно, а не только из того места где стоит сейф.

[tyzhnenko]

для видео и фото, там где исходники большие а рабочее место часто одно, желательно иметь быстрый доступ к материалу, там выигрывает архив на винтах, нежели на S3,
посчитайте стоимость хранения 1Тб + 1Тб каждые пол года год, даже при минимальном трафике ~2Тб в год

$143(Standard Storage) в месяц за 1Тб, даже при хранении всего 1Тб выходит $1716 в год
$95(Reduced Redundancy Storage) в мес, $1145 в год
это без трафика. можно смело покупать 4-5 винтов и арендовать пару банковских ячеек

при этом знаю людей которые хранят несколько Тб нужного контента именно на винтах, т.к. в наших реалиях включить в стоимость своих услуг использования S3 как регулярного хранилища может далеко не каждый :(

[ivlis]

У меня все без исключения фотки в raw занимают 200 гигов. Это за 6 лет обладания зеркалкой. Понятно, что бекапить нужно из этого процентов 20. Так что s3 вполне нормально, по крайней мере перекрывает «удобство» беганья в ячейку.

[tyzhnenko]

я же специально вел речь именно о больших объемах
хотя даже при 200 гигах, вы будите платить ~$300 в год, наверное вам это выгоднее, но я например не готов платить столько денег в год за бекапы при примерно аналогичном более дешевом способе…

[ivlis]

Сохранность несравнимо выше же. Ну и удобство.

[tyzhnenko]

вам наверное виднее если вы попробовали и тот и тот способ…

[Cloud4Y]

Как то не совсем бюджетно.
Если идет скачка тех же данных, и проходи весь объём то получается 0,14+0,12=0,26$=7,8руб + $еще на закачку.
У нас тариф на бекап от 6 руб, правда работать надо начинать со 100Гб.
Если уж хотите действительно бюджетно то это crashplan.com или подобные сервисы.

[alexmyt]

А зачем вам скачивать бэкапы с Амазона? Могу представить только одну ситуацию: полный крах боевого сервера вместе со всеми данными. Ситуация крайне редкая, как мне представляется.

Но, конечно, для больших объемов этот способ вряд ли годится, как правильно заметили выше. В моем же случае четыре недельных архива занимают 6,5 гигабайт и обходятся меньше доллара в месяц. Вполне бюджетно.

[ivlis]

А есть мануал как это поставить на headless linux машину?

Ну и бекапы скачиваются крайне редко, так что амазон получается вполне бюджетно.

[Alexcr]

почему не использовать bacula? оно ведь все сама делает. На S3 работает прекрасно.

[negodnik]

Зачем это в вашем примере?

--exclude 'sqldump/*' \

[erthad]

А как ротируете архивы на S3?

[erthad]

Вопрос снимается, это сам duplicity делает.
Неясно только почему такая сложная схема — ведь duplicity сам и загружает, и ротирует прямо на S3 — не нужно никаких s3cmd и т.п.