Amazon CloudDrive: не факт, что сможешь скачать обратно

[zirus]

Если данные могут пропасть — они пропадут. Полагаться можно только на себя.
Либо заливать в два облака, надеясь на то, что хоть в одном облаке данные останутся, и бояться, что твой пароль украдут и удалят/испортят данные.
Либо пользоваться облаками, держать свой бэкап-сервер(чтобы данные можно было только добавлять, без возможности изменения или удаления), и регулярно пополнять оффлайн-архив

[iliakan]

Да, бекап-сервер + облако, так и делаю.
Амазон удивил не пропажей данных даже (пропажа данных в облаке???), а ну… Что там делать месяц?
По опыту работы с большими компаниями, полагаю, что на самом деле физически данные есть, а просто где-то баг, который никто не делает, потому что "положить на юзеров, своих дел дофига".

[AcidumIrae]

https://hpi.de/en/meinel/security-tech/cloud-security/cloudraid.html

[fedorro]

Тоже перелез на Amazon CloudDrive с CrashPlan, т.к. у него организация как мне была нужна — бэкапить отдельные файлы в отдельные моменты с разных машин. Ну и скорость загрузки — 2 мегабита против 100 на Amazon. Проблем пока не наблюдал, возможно потому что пользуюсь только официальным клиентом.
По статье: не хватает подробностей, параметры архива, какова рода там информация, запаролен ли, чем заливали, логи заливки, чем качать пытались (в официальном клиенте наконец добавили возможность скачивать конкретные папки, а не всё). Возможно поможет не наступить на те же грабли. Я, например заметил, что если начать загружать туда файл, и выйти из клиента, до окончания загрузки, то файл в интерфейсе появится. Ещё наблюдались проблемы с архивами больше чем 20Gb, хотя при загрузке из клиента таких ограничений не обозначено.
Возможно эти файлы просто не догрузились туда.

[iliakan]

Да, полностью согласен насчёт 5% recovery, сам недавно поднял до на 10%.
Это вне зависимости от системы бекапа, разумеется. Шифрую тем же раром.

[iliakan]

Хм, я тоже бью по 2Gb. Нам не один и тот же админ Amazon посоветовал? Впрочем, я не храню в OneDrive.

[fedorro]

А я по 5Gb, бью. Хотя в качестве эксперимента залил файлв 300Gb, браузером выкачал и контрольную сумму проверил — всё было норм.

[d7s2di]

Кхм. А вы, получается, бэкапы "руками" загружаете?

[Lennonenko]

вот из-за этих нюансов и невозможно его использовать, даже с бизнес-версией клиента из офиса 365
так и не смог клиенту настроить синхронизацию рабочих пользовательских папок — пара десятков гигов/несколько десятков тысяч файлов — кряхтит-кряхтит, процессор жрёт, очередь харда забивает, на выходе хрен вместо синхронизации, поддержка как обычно
owncloud прекрасно справляется

[isden]

несколько десятков тысяч файлов

А у них же там вроде ограничение на 20К файлов было?

[Lennonenko]

педивикия говорит — 65 000 файлов и 4 Гб на одну загрузку, но не совсем понимаю, к чему это относится, если к клиенту, то это вообще мрак, зачем тогда нужен этот терабайт?
https://ru.wikipedia.org/wiki/Microsoft_OneDrive#.D0.90.D1.80.D1.85.D0.B8.D0.B2

[isden]

В англ. версии пишут так:

Entire folders can be downloaded as a single ZIP file with OneDrive. For a single download, there is a limit of 4 GB or 65,000 files (whichever comes first).[clarification needed][citation needed]

Но я где-то с полгода назад натыкался на ихнем форуме поддержки на сообщение, что при попытке загрузки большого количества файлов, будет загружаться только 20К и потом клиент втихую ничего не делает, типа техническое ограничение.

[Lennonenko]

ага, возможно, мы в это и упёрлись, но, во-первых, это тупо, во-вторых, нам саппорт ничего такого не ответил, просто предложил переустановить клиент-офис-винду, а потом развёл руками, а поднять owncloud гораздо быстрее, чем дожидаться эскалации саппорта

[BigD]

Не пользовался RAR с 90-х годов — вспомнил, что там было что-то на тему Recovery. А это уникальная фишка RAR?

[h31]

Нет, есть опенсорцные альтернативы типа par2.

[iliakan]

Архивы по 2GB многотомные rar зашифрованный.
Заливал acd_cli, качал и им же и через офиц. клиент последней версии (да-да, папку всю выкачал, там 2 архива network error).

[Shedar]

Затронута интересная тема контроля целостности облачных бекапов. Один немаловажных из факторов выбора сервиса для бекапов. Основных варианта я вижу два, либо клиент проверяет контрольные суммы файлов время от времени, либо провайдер услуги.
На 5+Тб, даже проверка раз в месяц — это больше терабайта в неделю на скачивание, что для многих не вариант. И совсем не вариант, если скачивание файлов ограничено/платное.
Гуглом по запросу "имя_сервиса_бекапов integrity" нашел пока для Backblaze — "Every few weeks ALL of the files in the datacenter are passed over and re-read and the checksums are recalculated" и crashplan — "A regularly scheduled task that checks a backup archive for any corrupted files and self-heals those files". Crashplan не уточняет периодичность проверки на битые файлы. Т.е., как минимум, эти два сервиса проверки делают, но узнать, что что-то пошло не так, можно и через месяц после того как файл потерялся.

[fedorro]

С таким же успехом может сломаться механизм проверки целостности, как и механизм хранения. Вообще я думал, что все файлы там бэкапятся на два сервера, хотябы… Но даже при этом в одном экземпляре (второй имею локально) я туда заливаю только то, что не очень жалко.
Бесплатная идея: заливать, тогда туда каждый файл в n экземплярах, что увеличит шансы скачать файл в n раз, если чисто по случайности эти файлы не скачиваются, план там всё равно безлимитный.

[rootatdarkstar]

К сожалению, крайне вероятно, что n копий файлов дедуплицируются и умрут все вместе.

[fedorro]

Каждую из n копий можно шифрануть своим паролем, если речь идет об архиве, то включение шифрования — это небольшая часть вычислений, по сравнению с созданием самого архива.

[g000phy]

Хороший вариант, если целью стоит "забекапить в ненадежном облаке любой ценой", плюс кучу паролей надо как-то хранить. Бэкапы все же должны быть в разных местах — тем больше мест, чем важнее данные.

[rootatdarkstar]

Но данные так или иначе будут в одном дата-центре / зоне доступности и всегда будет вероятность их уничтожения. К тому же у низкой цены и "безлимитного" тарифного плана для частников есть свои подводные камни — за мелкий прайс никто не будет гарантировать ни сколь-либо высокой SLA, ни возможности восстановить данные после сбоя, так как подразумевается, что в таком сервисе хранят личные данные обычных люди, да и "мужик всё стерпит".
Допустим, случится какой-то фатальный сбой дисковой подсистемы СХД в котором хранились данные с вашего аккаунта. Восстановят данные Н-дневной давности (если восстановят) и скажут что сделали что могли (и это будет правдой). Лучше хранить данные на двух ДЦ сразу, чем несколько копий в одном.

[amarao]

Все swift'ы проверяют чексуммы во время background scrubbing.

[TimsTims]

>Так как я программист, то: Mac, Linux
Вы сейчас задели за больное. Чувствую себя не-до-программистом… Тема холиварная, да. Не будем.

По факту — действительно подробностей не хватает — что за архив, какой его размер итд. Возможно архив весит все 50 гбайт, тогда стоило поэкспериментировать, какие архивы удается скачать, скажем:
20гб — ок
25гб — ок
30гб — через раз
35гб+ — ошибка

Тогда и проблема станет яснее. В целом если у вас огромный фото-архив, то из миллионов фотографий — 2 фотки не загрузились — это я считаю «ничего страшного». Подробности в студию!

[Ra-Jah]

Собственно, не хватает перечня уже совершенных действий. Можно попробовать внутри облака, переместить, произвести архивацию, переброс на другой аккаунт.

[fedorro]

Только эти действия могут усугубить ситуацию, например бэкап, если он есть того файла затрётся этой копией, и т.д. Но перечня не хватает, согласен.

[Develar]

Штука то в том, что официальный клиент Амазона не умеет синхронизировать. Поэтому есть сторонняя программа goodsync — она умеет и amazon, и google drive (то есть не надо ставить официальных клиентов на каждое облака — я бекаплю в 2 облака для надежности). Попробуйте — может оно сумеет скачать :)

[ScoutUa]

Тоже люблю облака — на одном 10 гб, на другом 70 гб, но последнее сворачивается в мае окончательно.
Пока не подводили, но сейчас ищу что то до 100 гигов на замену. После таких ситуаций все больше убеждаюсь, что надежней (имхо) держать свой NAS, хотя и затратней при покупке конечно…

[fedorro]

Счастливый человек Вы. У меня там 8Tb архивов, бэкапов, фото, и прочего — так просто не переехать)

[ScoutUa]

Да, мои запросы намного скромней, не спорю) Ваши 8 Тб собирались долго и тщательно
Просто подумайте, что лучше уж вкладываться в свое «облако», чем платить дяде из амазона, а потом еще и просить месяцами отдать свои же файлы…
Диск на 8 Тб сейчас по цене 280$, это чуть больше 4-х лет амазоновской облака
Да и когда файлы на лично — паранойик внутри нас спит спокойней :)

[fedorro]

Да, но он может поломаться — надо уже два + ещё один в географически отдалённом месте. А амазон я в основном так и использую, как отдалённое место, локально файлы тоже лежат)

[ScoutUa]

Да, дублировать конечно желательно, но обязательно ли — каждый решает для себя сам) Я не спорю что накладно, просто рассуждаю об альтернативе.
Простите, предыдущий коммент ответил не туда)

[TimsTims]

Ну вы же сейчас где-то эти файлы храните. Тогда если вам дубликат не нужен, то зачем тут разговоры про _один_домашний_NAS?

[ScoutUa]

Сейчас они в облаке, которое через месяц закрывается. Сверху все описывал

[lexore]

Да, дублировать конечно желательно, но обязательно ли — каждый решает для себя сам)

На ваши слова я бы сказал, что тогда все делятся на тех, кто ещё не решил для себя, и кто уже решил… :)

[peter-moskvin]

До не давнего времени держал все в OneDrive с подпиской (т.е. было 10 ТБ). Скорости, если честно не замерял, но 10 Мб/с точно отдает при синхронизации офф клиентом. Из минусов — нельзя дать ссылку на конкретный файл, только на страницу, где его можно скачать. Потери файлов никогда не наблюдалось, архив (около 4 Тб) частично синхронизируется на разные машины.
Но, лавочку прикрыли и через год оставят 1 Тб, вместо 10. Ищу альтернативу и тоже рассматриваю Амазон. Удивляет, что нигде нет клиента, аналогичного клиенту OneDrive из восьмерки, такого, который поддерживает жесткие ссылки в веб и позволяет не выкачивать все файлы, но иметь возможность в любой момент открыть из проводника.

[darkAlert]

«Так как я программист, то у меня и требования соответствующие...»
Не вижу связи. Я вот тоже программист, но у меня требования

Windows
Полный и монопольный доступ к моим данным (в том числе и физический).

Поэтому я предпочитаю свой NAS.
Это я к тому, что связь между «я программист, поэтому..» и вашими личными предпочтениями отсутствует.

[iliakan]

Простите, не хотел никого задеть, я знаю что программисты бывают без Mac/Linux. Внёс исправления.

[kvazimoda24]

Полгода назад считал по стоимости, сколько стоит хранить 3 ТБ в облаке. В результате получилось, что дешевле взять распродажный выделенный сервер у Hetzner'а. В результате получаем два диска по 3 ТБ, которые необязательно цеплять в рейд, если данные не сильно важны, но даже с учётом 3 ТБ, этот сервер стоит меньше 30 евро в месяц. И получаем за эти 30 евро полноценный Линукс на довольно мощном железе. Про ограничения по трафику не помню, но вроде они практически безлимитными получались для сервера с бэкапами.

[iliakan]

Реально облако чуть более идеально, чем свой серв такого рода. То, что нужно — не больше не меньше.
А, кстати, у hetzner свой сервис недавно появился для хранения как раз.

[kvazimoda24]

Да, согласен, что удобно и ничего лишнего, но вот так вот вызволять свои файлы… А если бы это была последняя копия восстановление которой вот прям сейчас крайне важно?...

[Goodkat]

этот сервер стоит меньше 30 евро в месяц.

Амазоновское неограниченное по объёму облако стоит меньше 60 евро в год.

[kvazimoda24]

На сколько помню, у Амазона надо платить за трафик. И с моими объёмами получалось как-то не очень дёшево.

[Goodkat]

За трафик платить — это другие сервисы у них.
Тариф Unlimited Everything без оплаты за трафик.
Но это только для частных лиц в США — они там сами пишут, что за пределами США ничего не обещают, и могут отключить в любой момент, но люди пользуются по всему миру, никому пока не отключали, вроде бы.

[kvazimoda24]

Хм… Надо будет посмотреть подробнее. Спасибо за инфу.

[d7s2di]

Чем дальше, тем больше утверждаясь в мысли, что лучшее «облачное решение» — это сервер в подвале. Можно даже свое «облако» развернуть, поставив второй сервер, например, на работе и завязав через тот же proxmox.

[iliakan]

Да, у меня так и есть примерно. И этот сервер бекапит на облако.

[TaroKun]

тут должна быть картинка
Нет, мне кажется, что тут должен быть скриншот ошибки, текст писем и ответы саппорта. «Пруфы», так сказать.

[iliakan]

Да, я думал об этом, но поленился. Ну а что отписки саппортов читать.
Вот только сегодня скриншот о том, как они усердно (уже около месяца) работают над этим: http://jmp.sh/DZ2QzSE.

[fedorro]

Ну хоть работают. Если вопрос разрешится — ждем комментарий с новыми подробностями.

[lexore]

Вы знаете, это ужас. Я же правильно понимаю, что вы платный клиент?
По своему опыту могу посоветовать написать в стиле "все пропало, мой бизнес простаивает, я теряю деньги из за вас!" и пинать их каждый день.

[fedorro]

Да, но у них в условиях написано, что только для частного использования. И вообще сервис гарантирован только на территории США (как то так), и если клиент не выходит за рамки среднестатистического использования сервиса, а что подразумевается по среднестатистическим — они решают сами, ну и т.д.

[m8rge]

Держать важные данные в одном месте — то же самое, что и не делать бакапы. Я фотки храню в облачных сервисах. В Двух. Так спится спокойнее.

[TimsTims]

А как обновляете? Тоже каждую новую фотку бережно кладете в оба облака? Не запаривает так делать?
Это как хранить свой домашний фотоальбом в банковской ячейке — безопасно, но смысл теряется, если ты не можешь нормально пользоваться…

[m8rge]

У меня iPhone. Соответственно, медиатека iCloud + приложение Google Photos. Это самое идеальное решение, которое я нашел. И то и другое без проблем в фоне автоматически заливают новые фото в облака. В одном хранятся оригиналы, в другом — просто фотографии очень хорошего качества.
Использую облака, т.к. к ним уже есть написанное приложение, которое автоматически грузит фотки. По этой причине все домашние NAS и синхронизаторки вида ownCloud проходят мимо.

[Meklon]

owncloud прекрасно автоматом льет фото и видео с телефона. Только на яблоках эта функция отсутствует из-за ограниченности доступа к файлам в iOS.

[m8rge]

В яблофонах функцию автозагрузки нельзя реализовать как мы все привыкли (приложение в фоне) не из-за "ограниченности доступа к файлам в iOS", а из-за особенности жизненного цикла iOS приложения.
Однако за данные про функционирующее приложение на android — спасибо.

[BigD]

а что там не так с жизненным циклом?

[m8rge]

Нет возможности запустить приложение в фоне на постоянной основе. Система может запустить приложение только в строго ограниченных случаях, которые оговорены в документации. И подписаться на изменение фотобиблиотеки таким образом, чтобы система загружала приложение при изменении в фотобиблиотеке нельзя. Подробнее здесь https://developer.apple.com/library/ios/documentation/iPhone/Conceptual/iPhoneOSProgrammingGuide/BackgroundExecution/BackgroundExecution.html

[Goodkat]

синхронизаторки вида ownCloud проходят мимо

Google Photos и ownCloud на айфоне работают одинаково: запустил приложение — оно отправляет фотки к себе на сервер, свернул приложение — оно поработает минут пять в фоне и отвалится. Поэтому я и отказался от аналогичной функции Dropbox — оно никак не могло выкачать к себе все фотографии, а постоянно активировать его мне лень.

Технически можно это ограничение несложно обойти — к примеру, скайп и навигаторы могут работать в фоне, но вряд ли Эпл пропустит такое в аппстор, так как это будет использованием не по назначению.

[m8rge]

Первоначальный объем данных можно закачать ночью — держать телефон включенным. Позже, при повседневной работе, при условии отсутствия ограничений (Обновление контента), Google Photos отлично загружает фотографии в фоне.

[Goodkat]

Спасибо, не знал.
Видимо, сервер регулярно будит приложение пушами.

[Tufed]

Отдаёте данные на хранение чужому дяде будьте готовы что они их потеряют/изменят/продадут. Почему то современные люди забывают эту простую прописную истину. Это называется: риски. Будь то хостинг сайта/почты/любого сервиса, виртуальный сервер или выделенный, облако и все что угодно, что не хранится на своём физическом носителе = всё это подвержено в той или иной мере подобным рискам. А что хранится на своих носителях подвержено другим подобным рискам кражи/изменения/потери информации.

[TheManiac]

ACD напоминает китайскую флешку, данные заливать заливаются, а сможешь ли скачать обратно?!

[fedorro]

Используют https://devnull-as-a-service.com в качестве бэкэнда)

[vsespb]

Есть сторонний софт https://github.com/vsespb/mt-aws-glacier

[Komei]

Поддержку автора. Сам пользуюсь Glacierом и пока очень доволен. Данные заливаются с домашнего NASа автоматически по cron`у (полные и инкрементальные бекапы, причём как на свой сервер, так и в облако) в зашифрованном виде и с избыточностью (для восстановления архива при повреждении). Особо важные данные храню сразу и в EC и в США. Также периодически делают бекап на съемные носители (но т.к. это делается в ручную — периодичность хромает).

[BigD]

Yandex Disk — 200 рублей в месяц за терабайт с постоянным доступом и отличной скоростью

[iliakan]

Кстати, насчёт CrashPlan — саппорт произвёл на меня хорошее впечатление. Хотя бы видно, что кто-то там технический сидел и что-то в этом понимал. Но я им звонил по телефону.

[iliakan]

Позвоните им мб?

[iliakan]

Да, там вроде Linux не поддерживается, а у меня как раз домашний сервер на нём, поэтому из рассмотрения выпал.

[varnav]

У меня был Crash Plan, и вот он мне пригодился, т.к. диск слетел.
Неделю я качал с него, скачал только 15%. Качалось со скоростью 30-50 килобит/сек.
Потом восстановил диск и подписку на CrashPlan отменил.