Pull to refresh

Comments 74

Спасибо, как раз собирался на выходных собрать какой-нибудь велосипед для Мака и Mail.ru, только я хотел на bacula это сделать.
В контексте Терабайта, 2014 год прочитал как 1024 год
А сколько времени примерно (понятно, что все зависит от многих факторов) уходит на весь цикл шифрование — закачка — скачка — расшифрование?
Понятно, что резерв не предусматривает постоянную выгрузку, поэтому вопрос скорее о первой части, по отдельности…
Ну, пока я писал статью, залилось примерно 45Гб (это мои фото ровно за 1 год).
Зашифровалось все гораздо быстрее, минут за 15-17 или даже раньше. Я не делал никаких бенчмарков, только лишь заскриншотил использование процессора.

image
Хм, вроде терпимо, я думал будет хуже
Для сравнения, я неделю назад помогал одной дружественной компании восстанавливать скоропостижно скончавшуюся SQL-базу и в процессе надо было слить по локальной сети (только SMB, только хардкор) примерно 650Гб данных. Несмотря на Gigabit Ethernet, процесс занял более 20 часов. Так что пока на мейл.ру не прибежали радостные хабровчане с несжимаемыми криптоархивами, скорость будет оставаться относительно высокой.
Ну скорость заливки, конечно, вторичная характеристика, так как упирается в канал пользователя в первую очередь.
Шифрование больше интересовало, поскольку думал, что на среднем/слабом железе шифровать десяток гигабайт часами придется.
А ведь да. Тонкость в том, что у меня аппаратный AES. На прошлом ноуте всё было печальнее.
Это ведь в корне меняет дело, насколько я понимаю. В общем, нужны бенчмарки)
Вы явно использовали встроенные средства копирования в среде Windows.
Попробуйте в следующий раз копировать средствами TotalCommander'a или SuperCopier'a.
Хм, а вот тут пишут что с файликами более 32 Гб у человека вышел облом, при том человек из Mail.ru в комментариях это подтверждает.
У меня и с папкой на 28 Гб вышел «облом». ПОСЛЕ заливки её в облако и удаления с винчестера.
Пожалуйста, запилите кто-нибудь мануал под Windows, а то лень самому думать. :) Я хоть и юниксоид, но на компе с фотками винда. :)
Все просто.
Качаем Doukan Library со страницы dokan-dev.net/en/download/
Качаем encfs4win со страницы members.ferrara.linux.it/freddy77/encfs.html

Устанавливаем Doukan Library. Распаковываем encfs4win в любое место. для упрощения себе жизни создаем батник примерно такого содержания
encfs e:\MailRuDisk\encfs y:

Исправляем пути на свои, запускаем батник. Настраиваем клиента cloud.mail.ru на папку e:\MailDiskRu.
Для тех, кому не нравится висящее командное окно может скачать GUI пускатель EncFSPlus

Скорость копирования на шифрованный диск не такая большая, как хотелось бы. И самое главное, файлы размером более одного гигабайта могут не копироваться на шифрованный раздел.
Спасибо, завелось.
Gui этот оказывается, только папки коннектит, настроек там особо нет. Отключить шифрование названия папок и файлов не получится.
Скажите, а что будет, если я на свежесозданный диск Y: поставлю линк из существующей папки?

Например,

mklink /J c:\MyDocuments Y:\MyDocuments

Я именно так поступаю со SkyDrive — ставлю в синхронизируемую папку ссылки отовсюду, откуда нужно, а клиент их копирует в облако. Это удобно, поскольку всё остаётся на своих местах.
Да, так сделать можно.
Если не хотите шифровать локальные данные, можно использовать --reverse ключ encfs.
Я сделал буферную папку «c:\ToCrypt» и накидал в неё символьных ссылок на каталоги, которые должны синхронизироваться в зашифрованном виде.
Потом создал зашифрованный диск (в опциях выбрал не шифровать имена файлов, иначе символьные ссылки не будут резолвиться):
encfs.exe --reverse C:\ToCrypt Y:

И в папке синхронизации клиента Mail.ru создал ссылку на Y:
mklink /d C:\MailruSync\crypted Y:

К сожалению, в результате выяснилось, что Dokan под Windows 8.1 не работает.
Там описан способ обмануть инсталлятор. А сама библиотека будет корректно работать или всё — «на свой страх и риск»?
104 версия EncFSPlus для x86 «заражена вирусом» и не скачивается. Автор не вы, случаем?
Нет, не автор. Простой пользователь.
А на, скажем, CrashPlan вы смотрели? Ничего заоблачного в ценах, неограниченное пространство.
Ну если честно, то на совсем пожарный случай у меня заюзан корпоративный Amazon Glacier, за который плачу не я (мои несколько терабайт на нем — буквально песчинка в море). Другое дело, что Glacier для меня — это бэкап «последней надежды», т.е. он нужен только если медиа-сервер похитят инопланетяне, а мейл.ру передумает и возьмет обратно свой любезно подаренный терабайт.

Я считаю, что много бэкапов не бывает :)
Не вижу, как написанное вами мешает посмотреть на CrashPlan.
пробовал crashplan — на сколько помню файлы с некоторыми расширениями не заливает, а самой главной проблемой была сверх низкая скорость… с таким успехом можно использовать и китайские облака по 10тб+
Получается, теперь фотки локально хранятся два раза? Один раз в обычном виде, а второй в зашифрованом. Или это все прозрачно и они хранятся только в зашифрованном виде?

Под мак наверное проще было бы создать зашифрованный образ диска и в него положить фото.
Только вот как оно тогда будет синхронизироваться, частями или каждый раз весь образ
Получается, теперь фотки локально хранятся два раза? Один раз в обычном виде, а второй в зашифрованом. Или это все прозрачно и они хранятся только в зашифрованном виде?

Нет, хранятся только в зашифрованном виде.

Под мак наверное проще было бы создать зашифрованный образ диска и в него положить фото.

PGP/TrueCrypt не решают проблемы добавления нескольких новых файлов в облако: синхронизовать приходится целый том.

К слову, из других решений я сейчас неспешно тестирую s3ql+google storage. Это тоже fuse-based решение, однако год назад на линуксовых серверах у меня с ним были какие-то нехорошие грабли (бэкапил на амазон). Если выйдет что-то дельное, запилю еще одну статью.
PGP/TrueCrypt не решают проблемы добавления нескольких новых файлов в облако

С Dropbox и Truecrypt проблема решается: Dropbox использует загрузку небольшими кусками, и весь TrueCrypt-контейнер не перезаливается при добавлении/изменении файлов (только новые/измененные части).

К сожалению, в других облачных сервисах такой функциональности не находил.
По идее Bittorrent Sync так же должен работать. Они пишут про куски по 4 мегабайта.
Еще бы найти дешевый сервер на пару ТБ для BTSync :(
Я воспользовался Backupsy. Но у меня запросы скромнее. 250 Гигов пока за глаза. Хотя с другой стороны у них сейчас промокод на 40% скидки и 2 ТБ обойдутся в 48 USD в месяц. Что весьма неплохо для двух террабайт :)
О спасибо за сервис, как у них со скоростью?
Не знаю, не обращал внимания. У меня промежуточное звено в виде NAS. Так что у меня локально всё сливается быстро, а потом я выключаю комп, а NAS с Bakupsy уже в фоне делятся файлами :)
А потом они назовут всё это подозрительной активностью и грохнут аккаунт вместе со всеми данными.
Ну я не думаю, что сотня-другая айтишников с прямыми руками сильно испортит жизнь медиа-гиганту (который в свое время активно инвестировал в нашу песочницу). Дропбокс, скайдрайв и гугл, по моему опыту, не банят активных пользователей бокскриптора. Хотя деловая репутация у Mail.Ru Group, прямо скажем, невысокая и без вот этого описанного мною в статье костыля не многие из моих друзей решились бы вообще устанавливать их приложение. А вообще, я помню, как подобные опасения высказывались осенью 2004-го в адрес Gmail. Некоторые бесплатные сервисы дохнут, некоторые — выживают.

В любом случае, мне было бы интересно услышать комментарии официальных представителей мейл.ру.

И чтобы 2 раза не вставать: УВАЖАЕМЫЕ ПРЕДСТАВИТЕЛИ MAIL.RU, СДЕЛАЙТЕ ПОЖАЛУЙСТА АНГЛОЯЗЫЧНУЮ ЛОКАЛИЗАЦИЮ ВАШИХ ПРИЛОЖЕНИЙ. Ибо без неё продукт какой-то не до конца инновационный. В смысле, масштаб — национальный, а не международный.
Полагаю, что локализацию не сделали умышленно, чтобы сдержать поток англоязычных любителей терабайтов. Как и китайцы с их 10 и 36Тб сервисами — никакого английского.
Ну, если спросить гугл про How to get 1tb free mail.ru, будут инструкции, и даже видео. :-)
Для китайских сервисов тоже есть пошаговые инструкции (и на хабр выкладывали), но я не уверен, что это кардинально увеличило спрос. Как минимум, клиентское приложение (что у китайцев, что у mail.ru) остается не локализованным, что сильно снижает удобство для иностранцев. А это «How to get 1tb free mail.ru» еще и знать надо, чтобы набрать.
Именно об этом я и говорю, что никто не мешает зарегистрироваться, а вот пользоваться (в том числе еще из-за каналов связи) будут немногие. И это часть сознательной стратегии, а не «забыли/поленились сделать англ. версию».
Я недавно тоже озадачился поиском облачного решения хранения файлов. Так же, как и у автора, в основном фото-архив, только растущий. За прошедший 2013 год получилось около 300ГБ.

Года полтора назад купил два 1ТБ винта и сделал Software RAID в домашнем сервере. Вот этот терабайт почти закончился. И был вопрос, либо покупать 2 4ТБ винта, либо искать облачное решение за приемлемые деньги и без лимитов.

За пару недель до Нового Года я попробовал несколько сервисов (благо многие предоставляют бесплатный триал): Backblaze, Crashplan и ZipCloud.

За безлимитный план все примерно просят одинаковые деньги (~$8-12/месяц), т.е. по идее 300-350 рублей.

Сразу скажу, что у всех сервисов свои заморочки, все «заточены» под автоматический бэкап, под «дурака». Если кто-то захочет выбирать, то пусть сделает это самостоятельно, т.к. лучше один раз увидеть, чем сто раз услышать.

Я же остановился на ZipCloud. Из-за одной его особенности. Он тоже рассчитан на «дурака», не позволяет автоматически загружать большие файлы, все время просит докупить опций (бэкап файлов с сетевых дисков, авто-бэкап файлов >5ГБ и т.д. и т.п. — я на это закрыл глаза, а рекламой во время работы он не достает).

А особенность в том, что в его клиенте есть возможность загрузки файлов drag-n-drop'ом, где нет никаких ограничений. Конечно, убивается «автоматичность», но если ты и так следишь вручную за своими бэкапами, и тебе просто требуется безлимитное место в «облаке», то почему бы и нет?

Ну, и если посчитать, то 2 винта по 4ТБ будут окупаться примерно 30-35 месяцев (2 * 6000 / 350 ~= 34), а там уже пора будет новые покупать.

P.S. Это не реклама :) Просто делюсь своим опытом.
А особенность в том, что в его клиенте есть возможность загрузки файлов drag-n-drop'ом, где нет никаких ограничений.

У mail.ru прямо из браузера можно загружать, ограничение правда только 2GB — но я запаковал фотки в многотомный архив с паролем и заливаю потиху кусками.
Скажите, а зачем в многотомный? Неужели удобнее, чем много независимых архивов? Каждый фотосет в отдельности (после отбора) вряд ли потянет больше, чем на 2 Гб. Фотосетами и заливать.
У меня в отпуске летнем бывает десяток другой гиг фоток. Потому и разбиваю на многотомные архивы.
Исторически делаем фотки разбиение на папки Лето Весна Осень Зима по годам.
Интересная статья, спасибо. У меня как раз такая проблема — сохранить несколько сотен гигабайт в облаке :)

Вопрос: почему именно Encfs? Судя по скриншотам вы используете Mac OS X, там есть нативное средство создания контейнеров — File Vault 2.
Если коротко — критична кроссплатформенность решения. У меня основной личный компьютер — маковский ноут, но на работе я по понятным причинам сижу исключительно под Windows, а на серверах (включая домашние) стоит Linux. Собственно, эта статья написана в том числе для себя, чтобы не перепутать последовательность, что куда ставить.
До недавнего времени использовал EncFS+{Dropbox,Insync} между рабочим «Windows 7 Pro x64» и домашним «Arch Linux x86_64». Столкнулся с тем, что не все файлы записанные под Arch'ем отображались (синхронизировались) в Windows'е, при этом файлы записанные под Windows'ом полностью отображались (синхронизировались) в Arch'е.

Возможно, при достаточно длинном имени оригинального файла, длинна имени зашифрованного файла становится выше максимально допустимой (либо содержит запрещенные символы) для определенной файловой системы. Из-за этого приложению не удается синхронизировать файл на конкретном ПК, использующим эту ФС.

Выдержка из Wiki: Тома EncFS не могут быть отформатированы под произвольную файловую систему. Они сохраняют особенности и ограничения файловой системы содержащей директорию-источник.

На Arch'e использую Ext4, на Windows'e соответственно NTFS. Еще одна статья из Wiki, говорит о том, что отличия этих файловых систем (запрещенные символы, максимальная длинна пути) объясняет такое поведение при синхронизации.

Поэтому, я отказался от такой «кросс-платформенности» и перешел с EncFS на eCryptFS, которая достаточно активно развивается и позволяет использовать PAM.
О, большое спасибо за этот комментарий. Я, наверное, ради подобных комментов и статью эту наваял.
Если у вас Mac OS X, то почему не используете нативный encrypted sparse bundle? Это такой себе контейнер, состоящий из чанков, поэтому при изменении данных внутри контейнера не нужно будет перезаливать весь контейнер.
Я тоже про это подумал. По идее можно использовать внешний диск, на который Time Machine будет делать бекап в зашифрованный sparse bundle. И файлы на этом диске синхронизировать с Облако.Mail.ru. То есть одновременно будет периодически делаться бекап и на внешний диск и в облако.
Из-за требований к кроссплатформенности. Впрочем, универсальность «встроенных» в операционную систему инструментов — это большой плюс. Если придумать, как это монтируется хотя бы на линукс (а оптимально — на винду), encfs лично мне станет совсем не нужен.
Я делаю архивы zip с генерящимся паролем с помощью комманды bash (можно и проще наверняка):

find. -type f | while read line; do
RAND=$(openssl rand -base64 32)
FILENAME=$(basename "$line")
zip __КУДА__/${FILENAME}.zip ${FILENAME} -P ${RAND}
echo ${FILENAME} ${RAND} >> pass.txt
done

Имена файлов и пароли сохраняются в файлик, который не нужно держать в том же облаке.
Плюсы такого метода — для каждого файла свой сложный пароль, сжатие, работает везде (zip против кучи утилит).
Я так понимаю, способа работать с хранилищем mail.ru как с внешним жестким диском нет? То есть чтобы не держать копию всех этих 1Тб файлов у себя и не ставить их официальный клиент на комп?
Увы, это именно так. Это же mail.ru :) Учитывая их любовь к спутникам-агентам-клиентам, непохоже, что можно так просто избежать установки их душеполезного официального софта.
По словам представителя компании webdav в разработке. Он даже какое-то время работал, но, как я понял, его отключили до релиза.

MARC-FS, но Linux-only решение. За портирование под Win/MacFUSE ещё не брался.

Интересно! Жаль у меня мак…
Кстати, в последнее сервис работает гораздо быстрее, чем на старте акции. Буквально вчера поставил на синхронизацию домашний фотоархив (~100Гб), сегодня к вечеру уже все залилось.
Они (mail.ru) до сих пор не исправили ошибку с web-интерфейсом облака: не отображает все папки, которые синхронизировались, если количество папок больше нескольких сотен. У меня их больше 600, а отображает только пару сотен.
А в чем счастье от mail, если копия всего облака лежит локально, только синхранизация?
Жесткие диски имеют неприятный недостаток — ломаются в самое неподходящее время.
По поводу пятого шага — не совсем понимаю зачем он, если всё, что нужно уже пропатчено в Homebrew. Только что ради эксперемента удалил и заново откомпилировал у себя на машине. Всё поставилось без проблем и уже все нормально как минимум с 4 декабря.

Ну и да, фикс ожидается в версии 1.7.5 encfs которую вот-вот (ну так обещали в начале ноября) выпустят.
1 ТВ без Webdav в значительной степени бесполезен, т.к. требуется синхронизацию с существующим диском. Как костыль, можно использовать внешний диск с предлагаемым в этой теме решением (это отмечалось уже в комментариях), но, как мне кажется, лучше подождать Webdav (Mail.ru утверждает, что он будет: WebDav будет
«Web-dav скоро будет реализован. Следите за нашими обновлениями. » ) и использовать шифрование с программами типа CarotDav (я через него закачиваю документы на Box.com) или тем же EncFs.
В клиенте на Windows можно выбрать какие папки с облака надо скачивать, а какие не надо.
Один раз синхронизировал папку — и галочку снял, если локальная копия не нужна.
Можно, конечно. Но все равно костыль. К тому же, вот image

Я покрылся холодным потом. Но папки, вроде остались.

Я не зря покрылся холодным потом. ОНО таки стирает локальные папки при отключении синхронизации. Клиент — самый свежий, только что скачанный. Mail.ru, ты чего, а? Лавры Яндекса покоя не дают? Для меня не критично — я под виртуалкой с файлами на внешнем диске, но с backup-ом, естественно (точнее, отдельный внешний диск специально используется для синхронизации с облаком mail.ru). Но всё равно страшно.
«Скоро в кинотеатрах! Новый блокбастер от cloud.mail.ru! Файлы исчезают в полночь»
Я сначала удаляю симлинк на данные из папки синхронизации, а потом снимаю галочку. Костыль, но работает.
У меня не сработало, делал все в точности по туториалу
Вот такая ошибка
the OSXFUSE file system is not available (-1)
ошибка fuse. Возможные проблемы:
— модуль ядра fuse не установлен (modprobe fuse)
— не правильные опции — cм. справку по использованию
Ожидала, что вместе с mail cloud установится guard или подобная фигня, но нет, что приятно удивило:) и 1 Тб, конечно, тоже радует.
Наверно guard теперь инсталируется как служба)
Уважаемые разработчики: ваша программа на Mac периодически вылетает, не сообщив даже об ошибке. Просто закрывается без уведомления и все.
В основном это происходит когда отходишь от компьютера и он переключается на заставку.

Так-же она периодически принимает решение заменить локальный файл из облака (причем без причины, хорошо хотя бы копия оставляет). Синхронизация настроена только с одним ноутбуком.
Писал уже где-то тут, но повторюсь — rar.avi. Простой скрипт.
ilrandir.blogspot.com/2013/11/rawjpg-to-rar.html

«RAW/JPG to rar.avi — это скрипт, который архивирует ваши фотки в один файл и делает так, что этот файл воспринимается системой как видеоролик. Все программы видят его как видеоклип, который состоит из слайдшоу ваших фотографий, но если открыть этот файл WinRar-ом, вы увидите, что это обыкновенный архив с вашими фотографиями. Зачем это нужно? Чтобы загружать свои картинки (в основном raw) на фликр, который дает бесплатно терабайт места, но позволяет загружать только фото (jpg) или видео (avi) файлы (а не raw, cr2, nef и т.д.)»
Sign up to leave a comment.

Articles