Организация хранения личных файлов локально и в облаках

Статья написана для тех, кто ищет наилучший способ организации хранения и управления своими файлами и хочет при этом пользоваться всеми преимуществами наиболее распространенных на сегодняшний день облачных хранилищ.

Найти


  1. Единую структуру папок для хранения и «обозрения» всех файлов.
  2. Способ реализации такой единой структуры с использованием преимуществ всех облачных хранилищ.


Дано


  1. Со временем мы накапливаем все больший объем информации (большая часть которого по-прежнему хранится в файлах). Эти файлы требуют организованного хранения и управления.
  2. Сейчас широко распространено не менее 5 основных облачных хранилищ (причем каждое обладает своими преимуществами):
    — Google Drive — интеграция со всеми сервисами Google, распространено среди коллег (людей, с которыми часто приходится обмениваться информацией), удобный облачный офис;
    — DropBox — распространено среди коллег;
    — SkyDrive — распространено среди коллег, удобный облачный офис для работы с документами MS Office;
    — Яндекс.Диск — (UPD) подарили навсегда 200 Гб за ошибку в одной из версий десктопного клиента, подарили 2 Гб на 2014 год;
    — Облако.Mail.ru — подарили 1 Тб навсегда.
  3. Файлы единой организованной структуры не могут быть размещены в одном облаке под двум причинам:
    — бесплатные объемы недостаточны, и чем больше бесплатный объем тем беднее функционал и качество работы сервиса,
    — предпочтения коллег также накладывают серьезные ограничения (по одному проекту могут быть одновременно файлы совместно редактируемые на Google Drive и SkyDrive, общие папки на DropBox).
  4. Операционные системы
    — десктоп: Windows 8.1,
    — смартфон и планшет: Android 4.4.
  5. Имею несколько мест работы, готовлюсь к поступлению в аспирантуру, файловый архив “коплю” уже около 15 лет, то есть информации, с которой приходится работать, достаточно много.
  6. Это вопрос, который так или иначе вынуждены решать для себя все, и все явно чувствуют несовершенство получаемых решений. В большой степени статья вдохновлена нижеследующими тщетными поисками:
    habrahabr.ru/post/68092
    habrahabr.ru/post/90326
  7. Сложность, трудоемкость, необходимость высокой квалификации не приветствуются.


Вариант решения


Файловая структура

Мне кажется, для организации хранения файлов уместна следующая классификация данных (файлов).

  1. Хранить вечно, доступ в будущем не предполагается. Эта категория данных, которую я называю “архивом”. Туда попадают документы “для истории”, которые в обозримом будущем нужны не будут, но когда-нибудь будут представлять “историческую ценность”.
  2. Хранить вечно, доступ в будущем очень вероятен. Это данные, относящиеся к категории постоянного (перманентного) хранения, доступ к таким данным периодически необходим. Это могут быть книги, музыка, дистрибутивы, сканы личных документов (паспорт, ИНН, прочее) и что угодно еще.
  3. Срок хранения не определен, доступ в будущем необходим. Это категория файлов проектов и “входящих” (в терминах GTD). Файлы разделены по папкам, каждая из которых соответствует одному проекту (в терминах GTD), и конечно отдельная папка для “входящих”.


Такое разделение данных позволяет четко понимать, что необходимо “старательно” бэкапить и что, в случае отсутствия потерь данных, будет доступно мне в любой момент в будущем.

Также важно, чтобы данное разделение данных было реализовано на одном уровне папок (без вложений), зачем это нужно — будет понятно из следующего раздела.

Структура каталогов, к которой я пришел, выглядит так (назовем ее базовой структурой каталогов):
\
|-archive (архив)
|-permanent_books (доступ в будущем будет нужен)
|-permanent_music
|-permanent_pics
|-permanent_scans
|-permanent_soft
|-permanent_video
|-project_pr1 (файлы проекта)
|-project_pr2
|-project_pr3
|-project_pr4
|-project_pr5
|-project_pr6
|-temp (“входящие”)


Использование облачных хранилищ

Для унификации структуры хранения данных в каждом из облаков следует создать базовую структуру каталогов (если на данном облаке, например, файлы по проекту Х не хранятся, папку проекта можно не создавать, то же относится к архивам и данным постоянного хранения). После этого становится легко понятным — где именно в том или ином облаке сохранять данные, например, по тому или иному проекту.

Для удобства представления данных на компьютере базовую структуру каталогов (не обязательно полностью, по необходимости) предлагается реализовать на уровне библиотек Windows (про библиотеки можно почитать здесь: www.outsidethebox.ms/15096). Именно для этого базовая структура папок должна быть одноуровневой. Библиотеки отображают файлы, расположенные в нескольких папках на диске, и позволяют удобно управлять ими. Кроме того полезно создать библиотеку “Облака”, отображающую содержимое корневых папок всех используемых облачных хранилищ (в этой библиотеке будет несколько папок с одним именем — по одной из каждого облачного хранилища).



Удобны два представления библиотеки:
  • “Общие элементы”. Все содержимое папок библиотеки выводится в единой таблице, без группировки по папке библиотеки (в нашем случае по облачному хранилищу).
  • “Видео”. Содержимое библиотеки разбито по папкам библиотеки (облачным хранилищам), и представлено в виде крупных значков.


Теперь, работая с проектом, файлы по которому находятся в нескольких облачных хранилищах, достаточно войти в библиотеку проекта, и все файлы будут доступны для работы. Например, это может выглядеть так:



Библиотеки как инструмент крайне просты и удобны для централизованного управления облачными хранилищами и переброски файлов из одного облака в другое буквально в один клик.

Кстати, не все файлы нужно хранить на диске (объем доступного пространства в облачных хранилищах как правило больше объема физического диска). Например, папки “permanent_video” и “permanent_music” я вообще не синхронизирую с компьютером, а обмен с этими папками осуществляю через папку “temp” соответствующего облачного хранилища. Посмотрев какое-то видео, если я хочу сохранить его в облаке, я перемещаю его в папку “temp”, а затем через веб-интерфейс облака перемещаю файл в папку “permanent_video” — файл удаляется с диска компьютера, но сохраняется в облаке.

И еще одна небольшая “фишка”. Расположение папки “Рабочий стол” я перенастроил на папку “temp” в моем основном облаке (Google Drive), в эту же папку по умолчанию сохраняются все файлы, скачиваемые через браузер и торрент-клиент. Таким образом все новые файлы автоматически оказываются в одном единственном месте и сразу же попадают в облако.



Изложенное в статье, конечно же, не претендует ни на полноту, ни на абсолютную истинность, но, смею надеяться, может быть полезно читателям для организации собственной системы хранения файлов.
Ads
AdBlock has stolen the banner, but banners are not teeth — they will be back

More

Comments 42

    0
    Интересная тема для обсуждения. У кого как?
      0
      все сливается в Amazon, кроме приватных репозиториев, книг и прочей лабуды к которой нужен постоянный доступ, для них NAS
        +2
        Для проектов есть системы контроля версий. Гитхаб, ассембла, битбакет.

        Для видео и музыки есть локальный сторадж. Допишу статейку как обустроить рабкрин на коленке в облако с шифрованием на лету — там подробнее. Паранойя меня держит — такое в облака заливать.

        Для игр — стим.

        Для книг — киндл.

        А софт и так в репозиториях линукса, зачем его хранить. Те полторы программы из-под вайна места много не занимают и вообще это ностальгия и вредные привычки.
          0
          Для игр — стим.
          Для книг — киндл.
          Для музыки — iTunes in the Cloud, Spotify etc.
          Для видео — Netflix, Redtube etc.
          Для самодельных фотографий, документов и проектов — SSD в лэптопе + ежедневный бэкап на NAS.

          Киндл — ОК как читалка, но не как хранилище книг — он синхронизирует между девайсами только купленные на Амазоне книги. Хотелось бы кроссплатформенную читалку с синхронизацией, можно через папку в Dropbox, но для этого можно использовать и Pocket, хоть и не очень удобно в плане организации.
          ;-)
          0
          У меня примерно так:
          /cur — текущая свалка из загруженного, пока не разберётся
          /my — папка моих проектов (уникальная чисто моя информация)
          /my/work/%наименование_места_работы%/%год_проекта%/%название_проекта% — например, папка проекта по работе
          /my/media — медиа-архив фоток/видео
          /copy — папка со всякими дистрибутивами, короче говоря, с тем что можно в любой момент скачать из сети, но необходимое для быстрого доступа
          /copy/music — например, папка с музыкой
          /tmp — временная папка для различных операций
          Есть ещё разные нюансы, но это уже мои заморочки идеалиста)
            +1
            Проекты на локальном SSD + всегда с собой жёсткий диск на 1.5 ТБ.
            Google Drive — документы по хобби
            Ubuntu One — синхронизация фоток между устройствами
            Dropbox — обмен с коллегами
            BitTorrent Sync — синхронизация книжек с мобильными устройствами
              0
              Давно думаю над этим, еще и паранойя на тему умирающего hdd со временем усиливается. Сейчас максимально перехожу на облачные хранилища, которые локально лежат на большом переносном диске. Рабочий диск — ssd на котором только программы.
              Проекты просто лежат в папках попроектно, пока что на яндекс-диске.
              Основная проблема для меня сейчас — это личные фотки. Их много и я не знаю, как сейчас лучше поступить: залить так же на яндекс-диск с их 200 гб, или доверить чему-то специализированному, типа фликра или яндекс-фоток? С одной стороны их удобно было бы смотреть и каталогизировать тегами и папками, но с другой страшно довериться сервису, к которому нету локального доступа. Вдруг закроется или еще чего? Круто было бы, если бы я-фотки стали бы папкой в я-диске с сохранением отдельного сайта.
                0
                Тоже думаю об этом много. Пока вижу два варианта:
                1. Google Drive + Google+ (подробности). Хотя, как я понял, Google Drive — не очень актуально.
                2. База фото создается в какой-либо программе (Picasa, Shotwell, etc) и полностью хранится в облачном хранилище.

                Но пока идеальных программ из пункта 2 я не встречал :(

              +1
              >> Яндекс.Диск — подарили 200 Гб на 2014 год

              200 ГБайт в 2013 г. Яндекс добавлял навсегда т.к. это компенсация за допущенную в их клиенте ошибку, которая приводила в некоторых случаях к сбою в работе ОС.
                0
                Действительно, невнимательно посмотрел. На 2014 год подарили всего 2014 Мб :)

                Структура подарков Яндекса

                  0
                  Так это… поправь в статье-то :)
              • UFO just landed and posted this here
                  +2
                  Мой подход — никакая публичная информация (soft, books, video, music) не представляет ценности — все это можно скачать повторно. Прошли те времена, когда народ по крупицам ночью на диалапе собирал себе библеотеки и ходил с винтами по друзьям переписывать картинки и музыку.
                  На случай, если умрет домашний двухдисковый RAID1 — важные данные (приватные исходники проектов, почта и т.п.) — ночью скрипт пакует в файл (с паролем, конечно) и засылает на Google Drive, каждый месяц идет ротация этих архивов.
                  Есть отдельная категория — личный архив фотографий. Там много гигабайт, хранить в облаке нет смысла (хотя с появлением этих «1Тб навсегда» можно задуматься), хранятся на внешнем ЖД + локальные копии.
                    0
                    Я не призываю быть плюшкиным в отношении контента, но Ваш подход касательно «публичной информации» все же не универсален, на мой взгляд. Например, я собираю для себя библиотеку «хорошей» (на мой взгляд, для меня) литературы, причем формируется она из разных источников (поиск некоторых книг занял до 10-15 минут и был нетривиальным в силу этих книг нераспространенности в сети), и делается это постепенно (по мере узнавания о новых для меня книгах).

                    Когда я решаю, какую следующую книгу прочесть, я просто захожу в свою библиотеку и легко выбираю книгу из перечня интересных мне (возможность беглого просмотра, «листания», здесь очень кстати). То есть библиотека содержит в себе мои потраченные усилия по а) сбору информации об интересных для меня книгах, б) поиску этих книг в сети. И это существенно удобнее, чем работа с такими данным в рамках парадигмы «всегда можно скачать».

                    Думаю, для любого актуального (для данного субъекта) тематического контента, «потребляемого» постепенно (книги, обучающие видео и т.п.) такой подход вполне имеет право на жизнь. Ценностью является не сама информация, а усилия по ее нахождению (узнать об интересной книге, а это часто случайность) и сбору (поиск и «складирование»). А еще есть замечательная опция поделиться своей подборкой с друзьями, для которых она тоже будет актуальной в большой степени — это сэкономит их ресурсы и они будут очень признательны :).
                      0
                      Согласитесь, книги, на поиск которых тратиться больше 5 минут, составляют весьма незначительную часть вашей (и, думается, любой) библиотеки (я уже не говорю о соотношении времени поиска на изучение материала). Ни в коем случае не навязываю свою точку зрения, но обычно продолжительность поисков зависит не от редкости контента, а от незнания того, где и как искать. Как правило, тяжким трудом добываемое годами «золото» домашних коллекций затем легко отыскиваются на каком-нибудь новом торрент-трекере, который, оказывается, существовал лет этак 10 без нашего ведома.

                      Заметьте, в начале прошлого века, сохраненная информация могла стать национальным достоянием, в 80-х за редкую пластинку фанаты могли много чего натворить, в «нулевых» развитие поисковых и пиринговых систем сделало легко доступной практически любую информацию, в 202х любая существующая в ноосфере информация будет доступна менее чем за секунду. Массовый переход на персональные компьютеры типа «тонкий клиент» (без локальных хранилищ данных и т.п.) — это лишь вопрос времени, шаги в этом направлении давно активно идут.
                      +1
                      Мой подход — никакая публичная информация (soft, books, video, music) не представляет ценности — все это можно скачать повторно. Прошли те времена, когда народ по крупицам ночью на диалапе собирал себе библеотеки и ходил с винтами по друзьям переписывать картинки и музыку.


                      Глядя на происходящее с разными антипиратскими законами, блокировкой сайтов, торрентов и прочего — я всё больше склоняюсь к мысли, что возврат «тех времён» всё ближе и самым надёжным местом хранения по-прежнему является свой HDD (raid/дедик/что-то ещё, но полностью подконтрольное).
                        +1
                        А еще сайты в интернете имеют неприятное свойство пропадать, и даже в вебархиве (web.archive.org) не всегда удается найти нужный контент. Бывали моменты, когда сохраненная копия статьи или сайта целиком оказывалась крайне полезной.
                      0
                      У меня всё проще — книги, музыка, фильмы, игры, софт — можно перекачать или смотреть/слушать из инета, исключение для игр старых dosbox). Исходники — в облаке.
                      В облаке же с синхронизацией на все мои машины + телефон лежит самое важное — база паролей keepassx, резюме, календарь, контакты и список заметок — задач.
                      Фактически самое важное — база паролей и прочей конфиденциальной информации вроде номеров кредиток/cvv/pin.
                        +1
                        Не боитесь компроментации? Я бы не доверил критические данные ни одному облачному сервису, только запароленный архив.
                          +2
                          ну а кто сказал что база данных от keepass лежит в открытом тексте?
                          Вы бы хоть про софтинку почитали.
                          нет, не боюсь, да и пароли меняю раз в несколько месяцев — когда все пароли аккаунтов в обном месте можно лежко и быстро их сменить
                            0
                            С keepass все понятно, но у вас же и другие данные имеются. Просто вы сказали фразу
                            В облаке же с синхронизацией на все мои машины + телефон лежит самое важное
                            , что как бы подразумевает, что специально вы ничего не шифруете, но раз не боитесь — дело ваше.
                              0
                              самое важное — база паролей, остальное, в общем не критично, резюме там лежит для удобства быстро достать,
                              вот единственное что фотографий до чертиков, и не все хочется выкладывать на фликр, это вот да, проблема.
                              а исходники, музыка книги и фильмы — как пришло так и ушло
                        0
                        Странно что никто не сказал про owncloud.
                        Поднял дома, понапихал винтов под несколько терабайт и вот пожалуйста — удобнее световых мечей и быстрее тысячелетнего сокола
                          0
                          Дома отключили электричество / интернет, или винт помер, или котик витую пару погрыз, а вы в командировке в другом городе и вам внезапно срочно что-то нужно. Может быть лучше поднимать его на vps'ке у надежного хостера?
                            0
                            >или винт помер
                            Рейд
                            локальные бекапы

                            >Дома отключили электричество / интернет
                            owncloud синхронизируется с локальной папкой так же как и дропбокс

                            >Может быть лучше поднимать его на vps'ке у надежного хостера?
                            На впску (точнее дедик) бекапится.
                              0
                              > На впску (точнее дедик) бекапится.

                              … и это его минус. Дедик — это обычный комп со всеми его бедами, а также бэдами. Тогда уж берите два и пусть rsync-аются по крону, свалится один — на второй haproxy переключит автоматом. Хоть какая-то надежность…
                                0
                                Хорошо, дедик не один их два)
                          0
                          Я делал несколько подходов к организации файлохранилища, но так и не пришел к окончательному результату. Концепция примерно следующая.

                          Я полностью отказался от хранения музыки и любого софта дома. Софт качается по необходимости, музыка только из облаков. Фильмы либо качаются, либо смотрятся онлайн, сериалы онлайн. Книги качаю по необходимости, не храню. Все эти файлы не бэкапятся.

                          Входящая папка — папка загрузок. Не синхронизируется, не бэкапится.

                          Проекты хранятся в Google Drive в отдельной папке. Каждый проект — подпапка. Архивные проекты лежат в отдельной подпапке, чтобы не забивать верхний уровень.

                          Фотки хранятся на домашнем компьютере. Частично продублированы в альбомах G+ — те, что отобраны для показа друзьям.

                          Пароли хранятся в дропбоксе в шифрованной базе. Не очень критичные пароли живут в LastPass. Также в дропбоксе есть небольшой томик TrueCrypt, где хранятся всякие критичные файлики, которые могут понадобиться внезапно и дома и на работе и где-то еще. Сканы документов, например.

                          Папка дропбокса целиком, папка гугл-драйва целиком и папка с фотографиями бэкапятся в облако CrashPlan.

                          И еще Evernote для заметок и базы знаний.
                            0
                            Кому это Яндекс.Диск подарил 200 Гб на Новый год? Я им активно пользуюсь, но там всего 12 Гб.
                              0
                              Яндекс место не дарил, а давал в качестве извинения за epic fail
                              habrahabr.ru/post/204580/
                              0
                              Хм, у меня выглядит попроще, но кое-что подумываю переделать с учетом нового облака из мэила, если оно позволяет не хранить файл локально… пока не смотрел :)
                              На компьютере практически ничего не храню, кроме:
                              — файлов на раб столе с которыми работаю + которые стоит разобрать
                              — файлов downloads, которые время от времени чистятся

                              Для хранения данных использую внешний hdd на 1Tb, который разбит пополам на рабочую часть и для хранения не важной инфы.
                              — Рабочая часть — зашифрована как раздел TrueCrypt'ом, там все проекты, наработки, портабл софт и т.д.
                              — Другой раздел — музыка, картинки и т.д.

                              Рабочий раздел бэкапится с домашнего компа на CrashPlan за $5 или $6/мес, около 200Гб (Вот это если Mail.ru позволяет было бы неплохо как-то шифровать и хранить там т.к. скорость овыше и бесплатно)

                              В облаках:
                              — Google Docs – для ведения документации и учета в таблицах пороектам + расшаривание документов.
                              — Google Docs for domain, зареганный во времена бесплатности для учета статистики и текучки по магазину.
                              — Dropbox для обменом немногочисленными файлами по работе, которые не могут быть текстовыми и таблицами в документах.
                              — Evernote для хранения личных документов, сканов и т.д. — удобно из-за распознания
                              — Selectel хранилище для бэкапов сервака.

                              Яндекс, Мэил, box.net пока не нашли применения :)
                                0
                                Для быстрого обмена – заново родившийся download.ru. Для постоянного хранения — Я.диск.
                                  0
                                  По нынешним временам вокруг полно удаленных хранилищ. И бесплатных в рамках лимитов. Вот не полениться бы и построить на них кластер с шардингом и репликацией. Чтобы в итоге это выглядело, как dropbox. А под капотом чтобы шардинг и репликация.
                                    0
                                    Тоже актуальная проблема для меня по двум причинам:
                                    1. Имею изрядное количество ценной информации (архив фото, прочие семейные документы, личные проекты, любимые музыка и кино, прочее), которое хочется всегда иметь под рукой и надежно бэкапить.
                                    2. Живу то в квартире, то в загородном доме. Быстрый доступ ко всем файлам хранилища (в т.ч. к свежим фото) хочется иметь в обоих домах.

                                    Но в отличие от автора я не горю желанием привязываться к облачным хранилищам из-за ограничений по размеру и политики «мы можем читать ваши файлы, но в случае чего мы вам ничего не должны».

                                    На данный момент полностью устраивает наличие двух файловых серверов на 1-2 ТБ (по одному в каждом доме) с синхронизацией по BT Sync.
                                    Самые актуальные и ценные данные также синхронизируются с рабочим ноутом, тоже по BT Sync. А самые-самые (либо к которым может потребоваться доступ вне домашней сети) еще и с Dropbox.

                                    Итого есть 3-4 копии самого ценного и пара копий всего остального, которое удобно иметь под рукой, но в принципе всегда можно найти и загрузить заново.

                                    Со временем планирую окончательно обосноваться в одном доме. Второй сервак, видимо, переедет со мной и останется зеркалом первого сервака по BT Sync, но физически будет от него отделен.

                                    Либо сделаю зеркало на VPS, если к тому моменту найду недорогой VPS с терабайтом места.
                                    Ради интереса сейчас за полминуты нашел вот такое предложение, которое почти приемлемо:

                                    Memory 1.0GB
                                    Swap 2.0GB
                                    Storage 1TB
                                    Inodes 1M
                                    IOPS 10
                                    Bandwidth 4TB
                                    Monthly Price $24
                                      +1
                                      В вашем случае «могут читать все ваши файлы, но ничего вам не должны» создатели BT Sync — параноикам следует исходить из этого до тех пор, пока они не докажут обратное опубликовав исходные коды и протокол BT Sync.
                                        0
                                        А интересно, в проектах с открытым исходным кодом типа OwnCloud в самом деле кто-то перечитывает весь код, понимает его и может авторитетно подтвердить, что там все «чисто»?
                                        Ведь сама по себе открытость кода еще не гарантирует спокойствия параноикам.
                                          0
                                          Более того, даже если вы перечитали весь открытый код и думаете, что поняли его, нет никаких гарантий, что в скачанном вами бинарнике не будет закладок :)
                                            0
                                            Мы-то, пользователи Windows, понятно — скачиваем бинарники. А реальные пацаны разве не сами из проверенных исходников все компилируют?
                                            0
                                            > OwnCloud

                                            Ну вот лично я в некоторых его местах ковыряюсь иногда. Ничего страшного (ну кроме весьма такого «странного» стиля программирования в некоторых местах) пока не обнаружил.
                                            И кстати. Если у вас нет паранойи — это еще не значит, что за вами не следят.
                                      • UFO just landed and posted this here
                                        • UFO just landed and posted this here
                                          0
                                          1. Файлы проектов практически все хранятся в соответствующих программах с поддержкой iCloud. Без папок, с именами типа имя проекта — содержание файла. Архив — отдельная папка на каждый год.
                                          2. Развлекательный контент хранится каждый вид в предназначенном для него ПО (iTunes, iBooks и т.д.)
                                          3. Делаю бэкап всей папки пользователя, за исключением папок кэша и т.п.

                                          Only users with full accounts can post comments. Log in, please.