Комментарии 276
Кроме того (некоторые) фотографии хранятся на компе, откуда дублируются в облако и на запасной диск. (Впрочем, так у меня хранятся не только фотографии, а просто все файлы, которые не хотелось бы терять).
Развернул на домашнем NAS галерею Piwigo, доработал ее напильником до удовлетворительного вида (нужно бы найти время и поделится этим опытом с хабровчанами) и получил прекрасную вещь. Тэги, расшаривание групп альбомов (по URL-ключу), полная автоматизация. Шифрованный бэкап в облако.
Можно классифицировать одной сеткой и потом обучать другую.
Кроме того, есть схемы с обучением без учителя — достаточно просто фоток, чтобы научиться их кластеризовать.
Там сильно зависит от задач.
- Допустим, мы хотим обучить сетку, которая правдобоподбно увеличивает фотографии — нужны только сами фотографии.
- Вместе с фотографией иногда хранятся метаданные типа размера объектива, времени съемки, и, возможно, даже gps-координат места. Эти данные можно использовать для обучения вида "отличить зимнее фото от летнего" или "угадать страну/город/место по фотографии"
- Можно обучить автоэнкодер, который будет сжимать фотографию в промежуточное представление (например, вектор на 128 или на 1024 компоненты). Потом можно будет запустить энкодер на размеченных данных и поверх него обучить какой-нибудь хитрый декодер — например, тот, который сможет из этого вектора сделать текстовое описание фотографии. Фишка в том, что для обучения автоэнкодера может потребоваться намного больше данных (и их размечать не надо), чем для хитрого декодера (где размечать уже придётся).
- Ещё вариант: у гугла есть какое-то работающее решение, которое что-то хорошо распознаёт, но по каким-то причинам они его использовать не хотят. Например, медленно работает. Тогда можно взять эти фотки, разметить их тем решением и потом обучить сетку.
Но потом я задумался, что я буду делать с этой кучей локальных фоток. Они ведь уже не будут разбиты на альбомы? Просто мешанина по датам…
Жаль, что «альбомы» не првращаютя в папки…
Или есть возможность и структуру в GPhoto себе забэкапить (и в иделае применить к скаченному с GDrive)?
Не нашел в описании прелестей про альбомы в GPhoto.
Или Symlink, junction and alias — как раз оно?
Если можно, подскажите, как им сохранить и потом восстановить альбом GPhoto?
Обратно из локальной копии. Или вообще в другой аккаунт. Именно с сохранением структуры альбомов, а не просто кучей папок с фотками GDrive, которые в GPhoto будут как одна большая куча выглядеть. (Для синхронизации папок с кучей аккаунтов у разных провайдеров я прекрасно Goodsync использую, но вот с альбомами беда)
Самое важное (или хоть всё подряд) можно продублировать в оригинале на домашний сервачок, у меня с помощью Nextcloud вместе с остальными файлами.
Нетребовательность значительно упрощает жизнь)
В статье указаны цены — думаю дешевле будет иметь на терабайт места лицензионный MS (в год около 4000). Правда, как хранилище для фотографий его не пользовал, но документы, электронные книги хранятся уже с 2017 года — ничего не пропало.
Кроме того, об этих категориях какой-нибудь иной софт знает кроме лайтрума?
Проблема с перформансом решается, но есть несколько проблем.
1) Отсутствие сквозного поиска
2) Выход новых версий лайтрума. Если я захочу открыть каталог за 2015 год в 2019-м году, то свежий лайтрум предложит переконвертировать базу в новый формат. И в 2020-м процедура повторится.
3) Можно запутаться в дисках и случайно переместить файлы между дискам, после чего база лайтрума протухнет и нужно будет мучительно разыскивать куда что уехало.
При количестве фото в одном каталоге лайтрума 20К+ лайтрум медленно превращается в тыкву.
Я это решил полным переездом на ssd. Сперва там был только каталог, но после покупки двухтерабайтного SSD смог и мастер-копию равок перенести.
У супруги база фотографий в Lightroom на ~180к фотографий, никаких особых проблем с работой каталога не замечено на не самом свежем (6 лет) ноуте, правда SSD стоит топовый под это дело.
При количестве фото в одном каталоге лайтрума 20К+ лайтрум медленно превращается в тыкву. Я бью каталоги лайтрума по годам — каждый год создаю новый.
Сейчас проверил. У меня в базе лайтрума примерно 65000 фотографий за 10 лет. Все работает как часы. Никаких тормозов. Основной каталог лайтрума расположен на SSD диске, на котором стоит еще операционка, а все фотографии на обычном диске (WD Green). 8Гб RAM. Компьютеру уже около 7 лет. На момент покупки считался мощным, но сейчас это в лучшем случае середнячок. Так, что несогласен с тем, что лайтрум сильно тормозит.
Отдельный каталог для каждого года нарушает всю красоту хранения, заложенную в лайтрум. Когда у Вас все в едином каталоге, то Вы всегда можете сделать произвольный фильтр, например все 5-звездочные фото, все фото из одного места, все фото, сделанные одним объективом, все фото с одним человеком, все фото в определенную дату и многие другие. Да и просто можно быстро по годам полистать фотографии и порадоваться. Все настройки, метки итп единые. А когда для каждого года приходится открывать новый каталог, то даже фото, сделанные в новогоднюю ночь могут попасть в разные каталоги. Чем больше лишних действий требуется для поиска фото и работы с ним, тем больше вероятность, что вы этим заниматься не захотите, а пойдете смотреть любимый сериал. Рекомендую, в случае необходимости поменять диск и докупить памяти и использовать единый каталог.
Новый комп, I9-9900KF, 64 GB оперативки, 2 быстрых SSD.
Свёл воедино весь архив фотографий за все годы, со всех устройств, включая мобильники. На данный момент ещё не всё добавил, но уже под 300К фотографий. Папка каталога уже больше 200 GB.
Действительно — всё вполне неплохо работает. Но вот сегодня при попытке импорта новой пачки всё работало краааайне неторопливо. За 10 с лишним часов всего несколько тысяч фотографий импортировало.
Решил всё-таки сделать отдельный архив, начал импортировать — скорость не поменялась.
Вспомнил принцип работы SSD — при заполнении диска контроллер начинает уплотнять данные, храня всё больше и больше битов в одной ячейке, что снижает скорость работы накопителя, а у меня террабайтный SSD и уже 600 занято.
Просниффил SSD, нашёл 200 гигабайт уже ненужных архивных данных — не попустило.
Начал смотреть диспетчер задач — загрузка на диске околонулевая. Но после переустановки системы забыл добавить лайтрум в исключения встроенного антивируса. Добавил в исключения.
На глаз — легче не стало.
И тут замечаю странное — большая нагрузка на одно из окон проводника. Смотрю что за окно — а у меня открыта корзина на том диске, на котором лежат импортируемые фотографии. Как только я его закрыл — лайтрум просто ожил. Загрузка процессора сразу с 20 до 70% подскочила, явно начал использоваться диск и проценты выполнения просто побежали на глазах.
Эксперимент повторяемый. Снова зашёл в корзину и ситуация повторилась.
Возможно имеет значение то, что при импорте у меня фотографии перемещались в пределах диска из разных папок в папку общего архива. Лишних данных в корзине нет, но вход в корзину — удар по лайтруму и проводнику.
при заполнении диска контроллер начинает уплотнять данные, храня всё больше и больше битов в одной ячейке, что снижает скорость работы накопителя
Снижается скорость записи, да и то только на «длинной дистанции».
Скорость чтения меняться от заполнения не должна.
Да, скорее всего скорость чтения от режима ячейки меняться сильно не должна, но в моём случае на SSD лежит каталог лайтрума, куда при импорте ведётся активная запись в сам файл каталога (по факту — SQLite базу данных) и в папки превьюшек. Так что скорость импорта должна падать по мере увеличения каталога до сотен гигабайт.
Превьюшки же и файл каталога — это многопоточная запись небольших объёмов данных. Оно само по себе сильно медленней линейной записи, но от заполнения диска не зависит практически.
Кстати, по превьюшкам — я при импорте запрещаю их создание. Удобнее потом уже, после первоначальной сортировки по папкам и коллекциям принудительно запустить. Заодно можно в несколько потоков это сделать.
Как только окно проводника закрывается — всё становится нормально.
unixforum.org/viewtopic.php?f=3&t=134119
ЦА — любители, фоткающие в JPEG и не занимающие фотоархивом больше, чем раздел /home или /mnt/media, но пытающиеся держать фотографии в порядке :)
Все фото с телефона ложатся в папку вида «iphone import ##». В каждой такой папке по 1000 файлов, которые соответствуют папке на телефоне. У айфона в каждой директории по 1000 снимков/видео.
Папки с фото на NAS в зеркале. Диски только WD, потому что есть RMA и в Москве их просто меняют на новые у них в офисе.
Если есть что-то очень важное из фотографий, то ещё дополнительно копируется сразу на 2 одинаковых usb-диска, которые затем убирается подальше.
Более чем достаточно.
А так Gold oт Red Pro отличались уровнем шума, скоростью вращения — фикированная против переменной, объемом кэша.
Так же следует знать, что диски плотнее 6Тб будут с гелием, а это означает, что в случае поломки восстановление данных стремится к нулю даже через спец сервис
Х.з. мне надо 4 ТБ, раньше голд брал, а тут увидел редпро, и дешевле и кэша больше, а гарантия та же — 60 месяцев.
Они производительнее Red, однако, т.к. если вы будете использовать несколько Red Pro работающих вместе, то уровень шума значительно увеличится, поскольку скорость выше.
Для моих нужд с сетевым хранением и управлением через lightroom вполне достаточно обычных Red (ещё и денег сэкономите). PS: Фильмы FullHD в 25гб по 1гбит без задержек показываются.
P.S. Пардон, при некоторых смешанных текстово-строковых сортировках оно уже так и логически обоснованно, например, в Midnight Commander порядок сортировки «Версия»
P.P.S. Зря минусуете — человек говорит о том, что реально встречается, а местами слегка безальтернативно
А сами фотографии я всё равно в итоге потом глазами выбираю, а не по именам файла и тегам. Переезд коллекции на ссд здорово помог, кстати, листинг файлов в разы ускорился.
В общем то по сути автора вопроса, ВСЕ эти операции уверенно делает лайтрум, с помошью фильтров переименований и ТЭГОВ
Собственно лучше тэгов ничего не придумано и ими пользуются все повсеместно и в любых сервисах.
Для тех кто думает перейти на C1 вместо лайтрума, были такие мысли и опыт — НЕУДАЧНЫЙ.
Если база лайтрума начинает сдыхать на 20 тыс фото то C1 начинает сдыхать на 3000. К тому же там и 10 доли нет всех тех комбинаций фильтров которые можно организовать в лайтруме т.е. сама база на достаточно примитивном уровне.
Я пользуюсь с1 только для обработки некоторых ответственных фото, таки да, он проявляет RAW покачественнее, а потом импортирую TIFF обратно в Лайтрум и если нужен архив сохраняю в DNG Lossy Compr.
Вы уже второй кто тут пишет.
У меня порядка 80к и я не заметил какого либо замедления работы базы.
Да и чему тормозить, это же обычная база, самые простые СУБД без проблем переваривают сотни миллионов записей под многопользовательской нагрузкой, а тут жалкие сотни тысяч под одним пользователем.
Может у вас конечно там какие то особо большие деревья тэгов (keywords), у меня порядка 90 тэгов (это с учетом иерархии), около 20 смарт альбомов, база расположена на обычном HDD.
Конечно нельзя сказать что все мгновенно работает (ну с HDD ничего мгновенно не работает) но и больше 1-2 секунд ждать не приходится при навигации по тэгам/альбомам.
Для фото с телефона шаблон папок — год.месяц.
Альбомы в апертуре позволяли создавать выборки внутри проекта. Например, для свадьбы это было бы «Регистрация», «Прогулка», «Ресторан» и так далее. При этом, все фотографии оставались в общем проекте, т.е. можно было быстро переключаться между всеми файлами в проекте или отдельными выборками.
Эти вещи сильно ускоряли работу.
— объединить все барахло в один JBOD-диск.
— разбить полученный JBOD на два одинаковых раздела.
— нагородить на полученных двух разделах RAID 1 с зеркалированием.
Вот только смысла в полученной конструкции не будет: если кирдыкнется один из старых дисков, первым делом откажется работать JBOD.
А старые использовать только для оперативного переноса больших объемов данных, чутко отслеживая их пульс по SMART, ну а диски емкостью менее 250Гб — развинтить на магнитики и причудливые зеркальца с отверстием посередине.
Вот если посудить… старые диски, они наверняка все разного объёма и достаточно маленькие, поэтому захочется их объединить в непрерывный массив для увеличения объёма. Один диск отказывает и все данные летят к чертям, долгая и дорогая процедура восстановления.
Ладно… а если параллельно объединять? ну, надёжность чуть выше но рано или поздно один из винчестеров выйдет из строя. Данные вроде не пострадали, но массив держится на волоске и пользоваться им невозможно — становится вопрос о замене диска вышедшего из строя(что ведёт за собой риски — в процессе перестройки массива может отказать ДРУГОЙ винчестер и будет ОЙ по сценарию первого варианта — долгая и дорогая процедура восстановления) или вопрос о… покупке нового винчестера перекрывающего объём всех вместе взятых. Но почему тогда не сразу? Оно вроде оттягивает момент покупки нового винчестера, но путём дикого головняка.
А другие схемы дисковых массивов выдерживающие отказ двух винчестеров уже ставят свои требования к накопителям и их количеству, врятли подборка разношерстных старых винтов будет им соответствовать.
А еще, когда собираешь компьютер из барахла, туда как-то не хочется покупать новый и мощный блок питания (сужу по себе). В результате в сборку идет то, что было под рукой — старенький какой-нибудь БП. А он может и коротнуть от старости, в результате чего все диски сразу превратятся в тыкву.
А вот жесткие диски везде стоят примерно столько же. Тогда да, должно бы окупиться. Хотя может и не за год — всё же жесткие диски потребляют сильно меньше, чем про них думают. У меня домашний сервер с пятью дисками на холостом ходу потреблял 40 ватт, под полной нагрузкой (проц и все диски) — порядка 70. Но полная нагрузка не так уж и часто бывала.
Ну и не стоит забывать, что дисков должно быть минимум два.
Выбор диска по сроку гарантии — это правильно.
то скорее он сдохнет в случае 1
Если выключить, а затем включить. А если не выключать, то шансов у первого девайса на смерть во время работы меньше, чем у второго в момент включения.
Механика… если применяются гидроподшипники то 15 лет для вентилятора это не проблема. Особенно если сервер домашний и не находится постоянно под нагрузкой — обороты можно снижать в простое.
Поэтому, держать сервер выключенным имеет смысл только если он жрёт электроэнергии больше чем приносит пользы. А насчет шума решений можно найти множество, по большей части — кустарных. Иначе смысл для домашних условий брать неоправданно дорогое решение?
Антресоль, войлок, отдельный воздуховод с фильтрами…
1) Взял бы максимально большой корпус, чтобы влезли все диски и была перспектива примерно на такое же количество.
2) Материнку выбирать с этой же позиции — чтобы можно было нужное количество sata-контроллеров напихать (конечно, есть sata-разветвители, но они роняют скорость на порту и вообще не слишком стабильны).
3) ОС — Windows. Софт для создания массива — Stablebit Drivepool. Можно, конечно, попробовать Drivebender — он дешевле, по описанию может то же самое и даже больше. Но за drivepool я поручусь — использую его несколько лет, а drivebender не пробовал даже.
Drivepool позволит объединить ваши диски в массив и настроить дублирование на уровне папок. То есть можно сделать так, что любая папка будет одновременно жить на нескольких дисках — хоть на всех сразу, если вы параноик. Плюс можно в любой момент вынимать и добавлять диски в массив без его разборки — это важно, когда у вас куча сильно бэушных дисков.
PS. Ну и не забывайте про регулярные бэкапы всего этого куда-то наружу (внешние диски, облака и т.п.).
Это не то, что Вы ищете: https://unraid.net?
А при чем тут средство хранения файлов? rtakyiv спрашивал про инструмент объединения пачки разных дисков в массив с отказоустойчивостью.
И, насколько я понимаю, использовать Unraid в качестве платформы для виртуальных машин совсем необязательно. Видимо, такой функционал добавился в недавних версиях — изначально решение разрабатывалось именно как платформа для организации хранилищ из сами знаете чего...
У unraid основной недостаток, на мой взгляд — под диск с контрольными суммами надо сразу самый большой диск выделить. Если у вас 2+2+3, к примеру, то трёшку оно себе заберёт. А когда купите новый 8ТБ — то придёт его под контрольные суммы отдать.
Я сейчас тестирую OneDrive, 5Tb раз и «навсегда» за 5EUR разово. (Понимая, что всё может закрыться и храня там только шифрованные данные)
OneDrive, 5Tb раз и «навсегда» за 5EUR разово
Эти ключи с ебэя очень рэндомные. Кто-то из «тестеров» говорил, что «навсегда» у него наступило месяца через три.
У меня подписка на office365 premium, они за 2000 в год дают 5 (или даже шесть) терабайт места. Правда сейчас уже за такие деньги сложно найти, но за 2500-2700 в год вполне реально. Получается где-то 4 евро в месяц.
А место именно дополнительное, можно считать и не местом, да ) Есть 1Tb от mail.ru когда они ещё раздавали бесплатно + 2 локальных диска под бекапы + этот аккаунт с Ebay.
На счет цен — надо покопаться на том же яндекс.маркете.
complaneta.com/litsenziya-office-365-home-premium-all-lng-6gq-00084-ms-6gq-00084.html — например.
Да, это 1ТБ. Но можно «пригласить» членов семьи. Т.е. иметь за эту сумму 5 учеток по 1ТБ. Побить тематически. Или по годам или еще как…
Ну и сам офис на пятерых не помешает :)
Ну и никто не мешает приглашать самого себя. :)
Там тоже на 5 компьютеров своих можно ставить, но размерчик общий, как я понимаю.
Это офис365 персонал так выглядит. Один аккаунт, один терабайт, сам офис можно поставить на 5 компьютеров. А офис365 хоум премиум сейчас шесть таких аккаунтов позволяет получить.
Как организовываются фотки — у каждого своя папка для слива фоток с телефона? Можно смотреть фотки другого участника?
На компьютере — либо синхронизация через обычный клиент, типа дропьокса и т.п., либо подключение сетевого диска через webdav — тут с большим количеством мелких файлов не все хорошо, либо какой-нибудь софт для бэкапа, типа goodsync.
К файлам и папкам в облаке можно дать доступ другим пользователям, если требуется.
А если стандартный клиент — то он тоже залогинен под одного человека?.. Выходит, каждый должен друг-другу дать полный доступ на всё своё облако?
Что насчёт управления фото, как там клиент выглядит, норм?
Но мне для бэкапа это не важно — у меня не одно задание на копирование всего важного, а кусочками. Так что вполне могу хранить их в разных аккаунтах.
Стандартный клиент — это просто синхронизация папок с облаком. Там никакого особенного отношения к фотографиям нет, файлы как файлы. Разве что пытается свежие картинки (фото с телефона, скриншоты) в одну папку складывать. Но не более.
2018
-2018-01-01_Новый год
-2018-01-05_Концерт %bandname%
2019
-2019-02-08_Отпуск
-2019-04-04_Споттинг Борисполь
-2019-05-05_Майские
В корне каждой папки лежат RAW файлы.
Весь экспорт из Lightroom- в подпапки:
2000px, 900px, 1280px — размер по длинной стороне, настроены заранее профили экспорта в Lightroom;
fullsize — оригинальный размер изображения, тоже профиль экспорта;
ps — экспорт в фотошоп;
И так далее.
Брак отбираю в Lightroom'e в процессе обработки флажками (rejected, no flag, flagged).
Панорамы или HDR под склейку помечаю цветами.
Часто в подпапке делаю еще одну папку, куда переношу файлы которые например не буду закидывать в ивент, или дубли которые просмотрел перед экспортом из Lightroom
Теги проставляю в Lightroom, потом они же идут в EXIF.
Если поснимать «девушку в цветах», то могу оставить парочку RAWов «до лучших времен»
С отпуском обычно такая же история, как и с репортажкой: )
Если обрабатывается только избранное, то может понадобиться вернуться к какому-то «нераспечатанному» кадру. Потому для себя я решил, что проще хранить всё, чем плакать через пару лет по удалённому файлу. Благо у меня только пара терабайт фото, их вполне бюджетно хранить и бэкапить. Вот если у вас десятки терабайт, то тут уже тяжелее становится…
Я по возможности только латиницу использую.
Скорее всего отмечать его начали 31 декабря 2017. Эти фотки 2017 года тоже в 2018-01-01?
Прописывание дня всегда напрягает тем, что бывают события на 2-3 дня. Поскольку фотографирую не настолько много, предпочитаю их объединять в YYYYMM-Place или подобное.
Но начинаются проблемы с тем, когда действительно день указывается.
И как вы поступаете с фотками, которые хотелось бы сгруппировать по теме. а не дате?
Например, зафиксировать процесс ремонта. Или стройки, который растянется на многие месяцы (а то и годы)…
Съемки на несколько дней (новый год, отпуск) стараюсь раскидывать по датам. Ночные вечеринки (которые начинаются скажем в 23.00 и заканчиваются в 04.00) закидываю в одну папку с датой начала
Впрочем, если мероприятие перешло через полночь, а не продолжалось два полноценных дня, то, как и предыдущий комментатор, фиксирую началом.
Представьте как бы выглядели папки без даты: Новый год, Новый год (1), Новый год (2).
Это не удобно.
Система заключается в следующем:
- На первом уровне находятся директории с названиями стран (использую двубуквенные обозначения).
- На втором уровне — директории с названиями городов.
- На третьем уровне — директории с фотографиями. Названия директорий следуют определенной naming convention: «City YYYY MM MMM — Description».
\ photos - EG + Sharm El Sheikh - ES + Barcelona - TR - Alanya + Alanya 2018 07 Jul - Anjeliq - Antalya + Antalya 2007 06 Jun - Sera + Antalya 2008 07 Jul - Zigana + Antalya 2010 07 Jul - Crystal Flora Beach + Antalya 2011 07 Jul - PGS Kiris Resort
Надо посмотреть где и когда ездил по конкретной стране — через поиск фильтруешь страну, и все папки перед глазами за все года.
Я понял суть вашего предложения. Просто чувствую острую необходимость в систематизации каталогов, количество поддиректорий в которых превышает несколько десятков. Поэтому получилось так, как получилось, и, честно говоря, за все время использования эта система не вызывала никаких нареканий.
Последние 2 года просто сливаю все фото в один каталог по годам.
А все остальное решается тэгами и альбомами в LH.
Это оказалось на порядок быстрее и удобнее. Если мне нужно вспомнить где я был в 2012 я ставлю фильтр по дате, и открываю карту (в LH есть работа с GPS) и визуально вижу метки на карте.
Так же это видно по тэгам которые остаются после фильтрации.
Там же можно отобрать по людям на фото.
Основной плюс тэгов перед папками то что на одно фото может быть назначено 2-3 тэга. Т.е. одно фото может проходить как Sharm El Sheikh и как Подводное и как Экскурсия.
По поводу хранения, лайтрум позволяет хранить сами файлы в файловой системе. Каталог хранится отдельно. У меня есть папка с архивами и отдельная — с фотографиями текущего периода. Внутри этих каталогов директории вида «2018 Spring», «2018-2019 Winter». В них уже по датам хранятся фотографии с конкретных событий: «2018-01-01 New year celebration» и подобное. Дата ставится автоматически при импорте. Время от времени подпапки из текущей перемещаются в архив.
Что касается разбивки на категории, это никогда не работает. Потому что категории будут пересекаться, будут невнятные кадры которые сложно куда-то отнести и так далее. Я создаю в лайтруме коллекции — это отдельная иерархия сущностей, которая позволяет включать кадры в несколько коллекций. Например, фотографии с автосалона могут быть в коллекциях Cars, Events, Girls :).
При сортировке после съемки, я просто прохожу по фотографиям несколько раз и отбраковываю режектом явный брак. Потом выбираю Pick-ом явные сейвы. Обычно на этом сортировка и заканчивается — дальше я включаю фильтр по флагу и обрабатываю сейвы. Если это репортажная съемка, то правится экспозиция, уровни, добавляется микроконтраст и насыщенность. В сложных случаях — локальные правки градиентами и радиальными фильтрами.
Бэкапы делаю на холодные внешние диски. В планах наладить бэкап в облако и уйти наконец окончательно с лайтрума на Capture One.
Насчёт лайтрума… видимо, надо мне его ещё раз попробовать. Потому что сколько раз ни пробовал — ну не заходило никак. Да и они ещё зоопарк развели — Лайтрум классик, Лайтрум СС… Там мне не нравилась скорость работы (я вообще для сортировки использую крошечную утилиту Fileloupe), но ниже написали про режиме library/develop — возможно в этом у меня была проблема, надо перепроверить.
О чужих «облаках», разумеется, не может быть и речи.
Да, этот.
This software has been discontinued. Раз так, то можно и Picasa посоветовать.
Вот что не хватает в Picasa — возможности поглядеть облако тегов и показать все фотографии БЕЗ выбранного тега. Ну и ручная расстановка геометок иногда глючит. В остальном отличная программа. Перепробовал ещё кучу каких-то бесплатных и шароварных каталогизаторов, ничего больше не понравилось.
Спасибо.
Несколько вопросов к автору по процессу:
1) Вы единственное «лицо, принимающее решение» по отбраковке фото, по раскладыванию в регламентные локации? (поясню — у меня «логическим» администратором массива является жена; а я — системный администратор; ее задачи и методы непостижимы, мои — убоги и очевидны — все зарезервировать с удовлетворительной дискретностью, все синхронизировать в распределенных точках хранения);
2) Вы, ваша фототехника и смартфон — единственные источники поступления фото? (не присылают коллеги, знакомые — и присылаемое тоже нужно регламентно распределить по папкам? вопрос важен с той точки зрения, что поступления из других (не контролируемых) источников могут происходит с большой задержкой, и доупорядочивать массив фото/видео по конкретным событиям придется через полгода-год, что является дополнительной задачей само по себе, а так же ведет и к следующему вопросу);
3) Возможно пропустил в статье или не понял — есть ли у вас ежегодное «томирование» массивов файлов (фиксация по годам, или, возможно, периодам иной продолжительности)? То есть есть ли четкая дата «отсечки» — например, в 2018 году ясно что массив за 2016 год уже не будет меняться, и если задача синхронизации по прежнему актуальна, то архивные копии уже не требуется обновлять, а нужно только хранить? (ну и так далее — в 2019 зафиксируем массив за 2017 ....).
вот лежит на столе карта памяти — что на ней? Никогда не знаешь
И не нужно знать. Карта памяти — не для хранения фотографий. Добрался до компьютера — скинул фотографии. Если есть время на заполнение таблиц, то на копирование фотографий с карты в компьютер точно найдется.
С появлением iPhone пришлось сваливать вообще всё в одну папку, когда чистил память.
Но где-то уже год как пользуюсь Google Photo. Распознавание лиц, предметов, геотеги – всё это позволяет не париться об упорядочивании фотографий. Можно найти место, время и человека в считанные секунды. Собираюсь залить туда же все старые фотографии с мыльницы и iPhone.
При желании я всегда могу сохранить всё на свой носитель и это успокаивает.
Если отправляюсь в длительные поездки, то стараюсь взять с собой ноутбук, на котором можно просматривать фотографии.
Снимаю в RAW, вдумчивой обработкой занимаюсь только дома, за большим монитором.
Сразу после съёмки провожу первичный просмотр материала. Достаточно жёсткий! Неудачные по резкости и сильно неудачные по экспозиции сразу отправляются в корзину. Если просмотр показывает, что несколько фотоснимков одинаковы во всём (резкость, экспозиция, кадрирование), то оставляю только один из них. Если на одинаковых по резкости и экспозиции у фотографий немного разное кадрирование, то оставляю только ту, которая мне кажется интереснее или более обещающей. Могу при первичном отборе советоваться с другими, например, с теми, с кем отправился в поездку или с героями фотосессий.
Желаемый итог: чтобы не осталось более 3-4 фотографий с похожим сюжетом.
Далее, если возможно, фотоснимки «вылёживаются». Если это фотографии только для меня, то лежать так они могут до года (было и такое). Если для других, то срок зависит от пожеланий тех, кому они предназначены (от недели до пары месяцев).
По прошествии этого срока фотоснимки просматриваю ещё раз. Если при повторном просмотре кадр не вызывает особенного интереса с моей стороны, то он безжалостно удаляется. Таким образом, с фотосъёмки для обработки остаётся 25-30% фотографий, по 1-2 снимка на каждый фотосюжет.
Их обрабатываю вдумчиво, исходя из своих представлений о прекрасном.
По итогам обработки оставляю только JPEG, RAW удаляю по окончании. Если фотографии для кого-то, то отдаю только JPEG, никаких RAW.
Фотографии на компьютере разбиты по двум первичным папкам. «RAW» и «Фотографии». Внутри подпапки формата «ГГГГ.ММ.ДД — Название события».
Внутри папок в папке «RAW» могут быть служебные подпапки (с фотографиями с разной обработкой под панорамы, HDR, маски и слои в Photoshop и т.п.).
В папке «Фотографии» — итоговые JPEG. Из неё фотографии дополнительно удаляются крайне редко. Чаще происходит ещё один просмотр получившегося результата либо сразу после завершения обработки, либо после небольшого «вылёживания».
Подпапок с событиями в папке «Фотографии» уже много, теоретически, можно дополнительно разбить их по годам. Но это максимум, большего мне не требуется.
Копия итоговых фотографий периодически отправляется на домашний NAS, с меньшей периодичностью — на специально подключаемый внешний жёсткий диск.
А что касается хранения, их не надо сортировать. Достаточно просто скидывать ВСЕ файлы RAW в каталог для данной фотосъемки и все, можно про них забыть. В идеале можно еще XMP скинуть, но это опционально и может быть вредно (их придется актуализировать, что ломает идею с архивом). Неплохой идеей будет запись RAW на оптический диск, правда, DVD уже не отделаешься, да и хранить их где-то надо, и перезаписывать регулярно.
Я хранил RAW три года когда-то давно. Недавние хранились на компьютере, более ранние записывал на DVD.
Опыт показал, что я к ним практически не возвращался.
Поэтому пересмотрел подход и от хранения RAW отказался. Для домашнего архива и работы с ним (фотография на стену, фотоальбом и т.п.) хватает итоговой фотографии в JPEG.
Лично я вообще склоняюсь к тому, что с каждого события (поездка, фотосессия) надо делать какой-то одиночный конечный продукт. Одна, но лучшая, фотография, напечатанная в крупном формате. Фотокнига на 30-50 лучших фотографий, если это поездка. Такой формат, на мой взгляд, лучше отображает результат, нежели 300-500 фотографий, которые, скажем честно, мало кому интересны, кроме автора или запечатлённых лиц.
Проблема только в том, что разбор такого количества фоток, по крайней мере, у меня, занимает времени не меньше, чем сама поездка была, очень муторное занятие. Хотя результат, конечно, виден почти сразу — можно и в блог, и в инсту, и в отчет, и на стенку распечатать, и пересмотреть, и друзьям показать. Но все же уж очень тяжко и медленно процесс разбора идет…
Особенно это касается:«обработки спустя годы могут усовершенствоваться и дать новое качество старым картинкам»
Так же техника не стоит на месте, появляются HDR / OLED экраны которые способны показать больше чем может JPEG.
В 2004м например хорошая фотопечать стоила дорого, на сегодня она стоит значительно дешевле, и качество подросло, если бы я в 2004 удалял RAW и оставил JPG (проявленный с использованием старого TN монитора, с кривой цветопередачей) у меня были бы проблемы с печатью фотокниги в 2019.
Собственно, пример из практики:
Была идея сделать фотокнигу с определенными этапами жизни в подарок на годовщину свадьбы.
Начал смотреть старые фото, на новом 4K HDR мониторе и оказалось что параметры проявки RAW были мягко говоря странными. Хотя некоторые фото помню хорошо как обрабатывал и тогда на том мониторе они выглядели отлично.
Более того когда я на своем мониторе перепроявил RAW и отправил на пробную печать оказалось что цветопередача тоже не совсем такая как на мониторе.
И только после того как я загрузил профиль фотолабы в которой заказывал печать и посмотрел в LH режиме «Soft proof» я добился того что нужно.
Еще один плюс LH что он позволяет делать «виртуальные» копии фотографий с другими настройками проявки, т.е. те фото которые печатаю создаю как виртуальную копию с тэгом «Для печати».
Все эти изменения были бы невозможно если бы я оставил только JPG.
А что из бесплатного/свободного лучше использовать для поиска по лицам? Можно, конечно, и самому написать, но как-то не хочется изобретать велосипед.
Хотелось бы что-то бесплатное и десктопное. Увы, эти варианты не очень подходят. Мой андроидофон от Samsung тоже неплохо сортирует, но все фотографии в него просто не влезут.
В принципе, меня устраивала Picasa, но она не поддерживается. Пользовался какое-то время digiKam, но не хочется тянуть половину KDE из-за одной программы.
Если второе, обратите внимание на мой комментарий habr.com/ru/post/447144/#comment_19999152
Возможная адаптация описанной там методологии под Вашу потребность: для каждого «лица» создаём каталог, в нём — ссылки на фотографии, содержащие эти лица.
RAID 1 + бэкап на отдельный USB винт, все руки не доходят перенаправить бэкап от NAS на другой винт, подключенный к роутеру, чтобы хоть частично изолировать по питанию.
Ваша табличка доказала основную идею, к которой мы тоже пришли в результате споров и обсуждений — файловая система предназначена для хранения, а не для удобного извлечения файлов. Для извлечения нужен каталог. Кстати, как выяснилось, многие хранят этот каталог у себя в голове и у них вообще таких проблем не возникает ;) У них систематизированно хранилище и память настолько хорошая, что они просто помнят где в каких папках и что у них лежит, как книжки в домашнем шкафу ;)
RAID-массив на NAS Synology с предоставлением доступа друзьям и семье через бесплатный сервис DS-photo. Есть бесплатное домейное имя вида ####.myds.me или похожее, есть возможность разграничивать доступ разным пользователям к разным папкам, есть возможность взаимного бэкапа с другой Synology (что мы с другом и настроили), есть приложения для Android и iOS.
За это время успело сдохнуть несколько дисков, сдохла одна Synology, но фотоархив цел.
С недавних пор еще пользуюсь возможностью бесплатного неограниченного облака в amazon cloud (всем подписчикам amazon prime дают неограниченное пространство для хранения фотографий в облаке. На видео, это, к сожалению, не распространяется).
Структура каталога, после многочисленных метаний, пришла к виду Год-Месяц-Событие, как уже описывали выше. Как показывает практика, это самый универсальный способ сортировки, понятный в т.ч. людям далеким от IT. (Пример 2018\2018-12-NewYarParty)
Гео-теги как правило уже есть в exif, можно искать по ним (75% фото в последнее время идет с телефона, там геотэги ставятся по умолчанию, если специально не отключать. Большая часть оставшихся у меня идет с Canon 6D, там тоже есть встроенный GPS ставящий геотэги)
Лица можно распознать и проставить тэги людей, для Synology есть встроенный софт, но, честно говоря, потребности пока не возникало. Можно это сделать и вручную. Но состав участников довольно быстро и легко определяется событием, а кроме того, когда я добавляю папку в NAS и настраиваю доступ друзьям, это автоматически является отбором контента с их участием.
Еще можно проставлять произвольные тэги и присваивать фоткам рейтинг, но мне пока как-то не до этого. Может на пенсии займусь )
Кстати, забыл сказать, у ds-photo есть довольно приличная встроенная вэб-морда
Думал уже в современном мире все написано, оказывается нет.
Структура каталога, после многочисленных метаний, пришла к виду Год-Месяц-Событие, как уже описывали выше. Как показывает практика, это самый универсальный способ сортировки, понятный в т.ч. людям далеким от IT. (Пример 2018\2018-12-NewYarParty)
Аналогично. Однако, в событиях указываю дату срока действия, например «2018_07_12-08_03 Vacation». Проблемы могут быть только с переходом через год, но решается отнесением в каталог года по дате начала.
Также удобно архивировать.
1) Собрал сервачок на базе HP G6. Прикупил б/у железо, напихал туда 72 гига оперативки, взял 20 б/у 3ТБ хитачи. Вышло не очень дорого, и винты все как под копирку — видимо стояли где-то в сторедже, откуда их списали по нормативу выработки. 12 винтов воткнул в сервер, 7 положил «про запас» на случай выхода из строя, один воткнул в регистратор видеонаблюдения, где он уже месяцев 14 пашет 24х7 — т.е. ресурс у винтов ещё приличный.
2) Собрал из ДСП (заказал распил) специальный шумоизолирующий ящик с глушителем на входе и выходе, оклеил шумкой, поставил на колёсики. Внутрь воткнул 4 больших кулера для прогона воздуха через корпус. Верхняя часть ящика исполняет роль тумбочки около стола. Зимой сервер можно включать, если вдруг в квартире похолодало — приятное с полезным.
3) Установил на всё это богатство FreeNAS
4) Написал софтину, которая NTFS-сканером шерстит все мои локальные диски (лишние папки добавил в исключения), находит там медиа-файлы, вычисляет их хеш, достаёт метаданные для вычисления даты съёмки, складывает это в SQLite базу данных и копирует новые файлы на FreeNAS-сервер. То же самое для видеофайлов.
5) Lightroom настроил на сохранение всех параметров коррекции в xmp-файлы, и софтина автоматически переименовывает их и правит так, что они оказываются привязанными к скопированным RAW-ам, так что я по большому счёту могу свободно потерять Lightroom каталоги, но параметры правки останутся. С DNG-файлами ещё проще — параметры правки хранятся прямо внутри файлов.
Сервер включаю только для копирования новой порции данных, чтобы не работал вхолостую. Чуть позже планирую настроить синхронизацию с каким-нибудь облаком.
Ещё есть идея создания «облегчённого» хранилища с автоматической конверсией RAWов в 10-мегапиксельные JPG и выгрузка этого дела в гуглфото, но пока руки не дошли.


А для чего там столько оперативной памяти?
Пытался сходу найти статистику пожаров по таким серверам — не нашёл :)
S.M.A.R.T. снимал со всех 20 винчестеров, там почти как под копирку с небольшими отличиями. Судя по таблице отработали эти винчестеры чуть больше трёх лет, при этом почти не выключаясь — на счётчике был что-то около тридцати запусков, если память не изменяет. Попробую найти — возможно снимал скриншоты.
Только что проверил смарт в регистраторе видеонаблюдения — намотал 43 075 часов — чуть меньше пяти лет. Установил я его в январе прошлого года, так что на старте было 3-4 года наработки.
Обидно, что в интернетике почти любую фотку можно найти по словесному описанию, а у себя на компе — фиг.
— снимаю я или в RAW+JPEG, или только в JPEG.
— скриптиком раскидываю все файлы по каталогам YYYYMM/YYYYMMDD. Файлы в формате RAW идут в подкаталог RAW. Если у RAW нет парного джипега — он создается вызовом RawTherapee. Если у джипега нет парного RAW — в каталог RAW кладется копия джипега.
Получается простая структура, в которой все файлы раскиданы по датам съемки, а исходники лежат в подкаталогах RAW. Далее — если нужно — файлы обрабатываются или «проявляются» с использованием штатной программы от Никона (выравнивание заваленного горизонта, кадрирование, иногда — игрища с вытягиванием деталей в тенях). Если что, джипеги испортить не страшно, т.к. всегда есть исходник.
Далее, самописной утилиткой в основных каталогах (не RAW) создается файлик с описанием фоток. В описании — «ценность» фотографии (ценная, нормуль, вспомогательная, мусор) и пара нужных мне галочек (можно ли показать родителям, например). А еще к каждой фотографии идет место съемки (дома, на улице, в Турции и т.п.) и тема («день рожденья Васи», «дети катаются на горке»). Ну и плюс ко всему этому можно к каждой фотографии набить сколько угодно сопроводительного текста.
В пару к утилитке для описания фотографий идет утилитка для создания фотоальбомов. Тут все простенько: выбираем, какие темы должны попасть в альбом, расставляем галки (например, можно ли включать фотки, не предназначенные для родителей), выбираем, под какой носитель генерировать альбом (родителям удобнее альбомы на CD или DVD-болванках, но можно и что-нибудь другое выбрать). Далее утилитка генерирует альбом (статический HTML, безо всяких джаваскриптов). На странице фотки уменьшенные, чтобы болше влезло, но можно кликнуть и посмотреть полный оригинал. Альбом можно записать на болванку и отправить родителям. :)
Заметил, что у меня нет, например, проблемы, что
а) копятся фотографии на флешке
б) копятся необработанные снимки
Неважно, это двухнедельное путешествие, 12-часовая свадьба или 2-часовая фотосессия) — обычно в тот же или на следующий день после съёмки я их скидываю на компьютер (т.е. на флешке не бывает больше одной съёмки). А обрабатываю потом в течении недели-месяца, потому что так получается, что я по-умолчанию замотивирован это сделать, хотя мне часто и лень. Если это съёмка на заказ — то ждут заказчики, если из путешествия, то ждут друзья. Если съёмка большая, то ставлю себе задачу, например «отсмотреть/отобрать первые 500 фоток» на каждый день, и так за неделю делаю отбор, и потом «обработать первые 10 фоток», и примерно так же с обработкой. Пока работает.
По поводу хранения RAW — я всегда считал, что как минимум с важных событий (к которым периодически возвращаешься, например для меня и моих друзей — это многодневные горные походы) RAW хранить обязательно нужно. Затем я как-то автоматически пришёл к такому процессу, что после обработки фотографий сразу делаю несколько рендеров — обработанные и отобранные фотографии (самые лучшие, которые всем показываю, например 100 фотографий из 3000) — FullHD (теперь 4K) для выкладывания в Интернет, и в оригинальном разрешении для печати и отправки на фотоконкурсы. Ну ещё иногда из путешествий у нас необходимо отрендерить дополнительно по тематикам — например, пейзажи, портреты, групповые фото. И заметил, что с таким подходом хоть я и всегда хранил (и храню)
и RAW'ы, и каталоги Lightroom, я никогда в итоге к RAW'ам не возвращался. Если что-то просят отправят из походов 4-5-летней давности, я просто захожу в папку с мероприятием, сразу там нахожу папку «Jpeg-print», в которой 5 самых лучших фоток в большом разрешении, и их отправляю. С фотосессий или свадеб ни разу такого не было.
По поводу софта: чтобы быстрее отобрать фотки я использую PhotoMechanic, потому что он мгновенно в отличие от других RAW-просмотрщиков рендерит preview (есть ещё FastRawViewer), а потом уже отобранные фотки отправляю в Lightroom, рендерю там preview 1:1 и обрабатываю/доотбираю.
Ещё забавно, что раньше, когда денег было меньше, я мечтал о фототехнике и железе для NAS'а, сейчас деньги есть, есть неплохая фототехника, но почти перестал снимать — обидно ^^ Может поэтому я и обхожусь без таблицы, просто снимаю мало.
Да даже при уже отрендеренных превью!
Нет?
Также есть воркэраунд для ускорения работы в режиме Develop — рендерить Smart Previews и временно переименовать папку с равами в файловой системе. В таком случае, можно работать со Smart Previews почти также как с рав, но гораздо быстрее. После окончания работы достаточно переименовать папку с равами назад. Решение костыльное конечно, но в принципе мобильный воркфлоу с синхронизацией у лайтрума примерно также и выглядит. Возможно новая версия Lightroom CC (не Classic) примерно по такому же принципу работает, но я ее не ставил.

Иерархичные теги, много-пользовательский доступ для команд, доступ через веб-браузер, облачная и локальная установка, автоматическая запись тегов в XMP метаданные, автосканирование папок, пользовательские теги, куча всяких опций для фильтрации, каталогизации, экспорта, просмотра, учета,…
Локальная версия должна гуглиться — в публичном доступе только многопользовательская версия.
Аж тошно стало.
Да и на фотографа повелась! Ни на ученого с их интересными когнитивными возможностями, ни на инженера, ни на хирурга, а просто на фотографирующую машину выполняющую элементарщину.
Я несколько раз в год пересматриваю, не всё, разумеется, а что-то конкретное. Иногда нужно вспомнить, как выглядит какой-либо старый знакомый, которого давно не видел, иногда хочется сравнить какое-то место "тогда" и "сейчас". В целом, я сторонник точки зрения: лучше сохранить что-то ненужное, чем потом кусать локти, что удалил, так как 10 лет назад решил, что это никогда не пригодится — свои собственные фото-то в общем случае не скачаешь ещё раз из интернета, как какой-нибудь сериал или музыкальный альбом.
Через некоторое время скидываю на внешний HDD. Это уже как резервный носитель, используется мало — только если надо на ноут что-то по-быстрому перекинуть. Как правило, чаще его использую для просмотра фотографий, вошедших в фотокниги, которые делаю вместо фотоальбомов.
Флешки использую несколько штук маленьких (кажется, на 64 ГБ нет).
А у задачи хранения есть несколько слоёв.
1) Физическое хранение.
Весь мой фотоархив занимает порядка 1,7 терабайта. Мастер-копия хранится на двухтерабайтном SSD в домашнем компьютере. Понятия «хранится на флэшке» у меня нет — при первой возможности копируется на десктоп (ну или ноут, если я в дороге, с ноута на десктоп сливается по приезду домой).
Ежедневно делается копия папки с фотографиями на домашний сервер (с типа зеркалом на базу drivepool), плюс делается копия в облаке Onedrive (у них самые низкие цены, за 2000 рублей в год имею пять терабайт). В облако копирование идёт разными заданиями в бэкапилке (goodsync). 95% фотографий у меня не персональные, можно в открытом виде складывать. Совсем персональное либо вообще в облако не идёт, либо сперва шифруется.
По мере возможности ещё делается копия на внешнем диске. Возможность получается где-то раз в месяц — надо достать диск из шкафа, подключить и запустить задание копирования.
По хорошему нужно бы ещё одно место хранения, на провайдерской площадке у меня давно подготовлен на сервере диск под это дело, но всё руки не доходят.
2) Уровень файловой системы
На верхнем уровне папок — источник. Имена фотографов обычно.
Моё
Не моё
Не моё
Не моё
…
Уровнем ниже — темы. У всех более-менее одинаковые, могут быть персональные темы (к примеру «Собаки», каких-то тем может не быть.
Поездки
Повседневное
Семья
…
Дальше — года. Внутри года папки по дням. В папке могут быть отдельные фотосессии, если фотографии за день бьются по темам.
В итоге путь к файлу может выглядеть примерно так: Моё\Поездки\2018\2018-04-11 Берлин\Французский вокзал\P4110029.ORF
Фотографирую я на два фотоаппарата, обычно по очереди, но изредка беру с собой оба — тогда фотографии с них сваливаю в одну папку. Главное — чтобы время было синхронизировано, иначе потом приходится высчитывать разницу и корректировать дату съёмки.
Для фото с телефона есть отдельная папка на втором уровне, но при необходимости фотография может быть отправлена в тематическую папку.
3) Каталогизация
Поверх файловой системы живёт Лайтрум. Редактирование без изменения оригинала, массовое редактирование, теги, умные коллекции, назначение оценок файлам, экспорт и т.п. При необходимости поработать посерьёзней кнопка «редактировать в фотошопе».
Но, к сожалению, на этом уровне у меня всё не так хорошо, как хотелось бы — ленивый, часто теги забиваю только по минимуму или вообще не забиваю, потому в жизни больше полагаюсь на каталогизацию по папкам.
Храню на обычном двухтерабайтном HDD, а организую так:
Папка "YYYY-MM-DD <место> <пара слов о событии>", если это путешествие, то дата начала и конца.
Внутри лежат просто фотки, если есть равки, то они лежат в отдельной папке RAW, а то, что было обработано и выложено, или отдано, лежит в папке "out".
Оказалось, этого вполне достаточно.
— можно использовать оба для хранения фото и видео или один для бекапа;
— можно включить удаленный доступ или оставить возможность подключения только в локальной сети;
— можно добавить несколько пользователей у каждого будет собственный контент (при желании можно его шарить между пользователями);
— группирует фото и видео по разным параметрам (дата, локация, камера);
— распознает лица на фото;
— есть альбомы и т.п.
Короче говоря, как собственный гугл фото. Клиенты есть для android, ios, windows, macos (если попросить то и для linux соберут).
Полуфабрикаты в одноимённой папке с разбивкой по темам: «Семья», «Походы», «Работа» и проч. Внутри тем — разбивка по годам. Там хранятся PSDшки некоторые с номерами RAWов. И, наконец, выход — папка «Обработано» Внутри разбивка по событиям, внутри событий — по годам. Нумерация в формате «ггг-мм-дд чч: мм ####» — удобно переименовывать в ACDSee. Выбираешь формат «дата создания из EXIF + номер ПП».
Всё это хранится на домашнем сервере с 4-х Гб винтом. Периодически копируется на внешний жёсткий. А все jpeg копируются на всё, что есть в доме: телефоны, ноутбуки, планшеты.
NAS Synology один оригинальный, второй на базе тонкого клиента с подключенным хардом на 4гб.
У synology есть утилита DRIVE, так вот она, как ФБ умеет распознавать лица, остается только присвоить имя сгруппированным фоткам и по крайней мере по лицам найти все фотки не проблема.
А структура хранения, как у многих вложенные папки год-месяц-событие.
зы: раньше еще держал на зашифрованном разделе NASa, который синхронизировался с облаком. Получается вроде фотки и в облаке, а с другой стороны достаточно конфиденциально, в облаке в виде кракозябров видны.
Фотограф из меня на троечку с минусом. Два семинара от Сергея Белых. Фокус, кадрирование, золотое сечение и еще чего-то там. Фотошоп «ниасилил». Слишком сложно (скептическая улыбка). Мой потолок Fast Stone Image Viewer и PhotoBrush.
Формат хранения – множественные папки «ГГГГ-ММ-ДД пробел СОБЫТИЕ». До этого кстати самостоятельно многие доходят что «2009-09-01 Первое сентября» это и функционально по сортировочным признакам и информативно.
Начало хранения первых цифровых фото — 2003 год. С момента покупки Samsung Digimax 301s. С 2010 года Canon 550 плодит кучу RAW.
C января 2016 получил в наследство телефон дочери Huawei 4C. Дочка не смогла выбраться из лап нервного истощения на фоне учебы в мед. Университете и ушла к Создателю не успев отметить свое двадцатилетие. Мне достались ее ноут и планшет. Ни жена ни младшая дочь не смогли ими пользоваться. На всем этом были огромные залежи неструктурированных данных. Телефоном я и сам начал активно пользоваться как фотоаппаратом (у него прекрасная камера). В полный рост замаячила проблема синхронизации каталога DCIM с рабочим компом. Потом позже она тоже решена была удобным для меня способом.
Все фото лежали на отдельном от системы 3,5 WD 1Tb и имелась вторая копия на WD My Passport 1Tb а также копия на рабочий ноутбук. Синхронизация велась с помощью MS Sync Toy. Дубли удалялись через DupKiller. Объем личного архива 800 Гб.
В июне 2016 года произошло одно реперное событие. В здание моего офиса ночью ударила молния. Сгорел БП на «сервере» и от пробоя высокого импульса вылетели оба установленных в машине винта. Системный с линуксом и винт с данными. Архивы системного лежали на разделе винта с данными и наоборот копия офисной шелухи на раздел системника. Других копий не имелось. С помощью запасных винтов (их контроллеров) через 72 часа данные были вынуты и жись пошла своим чередом.
После всей этой невообразимой суеты, я сам чуть не отправился вслед за дочкой. Месяц барражировал по больничкам и врачам, которые убедили меня, что помирать в 39 лет рано. Раз так, надо начинать приводить все в порядок. И появилась неотступная мысль что рано или поздно я потеряю все. Живыми примерами стали моя двоюродная сестра и рабочий ноут. Осенью 16-го в деревне по схеме молния-блок питания-винт у сестры отлетел специально выделенный под фото винт. А чуток попозже посыпался по секторам Samsung ноутбука. И хотя данные я в обоих случаях вытащил, червь тревоги продолжал точить.
Пару месяцев рыл все, что есть доступного для малого офиса или нищей по бюджету некоммерческой организации. На Хабр тоже попадал… читателем.
И узнал я что есть ХОРОШО, и называется это «хорошо» — файловая система ZFS.
Из всех доступных на тот момент вариантов операционок c ZFSом я запал на дистрибутивы FreeNAS и OpenMediaVault.
На двух хостах виртуализации (дорос и до этого с целью отвязаться от конфигурации железа) запустил обе системы в тестовую эксплуатацию. Параллельно на отдельной машине из полудохлых-полуживых винтов создал тестовые же сборки дисков, для реального и живого понимания, что на самом деле будет когда посыпятся новые диски в пулах важных данных. Полуживые винты это те, что имеют сбои в секторах и остаются у меня от щедрых владельцев после замены. На ZFS такие винты ведут себя очень даже презентативно. Пулы данных регулярно рассыпаются и позволяют вживую отработать аварию.
Опыт эксплуатации ZFS ясно убедил меня, что минимальное количество дисков в пуле, которое позволяет мне спать спокойно равно ТРЕМ (для фотографий и личного хлама), и ПЯТЬ для рабочих данных. Данные безо всяких проблем вынимаются при отказе одного диска из трех, или двух из пяти. Сообщения об возникающих проблемах идут по электронной почте и отлично обрабатываются фильтрами по ключевому слову «error«.
Привлекательность ZFS для офиса для меня в том, что она хорошо защищает от дураков и диверсий. Девочка увольняясь, в сердцах удалившая содержимое папок «Секретарь» и «Общая» ничего не знала про ежечасное, ежесуточное, еженедельное и месячное снятие снимка с файловой системы. В отличии от объема этих папок в 100 Гб, объем снимка это лишь разница между предыдущим и текущим состоянием всех файлов. От 100Кб за час до 20Мб за неделю. Но доступны то все предыдущие состояния. И ведь спас дур-р-ру от 272 УК РФ. Доказуха у руководства была вся налицо и желание возбудиться тоже. Только состава преступления не оказалось. Покушение было, а состав не образовался.
По той же самой причине вирусам-шифровальщикам раздолья больше нет.
Для целей домашнего архива была собрана машинка на материнской плате GigaByte с размазанным на ней Целероном, корпусом Thermaltake Core V1 и тремя винтами TOSHIBA P300 1Tb. Операционка FreeNas нормально прижилась на 8Гб оперативки. После инициации файловой системы на трех террабайтниках получилось 1,75 Гб «Живого места». Систему посадил на старый, но живой ноутбучный винт 160Гб. Теперь страх потерять данные отошел в сторону, начались эксперименты.
Доступ к данным был логично организован по родному винде сетевому протоколу. Его нормально поддерживает и куча файловых менеджеров на Андройде. Теперь перестало быть необходимым кидать сделанное смартфоном фото через электронную почту. Просто копирование с телефона и такое же просто открытие этого файла с компа уже стало экономить нервные волокна. Но хотелось большего.
С помощью того же Хабра узнал про «облачные дела». В контейнере фринаса развернул стандартный плагин-контейнер OwnCloud дремучей версии. Там он сделан для полных чайников, но позволяет оценить всю прелесть этой технологии. Понравилось сильно! Логично был опробован и стандартный плагин с NextCloud. Контейнер со свежей версией Некста был собран вручную на более приспособленной для него базе данных Postgress.
Теперь осталось только развернуть сеть VPN с единой для всех устройств IP-адресацией.
Тут пришел на помощь Zerotier. Его прелесть в том, что будучи установленным на все смартфоны и ноутбуки, он однако, не требует выделенного IP адреса для сервера или арбитра этой сети. И при этом все устройства видят друг друга как будто бы они «на одном вайфае».
Теперь на смартфоне стало возможным подключить автозагрузку в облачную папку, и стало неважно теперь, где я – дома, на работе или в машине. Отщелкнутое ли фото, чек ли Сбербанка, файл ли диктофона: все они тут же едут в паку «Автозагрузка». При этом раз в сутки туда же автоматом уходит записная книга. Терять или ломать телефон стало в разы менее обидно.
Поскольку похвалиться «такой мандулой» (это не мат а рабоче-заводской транскрипт с ангицкого – madrel) было и есть перед кем, то стали поступать восхищенные запросы от друзей тире знакомых. Сначала фантазия ограничивала меня только вариантами электроники и корпусов. Например, популярным стал корпус Cooler Master Elite 130 black Mini-ITX. Но все чаще задавался вопрос: нельзя ли отказаться от дополнительного компьютера в доме??? Почему нельзя? Ведь рабочие сервера у меня таскают эти операционки в виртуализации. Всего то, что и надо было – добавить лишние 4Гб оперативки на хозяйский десктоп, да убедиться в номиналах блока питания. На виртуальную жись ушел единажды отлаженный образ OpenMediaVault & ZFS & NextCloud. FreeNas оказался как-то сильно прожорливей и тормознутей. Вот тебе и фря против линуха…
«Один настоящий фотограф» (с) спросил у меня: «как сделать этот твой сетевой диск так, чтоб он как флешка был». Смысл запроса – с сетевого диска не запускались какие-то утилитки под 10-кой (нет разрешения на доступ). Это раз. И второе – специфичная программка база данных фоток со всякими там тегами и комментариями наглухо не работала со смонтированным на любую букву сетевым ресурсом. Поставили ему TGT демон и подключили диск по ISCSI. Вуаля! Чел щаслив! Если по первой проблеме решение есть в настройках самбы, то как решить вторую проблему без ISCSI я не нашел. Ну да Бог с ним, и так все довольно таки ласково получилось.
Удобно если знаешь примерную дату сьемки, неудобно что нет категорий. Но т.к. дублирую все фото в Гугл Фото, по категориям можно посмотреть там.
Сортировка происходит по времени съемки (с точностью до секунд), а если секунды совпали — то по цифрам в оригинальном имени файла. Все камеры, что я когда-либо использовал, нумеруют файлы последовательно.
А не, вру… один раз была такая необходимость — при отборе фото для печати, когда их надо было скинуть в одну папку для передачи на печать. Но там чудом редко фото совпадали по номерам, и в этом случае дубли при копировании сразу же предлагалось переименовать, а потом всеравно прошелся автонумерацией исключительно для красоты.
Чтобы как то выделять события, достаю руками из /04 отдельные файлы, создаю в 2019 отдельно папку с событием. Получается что ключевые события не нужно искать по в каждой папке месяца.
Если приносят флешку, например принесли мне фотки на флешке с фотосессии, натравливаю все тот же скрипт, но чуть измененный. Он все так же переименовывает фотки и складывает в /2019/название_события_которое_я_забил_в_скрипт. Потом уже отдельно загружаю такое событие в гугл фото.
Это наверное далеко не самый лучший вариант хранения фоток, но мне так удобно.
Из минусов которые пока не могу для себя решить — что делать с кучей похожих снимков? По уму надо же сидеть выбирать, что оставить, а что нет, но лень… Второй существенный минус — гугл не дает выбрать скажем 2500 снимков и создать альбом. Приходится выбирать примерно 500-700, создавать альбом, потом так же частями добавлять снимки в альбом. Что за странные ограничения у них там?
Из минусов которые пока не могу для себя решить — что делать с кучей похожих снимков? По уму надо же сидеть выбирать, что оставить, а что нет, но лень
Если «жалко удалять», (а это и мой случай тоже) то гораздо проще усиливать энтропию хранения. Тем паче, что она легко отзывается на линейный прирост емкости. В условно неограниченном объеме свободного дискового пространства я могу себе позволить вложенные папки типа «1200x» «cuted» «watermarked» и наконец «best». Ну а что, пусть себе лежат — есть не просят. Диски для инициации или реплейса тоже лежат, своего часа ждут.
Постоянный каталог на ноутбуке порядка 30-40К фотогафий. Конфигурация — 2x1Tb SSD, 32Gb RAM. +50$ в месяц за полную подписку Adobe.
З.Ы. Фотографией не зарабатываю. Просто хобби.
Тут же куча сисадминов. К личным фоткам вполне подходит формула 3-2-1 — три копии данных, на двух видах носителей, одна копия в другом географическом месте.
Обычно воркфлоу при работе с фотографиями предусматривает следующие стадии:
1. Как можно быстрее скопировать фотографий с флешек на диск компьютера в рабочую папку. Сколько раз флешка ставилась в фотик и форматировалась без копирования фоток на комп )
2. Параллельно с этим копирование на диск 2 (на том же компьютере или в сети). Лайтрум и подобные программы позволяют делать копию прямо при импорте фото с флешек. Несколько раз меня это спасало, когда по ошибке удалял не то или вообще всё. Потом эту рабочую копию Б можно будет безболезненно подчистить.
3. Отбор, сортировка, обработка фото.
4. Выгрузка обработанных фото в постоянное место хранения. Файл фото в любом случае начинается с префикса YYMMDD.
5. Бэкап в облако. У меня настроен на папку выгрузки обработанных фото автоматически. Это же является шансом получить приятные бонусы гугл фото/эппл фото — напоминание о бывших событиях, поиск по изображениям, авто коллажи и видео-слайд-шоу (которые я бы сам никогда не стал бы делать).
6. Бэкап на NAS/ постоянно подключенный USB HDD. Обычно проходит по расписанию вечером раз в день.
7. Архивирование на изредка подключаемый USB HDD. Раз в месяц-два.
8. Совсем изредка отдельные фото распечатываю и кладу в альбом или развешиваю в рамках по квартире.
Структура папок у меня как и у многих выше:
«YYYY» -> «YYMMDD событие»
Делаю так на случай, если лайтрум или кэпчур уан подведут, чтобы у меня прозапас всё же была файловая структура фотопомойки. Каталоги этих программ так же бью по годам, чтобы они излишне не раздувались и не тормозили.
1. В процессе обработки делю на кучки в Darktable — как по дате, так и по теме. А зачастую еще и по уровню доступа. Т.е. поездка с друзьями на природу может быть разделена на то, что я выложу в паблик; то, что я выложу куда-то с доступом только участникам выезда (или, по согласованию с ними, каким-то еще общим друзьям); и то, что выкладываться в принципе не будет, но в архиве у меня останется.
2. Исходные raw вместе с .xmp, где вся обработка, складываю на архивный винт с именованием «YYYY/MM/YYYY.MM.DD[-DD] Title». Не переименовываю с часами-секундами, поскольку мне это еще ни разу не понадобилось.
И вот туда-то у меня натравлен digiKam с распознаванием лиц, вручную проставленными тегами (я ставлю место и мероприятие обычно) и всем прочим вкусным.
2.1 Туда же складываю TIFF/JPG/всёостальное, что пришлось обрабатывать не только в Darktable. Но этого гораздо меньше.
3. Что касается бэкапа… Я уже убедился, что оптические диски неудобны. Сейчас раздумываю над выбором отдельного NAS (возможно, географически разнесенного) или облачного хранилища. Не решил.
У меня данные хранятся в двух местах, Google Cloud Coldline и AWS Glacier (осторожно — очень дорого восстанавливать). В среднем получается где-то 1 цент за 1 ГБ. Есть и другие провайдеры. Можно и по SFTP и просто на внешний диск в папку.
Рав позволяет больше со светом играть, вытаскивая детали из засветов и теней.
JPEG с установленным 100% качеством ничем не хуже RAW. Единственное чем проигрывает...Это совершенно не так. Если Вы посмотрите на гистограмму RAW файла, то там есть области с полезной информацией слева (темные) и справа (светлые), которые после конвертации не попадут в 8битный джипег. Если объяснять на пальцах, то можно представить, что есть полоска с данными длинной 20см (это наш RAW файл). Из этого полоски мы вырезаем средние 10см, выбрасываем в мусорку (это наш JPG). Если потом окажется, что все полезные данные были по какой-то причине в левых 10см полоски, то после обрезания Вы их не сможете вернуть. А если у Вас есть оригинальная 20см полоска, то Вы просто вырезаете 10см не по середине, а в левой части полоски. Также могут быть случаи, когда полезные данные и слева и справа в «обрезаемых областях». Тогда в нашем случае можно сделать нарезку и совместить на итоговых 10см полоски кусочки из левой, центральной и правой части оригинала….
Кроме того если картинка в JPG, то это означает, что к фото уже применен баланс белого. Если в балансе белого ошибка, то любое исправление будет происходить с потерей данных. Утрируя, приведу пример. На матрице получился красный цвет RGB(255,0,0). Фотоаппарат ошибочно применил баланс белого и посчитал, что этот красный соответствует белому и сохранил цвет так RGB (0,0,0). Фотограф на компьютере видит ошибку в цветах JPG-фотографии из-за баланса белого и пытается исправить ее. Тыкает пипеткой в разные области, но из (0,0,0) получить цвет (255,0,0) уже невозможно. RAW-файлы не применяют баланс белого. Они только хранят значения настроек баланса белого, какие нужно будет применить при выводе на экран или конвертации в JPG.
Также при сохранении фото в JPG, кроме баланса белого к изображению применяется цветовой профиль, «кривая», шарпинг, шумодав и др. Кроме того RAW файл хранит данные, полученные непосредственно с матрицы. На матрице количество точек зеленого, красного, синего цветов не совпадает. При сохранении в JPG эти данные с нескольких точек матрицы смешиваются, чтобы получить одну точку изображения. Еще есть нюанс с обрезкой. Если обрезать исходник и сохранить в JPG, то обрезанную часть уже не вернешь. В RAW файлах обрезанная часть всегда сохраняется и в любой момент можно из горизонтального фото сделать вертикальное или квадратное итп.
Большая часть фото, даже у профессиональных фотографов требует какой-то обработки. Это может быть работа с экспозицией, пересветами, исправление баланса белого, корректировка цветов, обрезка, повороты и много другого. С некоторыми фото достаточно подвинуть за 30 секунд пару «ползунков», а с некоторыми приходится работать использовать чуть ли не все доступные инструменты коррекции. Если кто-то скажет, что у него по-умолчанию фото в джипег валяться в идеальном качестве, то возможно он просто предъявляет слишком низкие требования к результату. Часто новичкам кажется, что у них большая часть это шедевры. А по истечении 5-10лет работы с фотографией, выйдя на новые уровни и достигнув определенных результатов, те же самые люди свои новые фото считают далекими от идеала. Снимая фотографии, мы никогда заранее не знаем, на какой из них может быть запечатлён самый интересный, самый важный момент. А те фотографии, про которые мы думаем, что можем переснять завтра или через год, могут оказаться последними, на которых запечатлен какой-то человек… Желаю всем «ярких» кадров и советую использовать при съемке формат RAW.
Часто новичкам кажется, что у них большая часть это шедевры. А по истечении 5-10лет работы с фотографией, выйдя на новые уровни и достигнув определенных результатов, те же самые люди свои новые фото считают далекими от идеала.Не то слово! Всё порываюсь из старых часть переобработать (из того, что не jpg). Не уверен, правда, что сейчас лучше обработаю, но проблемы вижу :)
Если по технической части более-менее всё понятно (хотя и не сделано) — зеркалирование, дублирование, бэкапы, рейды…
По структуре хранения тоже +-. Но, как обычно, дьявол кроется в деталях.
Итак, что на входе: Некий архив фотографий, накопленный на мыльницы, старые телефоны, сканы, видео и т.д и т.п. Всё это дело прекратилось примерно в 2008-2010 году(переходный период), дальше есть фото только на телефон + архив «старые фото со старого телефона».
Фактически всё разложено по папкам Год\даты с описанием для старых фото и год\даты для всякого с экшн-камер, поездок и квадрокоптеров и папка «Camera» с телефона.
На данный момент это всё просто синхронизируется в яндекс-диск.
Проблемы (для меня): дополнительные семейные юзеры не могут лить фотки с телефона в мой яндекс диск. Только в свой. Кстати, на компьютере можно поставить несколько клиентов яндекс-диска? Кажется, нет.
Каждому свой «диск» — неудобно, геморройно. Куда жена бэкапит фотки — пока не знаю, наверное, в гугл драйв.
Хотелось бы общее облаком с настроенными правами там и т.д.
Способ отображения файлов для просмотра самый удобный считаю — а-ля гугл\яндкекс в виде хронологической ленты. Особенно если вести речь в масштабе десятков лет.
Именно этого хотелось бы и от мобильного\десктопного клиента: серверу хранения фоток «скармливаешь» все папки, которые имеются. Для просмотра — просто Лента всех фото, выстроенных в хронологическом порядке. Желательно иметь возможность видеть папку, которая даёт уже базовое понимание о событии. Имея доступ к такой ленте, включающей в себя все фотки, периодически можно было бы к ней обращаться и «чистить» авгиевы конюшни, выкидывая оттуда плохие, смазанные фото и т.д.
Удаление фото в проводнике\клиенте если бы перекидывало фото в специальную корзину (не виндовую) — тоже не помешало бы.
Для этого не помешал бы и анализатор некий + поиск дубликатов и т.д.
Распознавание лиц\контекста тоже очень хорошая фича, не помешало бы.
Мобильный клиент также здорово бы помог.
По поводу бэкапов, наверное было бы интересно: основное файло-хранилище + некое зеркало «один-к-одному». Внешний бэкап в виде шифрованных файлов, но с возможностью быстро их оттуда достать каким-то образом…
По-большому счёту на компьютере достаточно под фото каждому по папке «камера» + каждому по папке «мои фото» (где фото из различных источников) + общая папка типа «семья» (свадьба\семейные события и т.д.).
Но при включении «ленты» было бы хорошо видеть ВСЕ эти фото (согласно правам доступа) в одной ленте. Созданные альбомы (виртуальные папки) также чтобы присутствовали и на десктопе и на мобильных клиентах и т.д…
Другими словами, я бы не отказался от возможностей гугл-фото яндекс диска:
yandex.ru/blog/disk/v-diske-poyavilis-novye-umnye-albomy-i-tematicheskie-fotopodborki
Но только на своём локальном хранилище для всей семьи…
Лайтрум для каталогизации, не?
Протокола для виртуальных «каталогов» еще не придумали? Чтобы мои каталоги\альбомы созданные в acdsee потом мог «увидеть» и понять лайтрум\яндекс диск?..
Чем делать «зеркалом», чем зеркалировать?..
Как и чем делать зашифрованный бэкап?
Как я организовал хранение фотографий