Comments 118
Год/Год-Месяц-День (краткое описание)/Год-Месяц-День_Час-Минута-Секунда.ЖПГ
Дам сразу про-совет. Используйте Год/Месяц. По дням — слишком мелко. Создаете себе лишнюю работу по кликанью в папку каждый день.
Сейчас это может и не так важно, но через лет 10, когда память притупится — будете благодарны что раскидали по бОльшим временным промежуткам.
Ну и да, просто на каждый день я давно уже не тыкаю (ну кроме тех случаев когда хочется посмотреть конкретную памятную дату вроде дня рождения или нового года), но об этом уже в следующей статье.
Миллион в заголовке, это не фигурально их на самом деле миллион
А не проще научиться не фотографировать всё подряд и не захламлять память мусором?
Год/Год-Месяц-День (краткое описание)/Год-Месяц-День_Час-Минута-Секунда.
Так наоборот, например по дню очень легко определить что фотки были сделаны, скажем, на дне рождение, на новый год,8 марта и прочее и прочее...
И насчёт лет через десять… то что в колекции раскидано по конкретным событиям(а это и есть привязка к дня) упрощает поиск намного сильнее, ибо иначе вообще теряешься в этой коллекции...
У меня фотки раскладываются по дням, иногда объединяю соседние дни, иногда наоборот — внутри одного дня выделяю события:
- ~/photo
- 2020
- 01 (месяц)
- 01_new_year (тут событие выделено)
- 02 (папка создана автоматически и оставлена как есть)
- 03-04_miass (папка на многодневное событие)
- 05 (с подпапками для отдельных событий и мест)
- park
- home
- 01 (месяц)
- 2020
Память притупляется, но точность в один день — подходящая. Архиву больше 20 лет, из них почти 17 — с достаточно большим числом фотографий.
Я долго мучился в попытке создать для себя систему каталогов, которой мне было бы удобно пользоваться при поиске по фотками и картинкам, но в итоге пришёл к выводу, что её такой не существует. Рано или поздно ты не сможешь вспомнить, в какой папке лежит та конкретная фотография, которую ты ищещь Все таки не зря люди когда-то придумали картотека, карточка из которой это своего рода набор тегов ссылающиеся на определённую книгу, правда к сожалению файловые системы до сих пор очень в этом ограничены, несмотря на то, что внедрение подобного функционала действительно улучшило бы пользовательский опыт многих людей куда сильнее, чем очередные новые иконки.
Лайтрум импортируя с носителя раскладывает почти так. Еще можно тэги проставить. Но это для пособников пиратства
Уникальность имени файла не гарантируется точностью до секунд, потому что сравнительно современные фотоаппараты легко могут делать за секунду несколько кадров.
Для переименования рекомендую Jhead, как часть tool chain-а.
Я это написал, потому что вы об этом не сказали, а это, в общем, очевидная проблема. Jhead также умеет легко создавать минимальный EXIF для файлов, где его не было (у вас такие есть) и манипулировать датами создания файлов. Создание EXIF thumbnail также полезно — многие инструменты для просмотра фото умеют из показывать в списке, что ускоряет загрузку списка на порядки, если сравнивать с генерацией thumbnail-ов по ходу дела.
Да и проанализировать бы фото нейросетью для генерации облака тегов/меток т.к. часто ищешь «сам не знаешь что», но помнишь что точно фотографировал в каком-то году.
Для фотографий, у которых нет координат, можно в пару кликов привязать геометку на уровне города, например.
Мне очень нехватает Picasa, которая была бесплатной и умела записывать некоторые метаданные (например, о присутствующих на снимке людях) прямо в Exif исходных jpg. Каталог лайтрума хорош ровно до тех пор, пока ты остаёшься в лайтруме — это обратная сторона медали «неинвазивного» управления каталогом.
А Picasa была хороша, да.
Но вот только выяснилось, что с включенным GPS он аккумуляторы ест как не в себя. Причем даже когда фотоаппарат находится в выключенном состоянии, значок GPS мигает и аккум уходит (
В результате большую часть времени GPS находится в выключенном состоянии.
А что в помещении? Он умеет последнюю использовать?
Там еще UI совершенно бесчеловечный, руки бы за него оторвать, поэтому остается только тупо вынимать батарею (.
(Прошивка стоит последняя доступная на официальном сайте).
Что касается координат в помещении — проверил, вроде бы ставит. Во всяком случае в течение 10 минут после пропадания сигнала точно ставит.
Да и проанализировать бы фото нейросетью для генерации облака тегов/метокМожете что-то порекомендовать для решения подобной задачи?
Гуглится например такое, но я не пробовал:
You will need a lot of disk space and memory to try this project. 100 GB free space on disk or SSD with 32 GB of RAM are required for some scenarios. The default model can run with 70 GB disk space and 16 GB RAM.
Generate automatic keywords index from the picture files in a MyPhotoShare album using deep learning. It uses a neural network to recognize scenes into pictures and generate keywords from their content. Keywords are generated in the language specified.
Кстати, рекомендую.
Плюс много к Shotwell. Я хоть и сам тёртый линуксоед и консолефил, использую именно его для наведения порядка в фото. Очень удобная софтина!
А с импортом была идея одной кнопки (ну ок, двух) чтобы вообще не надо было думать и чтобы пользоваться мог не только я, но и дети. Вставил флешку, нажал кнопку и забыл.
Структура папок «по дате» теряет смысл со временем, а уж когда надо найти «все фоточки из Турции, где моя третья с дочь со вторым мужем», только каталогизаторы и спасают.
В Daminion достаточно быстро можно расставить теги, категории и прочее, а потом удобно искать по всему архиву.
![](https://habrastorage.org/webt/pk/l4/op/pkl4op72yoxp5wmmjk58zv7snms.png)
Чем раньше начнёте вести нормальный каталог, тем лучше, конечно. Я свой архив еле разгрёб, но поверьте, оно того стоит!
Про Daminion не слышал. Посмотрю. А он без рабочего стола работает? Есть возможность с ним через web-интрефес работать?
Если ещё и затронули автоматического бэкапирования(облако/ другой диск/комп в своих розысках то и об этом пишите.
В начале были бекапы на CD, потом на DVD, потом на внешние диски, потом я пришел к пониманию, что любой бекап который не делается автоматически, рано или поздно будет забыт. Поставил дома отдельный сервер настроил бекап туда.
Затем осознал, что если вдруг пожар/наводнение и т.д., то бекап, находящийся в той же квартире не спасет, да и интернет к тому времени разогнался, поэтому начал смотреть в сторону облачных сервисов, написал набор скриптов, который бекапил на >50 аккаунтов в яндексе (бекап, рестор, поиск и т.д.), но потом регистрировать новые аккаунты надоело, да и надежность низкая, могли любой аккаунт забанить в любой момент (да там была даже некторая отказоустойчивость с резервированием, потеря одного двух аккаунтов была бы не смертельной), но ручная работа с регистраций и контролем, да и вообще нарушение правил пользования сервисом не доставляли радости.
В итоге смирился с ежемесячной оплатой и пользуюсь www.crashplan.com, да у них есть свои закидоны и проблемы, поэтому не могу их однозначно порекомендовать, но в плане цены (10$ за анлим, что удобно. Туда все бекапится, не только фотки, 9 Tb уже там) и надежности (уже 6 лет с ними, да и восстанавливать уже приходилось) пока устраивает.
Большие объемы восстанавливать не приходилось, но в пределах нескольких десятоков гигабайт за несколько часов скачивается.
предлагают записать на жесткий диск и переслать
это кстати хорошая услуга, в случае тотального краха думаю, что именно так восстанавливать буду.
У меня с помощью Cobian Backup все копируется на WD MyBook Live стоящий в шкафу. Но сейчас что-то с home-NAS как-то не густо, а то что есть дорого :(
А вот я точно так же раскладываю фотографии. Только добавил ещё страну/город
Страна/Город/Год/Год-Месяц-День (краткое описание)/Год-Месяц-День_Час-Минута-Секунда.ЖПГ
При этом не пользуюсь программами, а раскидываю все руками раз в пару месяцев, при этом удаляя дубли, либо сделанные случайно или некачественные фотографии или ещё какой-нибудь мусор, типа скриншотов экрана телефона, автоматически загружаемых в Nextcloud.
Да, для хранения и синхронизации фотографий с телефонов поставил на домашний сервер Nextcloud.
- детектит подключение флешки или камеры к ПК
- даёт возможность разметить папки в нужном месте, причём сама запоминает крайнюю сессию
- автоматически переименовывает файлы в любом формате, а ещё позволяет добавлять уникальный счётчик кадров, очень крутая фишка, особенно если у тебя флешка UHS3 и есть возможность прожимать серию кадров от души
- имеет классную визуализацию процесса импорта как прогрессбарами, так и превью
- после импорта автоматически очищает флешку/камеру, если ты попросил ПО это сделать
И всё это бесплатно работает из коробки с любыми носителями и даже камерами не от Nikon. Не надо морочить себе и людям железы на очередным на коленке написанным софтом, который не будет иметь поддержки.
А, во-вторых, надо отучиться бездумно снимать всё подряд. Я занимаюсь авиафотографией и мне прямо физически больно от кучи говна, которая сама собою получается в работе. Живой пример: после МАКС-2017 у меня было 65 Гб равок, а после МАКС-2019 — 12.7 Гб. Крайний МАКС я чистил даже сидя в поле от дублей и лажи, а 2017-й до сих пор рука не подымается разобрать. За несколько лет собственной эволюции я пришёл к тому, что снимать всё подряд — бездарно, за осознание чего сам себе бесконечно благодарен. И износ оборудования ощутимо ниже, и потом по приходу домой нет демотивации от мегатонн мусора в папке RAW.
P.S. Сам сослался на Nikon Transfer и сам перестал его использовать, мда. Но тому есть вполне себе причина: несколько девайсов для импорта за один раз. Начинает сбиваться тонкая душевная организация папки с исходниками, это начинает из раза в раза бесить, после чего всё равно возвращаешься к истокам: драг-н-дроп руками в уже на автомате размечаемые папки, а потом не трогаешь фотки ещё по полгода. Все там будем))
А, во-вторых, надо отучиться бездумно снимать всё подряд.
Истина! Вот на 100% согласен. Сам уже не так много фоткаю, вот только убедить в этом жену и детей пока не получилось.
Так что я тут больше заложник ситуации, на меня сыпется поток данных в объеме 32-64 Gb в месяц (поездки не берем, оттуда можно и полтеррабайта за пару недель привезти) и я пытаюсь это хоть как-то в этом не утонуть.
Офигеть, я думал у меня жена много снимает… (примерно 50 Gb в год)
habr.com/ru/post/537684/#comment_22561960
во-вторых, исключала какие-либо дубликаты имен, что удобно и при последующей обработке и при передаче фотографий кому бы то ни было.В процессе ручного разгребания почти 20-летнего архива обнаружил несколько фоток, сделанных за одну секунду, так что имеет смысл добавить опциональные счётчик или миллисекунды. Для себя я решил ещё проще: не переименовывать сами файлы, а только сортировать — потом меньше мороки с вливанием фоток в общий архив с очередного старого диска.
Тоже куча фотографий за 20 лет. Храню в папках yyyy.mm.dd_описание. Вручную файлы раскладываю.
Если дату события не помню, то ищу по тегам, которые подробно прописываю. И вот тут есть ряд хотелок. Например, Гугл фото умеет определять, что находится на фото. Но почему-то нет программы, которая делает тоже самое и теги проставляет автоматически...
А готовые сервисы не подходят?
Кстати, подумайте о таком моменте. Как бы не просто так у нас у всех в телефонах фотографии хранятся в виде структуры — лента. По сути, ваша иерархия и есть лента т.к. она отсортирована по годам.
В вашем случае папки нужны для того, чтобы вам, как человеку, было легче найти нужный файл по дате, но именно для задачи хранения они не необходимы. То есть функция, которую они выполняют должна скорее относиться к «интерфейсу», а не системе хранения. В гугл фото, например, нет папок т.к. интерфейс берет на себя функцию, помогающую человеку найти фото быстро.
Я очень рад, что однажды пересилил себя и перешел на гугл фотос. И сейчас понимаю, что те причины, которые останавливали тогда — это скорее мозг противился чему-то новому. Сейчас мне концепция очень нравится. Жаль только сервис перейдет на платную основу в скором времени.
1 Лирическое отступление
Когда я учился фотографии, еще в советское время, мой Учитель сказал нам, тогдашним пацанам, фразу какого-то гранда мировой фотографии: «хороший фотограф должен уметь снимать, а настоящий фотограф должен уметь не снимать».
То есть ты при съемке должен понимать, что будет на выходе и весь мусор и информационный шум должен фильтровать ДО съемки а не после. Пленка в этом плане сильно дисциплинирует, но далеко не все через пленку прошли.
2 Платформа
Средство переименования, редактирования, проявки RAW и т.п. — очевидно может быть на любой платформе, какая больше нравится (win\linux\mac\...). Но вот система хранения и каталогизатор должны предусматривать просмотр с любой платформы. Это конечно мои тараканы, но судя по обсуждениям в теме, внезапный переезд хранилища с условной винды на условный линукс, под который не существует порта моего_любимого_каталогизатора — ситуация типовая.
3 Собственно личный опыт
- Рабочий комп под виндой, на который скидываются исходники с фотоаппаратов, телефонов, присланные жене в WhatsApp фоточки, затем идет проявка RAW, сортировка, кадрирование, «горизонт завален» и т.п.
- Основное хранилище — headless сервер под debian, бэкапы отдельная тема.
- Доступ к серверу организован по DLNA (телек) и через самбу (другие компы, планшеты, телефоны и т.п.)
- Каталогизация только по именам в файловой системе (см. выше про потребители по DLNA, Android ...)
- Первый уровень каталогизации — имена каталогов, по годам, формат просто «ГГГГ»
- Внутри годов все фото лежат общей кучей (смотрим лирическое отступление), кроме каталогов второго уровня
- Второй уровень — каталоги со значимыми событиями со значимым (десятки-сотни) количеством фотографий. Каталоги со значимыми события имеют формат «ГГГГ_ММ_Описание_события», например в каталоге «2021» лежит подкаталог «2020_01 Северный полюс с блэкджеком»
- Переименование файлов делаю с автоматизацией в Total Commander через плагин EXIF, имя выставлено в формате «ГГГГ_ММ_ДД_ЧЧММСС». Все телефоны и тем более фотоаппараты давно умеют в EXIF, а пленочные сканы уже давно обработаны, там конечно только вручную было. Дубликаты имен с одной секундой — крайне редкое исключение из правил, изменяю руками
Результат
Платформонезависимое хранилице, количество файлов внутри года измеряется несколькими сотнями, значимые события легко ищутся, хранилище совершенно не зависит от платформы.
Соответственно в разрезе топикстартера надо бы призадуматься, действительно ли надо каталогизировать миллионы фото? Может просто удалить шум? Ведь просмотреть миллионы фото невозможно чисто физически, простая арифметика: 1 000 000 фото * 5 секунд на просмотр одного = 57 суток непрерывного просмотра
По поводу объема (уже выше в ветке отвечал, но повторюсь) основной генератор контента не я.
Были и не однократно разговоры с домочадцами, что надо разбирать (и они даже делают это по мере сил). Но в какой-то момент я устал бороться и решил проблему как смог. Тут надо понять, что это больше архив жизни, фото дневник, нежели фотография как искусство.
По поводу просмотра. Основные сценарии использования посмотреть за семейным мероприятием:
- что было год/два/десять назад
- как отмечали День рождения/Новый год тогда-то
- как съездили туда-то
Ну а после внедрения системы распознавания (об это следующая статья) теперь еще доступны:
- а когда и где мы тусли с тем-то (с гостями отлично заходит)
- где фотки того или иного человека
- поиск совместных фотографий
>> основной генератор контента не я
но выкладываете в хранилище-то Вы? Мне кажется, что давать права доступа на запись в семейное фотохранилище всем домочадцам — это путь к его уничтожению (мы же тут не про восстановление из бэкапов)
>> основные сценарии использования посмотреть за семейным мероприятием
именно так!
и если формат просмотра просто «что было два года назад», то запускаем просмотр папки «2018», а если формат «свадьба Маши», то запускаем «2018\2018_04 свадьба Маши»
Будет очень интересно почитать про ИИ, поскольку то, о чем я написал никак не противоречит каталогизатору\просмотровщику на локальной машине.
Ведь все метаданные хранятся в EXIF дополнительно, а не вместо каталога по годам\событиям.
но выкладываете в хранилище-то Вы? Мне кажется, что давать права доступа на запись в семейное фотохранилище всем домочадцам — это путь к его уничтожению (мы же тут не про восстановление из бэкапов)
У нас с ними разные взгляды, на то что есть хорошая фотография. (Для меня это резкая, все смотрят куда надо, никто не закрыл глаза и т.д. А жена человек творческий иной раз что-то мыльное и не резкое ей нравится, своя атмосфера и т.д.). Пару раз на эту тему поругались и решили, что удалять может только то, кто фотографировал.
Так что доступ у всех (но бекапы есть и историей изменений). Более того, такая система как раз и была задумана чтобы они сами могли туда класть фотографии, так как иначе они начинали создавать хаос. А так хоть в иерархии есть порядок.
информационный шум должен фильтровать ДО съемки а не после
Проблема в том, что критерии «что считать шумом, а что нет» не только разные у разных людей, но даже у одного человека могут меняться со временем.
Я вот сейчас на свой архив пленок, отснятых в детстве-юности (80-е годы) гляжу с некоторым сожалением — многие вещи остались незафиксированными, которые сейчас хотелось бы освежить в памяти, а то воспоминания несколько путаются уже. При этом зачастую аж полплёнки — какая-то ерунда с точки зрения меня нынешнего, но тогда оно казалось интересным.
Ну да, была когда-то плёнка — тогда на месячный поход брал аж две плёнки по 36 кадров. Но сейчас всё равно испарилась та дисциплина.
А что насчет photoprism? Пробовал поставить и автоматическая сортировка, и есть веб интерфейс с загрузкой, и еще ml от гугла который сортирует фотографии. Даже карта с раскиданными фотографиями по ней.
Как-то давно от кучи софта пришёл к ручному переносу фотографий на самба сервер и ручной сортировке — это позволяет меньше хранить: только то, что реально нужно, а когда снимаю думать больше. Перенесённые на сервер и отобранные фото дальше просто переименываю всей кучей софтом типа «Advanced Renamer» на винде или «A Better Finder Rename» на маке, остальное удаляю безжалостно. Структура имени готовых фото простая «Год-Месяц-День_Час-Минута-Секунда_Оригинальное_имя_файла». Оригинальное имя что-то вроде IMG_9483, то есть потом имя выглядит как «2021-01-01_14-23-12_IMG_9483». Так точно не прогадаешь и не надо с дублями голову ломать, так как за одну секунду может и 5 файлов быть. Всё автоматизировано в виде пресетов для вышеперечисленного софта. Если появляется новая камера/смартфон просто редактирую пресет под этот девайс и всё.
Кстати советую вести два архива фотографий: один где всё подряд, а другой с отобранными изображениями, его скорее всего Вы и будете потом пересматривать неоднократно. За 15 лет занимаясь цифровой фотографией и снимая в большинстве своём семейные фото мне ни разу не понадобилось и я даже открывать не хочу винты с исходниками и несортированными фото. Есть альбом с лучшими изображениями в оригинальном разрешении и этого достаточно. Раньше обрабатывал чего-то, а с появлением хороших джипегов и алгоритмической обработки на смартфонах вообще ничего не обрабатываю — нет на это времени и желания. При тех деньгах, что тратятся на технику она должна сразу же выдавать то, что можно убрать в архив. А нет, ну и не надо, у родителей чб фото были и смазанные и каких только не было — их все пересматривают и наслаждаются содержанием.
ССЫЛКА — это список веб тулсов для галерей.github.com/awesome-selfhosted/awesome-selfhosted#photo-and-video-galleries
Использую такую структуру. Папки по годам (пока у нас 4 знака, это логично). Далее в корне каждой папки картинки на самые разные темы. Как правило, они получены случайно мимоходом. Также есть тематические каталоги формада «ГГГГ_ММ_ДД <Наименование>». Если событие занимает продолжительное время, тогда ставится тире в разряде, где произошло приращение, например «2017_02_22-03_11 Мое Важное Событие» — это значит оно длилось с 22.02.2017 по 11.03.2017. Изредка бывает, что события пересекается, тогда рядом просто создается папочка с теми же правилами.
Внутри каждой папочки лежат файлики. Именуются как NNNNNNNN.jpg, NNNNNNNN — порядковый номер. Номера с дырками (промежуток рандомый) для красоты и удобства (иногда хочется пересортировать рядом стоящие картинки). Имитирует целочисленный ключ в БД. Для переименования файлов написал специальную программу, чтобы не зависеть от инструментов. Но можно чем угодно. У картинок удаляется EXIF. Сознательно. Чтобы картинка рассматривалась как картинка. Я умру от бессилия, если мне понадобится когда-то использовать EXIF, поэтому нет. Исходники хранятся отдельно, теоретически, они когда-то пригодятся. Недавно такой случай был. Пришлось переобработать около 1000 фоток из отпуска. По какой-то причине я их много лет назад сделал очень плохо, и решил, что так быть не должно. Потратил неделю каждодневных мучений, обработал. В принципе если это делать регулярно и качественно, то далее проблем быть не должно. Сохраняем в JPG с 95..100% сжатием и храним как аналог распечатки. Надо будет — можно распечатать. Очень сильно надо — поискать исходник. Связь с исходником по имени сознательно теряется, чтобы не заниматься этой хренью.
В таком виде картинки становятся именно архивом. Их приятно поднять и посмотреть, вспомнить. Последнее время стараюсь снимать меньше и самое главное, чтоб потом не обрабатывать это все. Тогда это приносит кайф. У вас каждое фото должно быть как самостоятельная единица, несущая какую-то ценную информацию о вас или об окружающем мире, который был вокруг вас. Иначе в них нет смысла. А той информации не так много, в общем-то. За 16 лет накоплено 19821 файл в 172 папках. Каждая фоточка была обработана в фотошопе вручную. На каждую тратится в среднем 1-2 минуты в полном цикле. Сырого материала как минимум в 2 раза больше (раньше из жадности удалял меньше). Трудозатраты огромные, но и на результат не стыдно смотреть.
5000 фоток в месяц это зашквар. Абсолютно нет смысла. Если вам хочется запечатлевать моменты, делайте видеоролики. Это еще более сложный, но увлекательный процесс. Монтируйте в мини-фильмы, и ваша Алиса будет там куда более полно запечатлена, чем на тысячах однотипных фоток. А самое главное, это можно будет смотреть. А еще там есть звук. Сейчас видео это самая тема для такого. Фото хорош подходит для тех моментов, где нужно именно неподвижное изображение высокого качества, ну или лень возиться с видео.
5000 фоток в месяц это зашквар. Абсолютно нет смысла. Если вам хочется запечатлевать моменты, делайте видеоролики. Это еще более сложный, но увлекательный процесс. Монтируйте в мини-фильмы, и ваша Алиса будет там куда более полно запечатлена, чем на тысячах однотипных фоток. А самое главное, это можно будет смотреть. А еще там есть звук. Сейчас видео это самая тема для такого. Фото хорош подходит для тех моментов, где нужно именно неподвижное изображение высокого качества, ну или лень возиться с видео.
5000 это и видео и фото, но на монтаж увы времени нет. Да в будущем тоже, наверное, не будет, но думаю что будет все более качественный ИИ. Тот же гугл фото, например, уже не плохо без участия человека составляет памятные ролики, дальше будет лучше. Не вижу никаких технических проблем даже на базе текущего уровня ИИ сделать систему которая сможет создать ролик по запросу типа «памятные моменты Алисы с бабушкой». Так что пока моя задача сохранить мой семейный big data.
Тоже решил в этом году заняться разбором фотоархива и написал под него веб-интерфейс — минималистичный, но с полной адаптацией под мобилы.
Проект открыт и бесплатен, возможно кому-то пригодится:
https://github.com/impworks/isotope
Распознавание лиц хотел прикрутить, но пока не успел, поэтому с удовольствием почитаю следующую часть!
Хотя возможно на этот вопрос ответит 2-ая часть? Тогда с удовольствием прочитаю.
А еще можно было купить мак и кайфовать с его приложением фото, которое постоянно как и система. С легким интерфейсом для жены и детей
Не прошло и два года, как дошли руки допилить установку через pypi
https://pypi.org/project/photo-importer/1.2.0/
Заодно появилась поддержка Windows и MacOS и всякие другие мелкие улучшения.
Миллион домашних фотографий: наводим порядок