Pull to refresh

Comments 118

Год/Год-Месяц-День (краткое описание)/Год-Месяц-День_Час-Минута-Секунда.ЖПГ


Дам сразу про-совет. Используйте Год/Месяц. По дням — слишком мелко. Создаете себе лишнюю работу по кликанью в папку каждый день.

Сейчас это может и не так важно, но через лет 10, когда память притупится — будете благодарны что раскидали по бОльшим временным промежуткам.
Спасибо за совет, но это все же зависит от количества фотографий. Миллион в заголовке, это не фигурально их на самом деле миллион (если точнее миллион был пройден уже пару лет назад), ну а сам описанный период это около 16 лет. Простой расчет показывает, это >5000 фотографий в месяц. Так что мне удобнее по дням, но в настройках скрипта можно и по месяцу выставить.

Ну и да, просто на каждый день я давно уже не тыкаю (ну кроме тех случаев когда хочется посмотреть конкретную памятную дату вроде дня рождения или нового года), но об этом уже в следующей статье.
Я уже проходил этот этап. Заполнял метаинформацию, каталогизировал. Знаете, в чём прикол? Уже лет пять туда никто не заглядывает, и я в том числе. Ну т.е. по инерции мы там всякие события и сейчас фотографируем, но уже каталогом не заморачиваемся, и жизнь фотографий сразу после того, как их отправили бабушкам/дедушкам/тётушкам/подругам заканчивается, как и когда-то давно — в папке с названием «год, месяц, событие». А все потребности «глянуть, как там дитё росло» с лихвой закрываются гуглофоточками на телефоне, благо, эта гадость со своей нейросеткой сама удачно угадывает, что бы подсунуть для воспоминаний. Более того, у меня как-то винт посыпался с фотками. Думаете, кто-то заметил потери?
я на детские дни рождения на телеке включаю слайдшоу за последние 3-4 года — всем нравится
Вот это как раз одна из штук, которые автоматически делают гуглофоточки :)
У гуглфоточек есть один огромный недостаток: данные пользователю не принадлежат. Гугл вполне себе может в один момент заблокировать доступ ко всему аккаунту.
Ну заблокирует, пусть блокирует, локальные копии-то никуда не денутся.
Да, и еще они скоро всем порежут бесконечное кол-во фоток, в обычном качестве. Плати или остаешься без добавления новых фоток.
Они вам пригодятся лет так через 20-30-40
Лет через 40 мне пригодится только одна из них, и то, её выбирать будут мои дети, а не я.
Я думаю ваши детям и внука будет очень интересно посмотреть как жил их отец/дед, где жили, как одевались и т.д.
Вы-то сами часто листаете бабушкин/дедушкин альбом, с фотографиями людей, подавляющее большинство которых вы никогда в жизни и не знали? Вот то-то и оно. Думаю, сотни фотографий о моей жизни им хватит, папку на двести гигабайт картинок они уж точно разгребать не станут, благо, такие же папки будут у них самих.

Лично мне очень интересно смотреть старые фотки где есть знакомые места или знакомые люди

Может быть в будущем смогут так обработать массив старых фото и видео, что возможно будет совершать виртуальные путешествия в прошлое. По типу PastVu.com
Внезапно нет. Тоже заполняю метаинформацию и периодически возникает необходимость достать горсть фоток по ключевым словам или координатам. Да, гугл загружает фото, но он у рав файлов эта метаинформация отсутствует, а нейросетка гугла выдаёт поиском лютый бред.
Миллион в заголовке, это не фигурально их на самом деле миллион

А не проще научиться не фотографировать всё подряд и не захламлять память мусором?
Почему фотографирование всего подряд это так плохо? Я так тоже делаю и не вижу проблем.
Ведь «захламляется» у меня, а не у других. Какая им разница на что я использую свободное место?
Хотел спросить по поводу видеороликов. Такой же принцип структур папок и именований?
Год/Год-Месяц-День (краткое описание)/Год-Месяц-День_Час-Минута-Секунда.

Да видео ролики и аудиозаписи (их тоже много) точно также.

Так наоборот, например по дню очень легко определить что фотки были сделаны, скажем, на дне рождение, на новый год,8 марта и прочее и прочее...


И насчёт лет через десять… то что в колекции раскидано по конкретным событиям(а это и есть привязка к дня) упрощает поиск намного сильнее, ибо иначе вообще теряешься в этой коллекции...

Так тогда лучше как раз события выделять в отдельные папки с названием события, все остальное проще по месяцам хранить. Потому что дни забываются, а месяц проще вспомнить когда было то или иное событие через несколько лет.

У меня фотки раскладываются по дням, иногда объединяю соседние дни, иногда наоборот — внутри одного дня выделяю события:


  • ~/photo
    • 2020
      • 01 (месяц)
        • 01_new_year (тут событие выделено)
        • 02 (папка создана автоматически и оставлена как есть)
        • 03-04_miass (папка на многодневное событие)
        • 05 (с подпапками для отдельных событий и мест)
          • park
          • home

Память притупляется, но точность в один день — подходящая. Архиву больше 20 лет, из них почти 17 — с достаточно большим числом фотографий.

Я долго мучился в попытке создать для себя систему каталогов, которой мне было бы удобно пользоваться при поиске по фотками и картинкам, но в итоге пришёл к выводу, что её такой не существует. Рано или поздно ты не сможешь вспомнить, в какой папке лежит та конкретная фотография, которую ты ищещь Все таки не зря люди когда-то придумали картотека, карточка из которой это своего рода набор тегов ссылающиеся на определённую книгу, правда к сожалению файловые системы до сих пор очень в этом ограничены, несмотря на то, что внедрение подобного функционала действительно улучшило бы пользовательский опыт многих людей куда сильнее, чем очередные новые иконки.

Тегирование для бытовых фоток удобно, но теги надо проставлять вручную. Геопозицию и дату можно дёрнуть из метаданных, распознать лица автоматом тоже, а вот событие/активность пока приходится ставить руками.

Лайтрум импортируя с носителя раскладывает почти так. Еще можно тэги проставить. Но это для пособников пиратства

Лайтрум стоит 10 долларов в месяц, если есть необходимость работать с фото больше одного раза в месяц (ну или просто не жалко) то можно и раскошелится
ПРимерно так же, как и ЛайтРум, может раскидать фотографии встроенный в винду импортёр.

В лайтруме есть возможность тегирования и проставления меток, автоматического определения лиц и создания динамических папок.
Если фотографий действительно много (как у автора, до 5000 в месяц), то тут уже одной только файловой системой не обойдёшься, нужно использовать каталогизатор.
Есть альтернатива в виде darktable.

Она долгое время была очень глючной и просто сыпалась. Последний раз мучал себя ей, лет 5 назад, под линукс. Сейчас стабильнее? стоит ещё попробовать?

У меня работала нормально и на Windows на двух компьютерах, вопрос в том, что только для каталогизации ее использовать нецелеообразно, а как проявщик RAW она на любителя. Для меня альтернативой стала RawTherapie.

Спасибо гляну на RawTherapie

Это если с ним уметь и главное хотеть работать. Он громоздкий очень стал.

Уникальность имени файла не гарантируется точностью до секунд, потому что сравнительно современные фотоаппараты легко могут делать за секунду несколько кадров.
Для переименования рекомендую Jhead, как часть tool chain-а.

Про Jhead не знал. Посмотрю. По поводу нескольких кадров в секунду. Если такое случается, моя система добавляет индекс в конце, но поскольку это нужно редко, то по-умолчанию он не ставится, чтобы не перегружать имя.

Я это написал, потому что вы об этом не сказали, а это, в общем, очевидная проблема. Jhead также умеет легко создавать минимальный EXIF для файлов, где его не было (у вас такие есть) и манипулировать датами создания файлов. Создание EXIF thumbnail также полезно — многие инструменты для просмотра фото умеют из показывать в списке, что ускоряет загрузку списка на порядки, если сравнивать с генерацией thumbnail-ов по ходу дела.

UFO just landed and posted this here
Для питона можно взять модель распознования лиц на фотографиях и попробовать разбить по тому кто на них находится.

Да именно об этом вторая статья ;)
Спойлер, это далеко не так просто как кажется на первый взгляд.
Ждём вторую часть. По первой я лично перешёл к системе такой: год, в папке лежат подпапки, с названиями типа «Алиса есть. Январь» (то есть и месяц есть и о чем фотки), по датам уже не делаю(старые архивы так сделаны и теперь фиг поймёшь где что — только брутфорс), а вообще согласен, что оптимальной системы нет, все равно все забывается и через год-два кажется неудобным
Попытки разложить в иерархию закончились ещё на уровне сортировки обоев для рабочего стола (по разрешению, тёмные светлые и т.п.). Подходят только метки, которые уже можно как-то иерархически структурировать и фильтры по ним. На уровне файловой системы это умеет BeOS. Но если брать не теорию, а практику, то хранилище будет на NAS, поэтому реально подходят только решения, которые будут поддерживаться NAS Synology, QNAP, FreeNAS.
С обоями же можно проще делать, например, просто свалить из в одно место и скормить менялке через интервал, минут 10-15, например.
Какая-нибудь структуризация всё-же нужна. Если не следовать примеру учителя, то будет больно поздним вечером увидеть 24(27,32)-дюймовый прямоугольник яркого света.
Было бы интереснее прикрутить карту для фото с GPS.
Да и проанализировать бы фото нейросетью для генерации облака тегов/меток т.к. часто ищешь «сам не знаешь что», но помнишь что точно фотографировал в каком-то году.
Карта с фото это первое, что у мне захотелось привинтить и даже были прототипы (я с электронными картами как разработчик имею дело с 2000 года). Все уперлось в проблему отсутствия координат на 99% фоток. Во-первых, нахождение в помещении, во-вторых, невозможность всюду таскать с собой отдельный GPS приемник (15 лет назад встроенных еще почти не было). Хотя, вот сейчас подумал, что сейчас у всех уже в кармане с собой есть и при том всегда, так что, если понять кто фотографировал, то в теории можно с треком конкретного человека из истории гугл карт свзязать.
Сейчас телефоны и некоторые фотоаппараты координаты в exif пишут. Когда существовал сервис Panoramio на нем фотографии прикреплялись к карте автоматически при загрузке.
Lightroom. В каталоге есть отдельная вкладка Map, которая раскидывает фотографии по GPS-координатам.
Для фотографий, у которых нет координат, можно в пару кликов привязать геометку на уровне города, например.
Почти каждая уважающая себя система просмотра фотографий это умеет, но координаты не всегда есть, проблема именно в этом. А все что надо руками раскидывать рано или поздно прекращается, увы.
У меня где-то с 2016-го основная зеркалка со встроенным GPS, телефонные фотографии пришли к этому ещё раньше. Т.е. для ручного назначения геоданных есть определённый конечный объём фотографий.

Мне очень нехватает Picasa, которая была бесплатной и умела записывать некоторые метаданные (например, о присутствующих на снимке людях) прямо в Exif исходных jpg. Каталог лайтрума хорош ровно до тех пор, пока ты остаёшься в лайтруме — это обратная сторона медали «неинвазивного» управления каталогом.
Зеркалка с GPS это очень удобно, я когда активно этим «болел» (в начале нулевых) таскал с собой отдельный GPS, синхронизировал руками время с фотоаппаратом, потом скидывал трек на комп и с помощью gpsbabel (если память не изменяет) проставлял координаты в Exif. То еще развлечение, но пару лет продержался.

А Picasa была хороша, да.
Зеркалка с GPS это удобно, да. Я когда выбирал себе зеркалку, именно из-за этого остановился на Canon 6D, у которого он встроенный.
Но вот только выяснилось, что с включенным GPS он аккумуляторы ест как не в себя. Причем даже когда фотоаппарат находится в выключенном состоянии, значок GPS мигает и аккум уходит (
В результате большую часть времени GPS находится в выключенном состоянии.
А вот это грустно, т.е. только батарею вынимать (если хочется использовать регулярно)? Или он выключает спустя некоторое время?
А что в помещении? Он умеет последнюю использовать?
К сожалению, он не выключает GPS и разряжает батарею в ноль.
Там еще UI совершенно бесчеловечный, руки бы за него оторвать, поэтому остается только тупо вынимать батарею (.
(Прошивка стоит последняя доступная на официальном сайте).
Что касается координат в помещении — проверил, вроде бы ставит. Во всяком случае в течение 10 минут после пропадания сигнала точно ставит.
Хм, в 6Dmk2 у gps есть 2 режима работы: работа всегда, работа только когда фотоаппарат включен(координаты появляются с задержкой).
Да и проанализировать бы фото нейросетью для генерации облака тегов/меток
Можете что-то порекомендовать для решения подобной задачи?
Я так понимаю автор во второй части про это напишет.
Гуглится например такое, но я не пробовал:
You will need a lot of disk space and memory to try this project. 100 GB free space on disk or SSD with 32 GB of RAM are required for some scenarios. The default model can run with 70 GB disk space and 16 GB RAM.

Generate automatic keywords index from the picture files in a MyPhotoShare album using deep learning. It uses a neural network to recognize scenes into pictures and generate keywords from their content. Keywords are generated in the language specified.

Читая статью, поймал себя на мысли — я где-то уже видел что-то очень похожее по логике. Ну да, в ShotWell импорт точно также группирует по папкам. Но там еще плюсом много чего полезного, типа тумбинали, рейтинги, теги…
Кстати, рекомендую.

Плюс много к Shotwell. Я хоть и сам тёртый линуксоед и консолефил, использую именно его для наведения порядка в фото. Очень удобная софтина!

Софтина удобная, но у меня все фотографии на сервере без графического интерфейса и доступа. Поэтому для просмотра Plex (импорта там в принципе нет) или просто просмотр с сетевого диска (отдельного дня или результатов запроса в виде символических ссылок).
А с импортом была идея одной кнопки (ну ок, двух) чтобы вообще не надо было думать и чтобы пользоваться мог не только я, но и дети. Вставил флешку, нажал кнопку и забыл.
Используйте для этого нормальный софт, например, Daminion.

Структура папок «по дате» теряет смысл со временем, а уж когда надо найти «все фоточки из Турции, где моя третья с дочь со вторым мужем», только каталогизаторы и спасают.

В Daminion достаточно быстро можно расставить теги, категории и прочее, а потом удобно искать по всему архиву.

Пример - выборка 'только пейзажи из Турции и Кипра'



Чем раньше начнёте вести нормальный каталог, тем лучше, конечно. Я свой архив еле разгрёб, но поверьте, оно того стоит!
А можно закинуть все в гуглфото и не парится, сейчас там поиск работает очень хорошо. Нужно только людей разметить.
Можно, если денег много и канал связи быстрый (сейчас 8 Тб данных уже)
Ну и надо понимать, что гугл фото могут в любой прекрасный момент отключить, закрыть и т.д.
Но для фоток с телефона использую удобно, да.
Абсолютно согласен, что с точки зрения поиска структура «по дате» теряет смысл при таком количестве фоток. Поэтому я сделал поиск по людям, об этом в следующей статье.
Про Daminion не слышал. Посмотрю. А он без рабочего стола работает? Есть возможность с ним через web-интрефес работать?

Если ещё и затронули автоматического бэкапирования(облако/ другой диск/комп в своих розысках то и об этом пишите.

Вы правы, про бекап не написал, допишу тут, благо очень немного.
В начале были бекапы на CD, потом на DVD, потом на внешние диски, потом я пришел к пониманию, что любой бекап который не делается автоматически, рано или поздно будет забыт. Поставил дома отдельный сервер настроил бекап туда.
Затем осознал, что если вдруг пожар/наводнение и т.д., то бекап, находящийся в той же квартире не спасет, да и интернет к тому времени разогнался, поэтому начал смотреть в сторону облачных сервисов, написал набор скриптов, который бекапил на >50 аккаунтов в яндексе (бекап, рестор, поиск и т.д.), но потом регистрировать новые аккаунты надоело, да и надежность низкая, могли любой аккаунт забанить в любой момент (да там была даже некторая отказоустойчивость с резервированием, потеря одного двух аккаунтов была бы не смертельной), но ручная работа с регистраций и контролем, да и вообще нарушение правил пользования сервисом не доставляли радости.
В итоге смирился с ежемесячной оплатой и пользуюсь www.crashplan.com, да у них есть свои закидоны и проблемы, поэтому не могу их однозначно порекомендовать, но в плане цены (10$ за анлим, что удобно. Туда все бекапится, не только фотки, 9 Tb уже там) и надежности (уже 6 лет с ними, да и восстанавливать уже приходилось) пока устраивает.
А как у них со скоростью восстановления данных? А то обычно такие сервисы любят ее занижать, вроде бы хранишь много данных, но «вытащить» их полностью довольно проблематично. Вплоть до того, что предлагают записать на жесткий диск и переслать, что на порядки дороже чем ежемесячная плата.
Скорость небольшая, так же как и скорость закачки, но в деревне, где я сейчас живу интернет и так не очень быстрый.
Большие объемы восстанавливать не приходилось, но в пределах нескольких десятоков гигабайт за несколько часов скачивается.

предлагают записать на жесткий диск и переслать

это кстати хорошая услуга, в случае тотального краха думаю, что именно так восстанавливать буду.

У меня с помощью Cobian Backup все копируется на WD MyBook Live стоящий в шкафу. Но сейчас что-то с home-NAS как-то не густо, а то что есть дорого :(

А вот я точно так же раскладываю фотографии. Только добавил ещё страну/город
Страна/Город/Год/Год-Месяц-День (краткое описание)/Год-Месяц-День_Час-Минута-Секунда.ЖПГ
При этом не пользуюсь программами, а раскидываю все руками раз в пару месяцев, при этом удаляя дубли, либо сделанные случайно или некачественные фотографии или ещё какой-нибудь мусор, типа скриншотов экрана телефона, автоматически загружаемых в Nextcloud.
Да, для хранения и синхронизации фотографий с телефонов поставил на домашний сервер Nextcloud.

Для поездок такой вариант хороший, да. Но мы ездим не так много как хотелось бы, так что 90% были бы в одно локации
Во-первых, даже производители камер имеют нормальные приложения для импорта. В своё время я купил себе D3300 и, изучая ворох бумаг в комплекте, обнаружил ссылку на родной сайт и программу Nikon Transfer 2, которая:
  • детектит подключение флешки или камеры к ПК
  • даёт возможность разметить папки в нужном месте, причём сама запоминает крайнюю сессию
  • автоматически переименовывает файлы в любом формате, а ещё позволяет добавлять уникальный счётчик кадров, очень крутая фишка, особенно если у тебя флешка UHS3 и есть возможность прожимать серию кадров от души
  • имеет классную визуализацию процесса импорта как прогрессбарами, так и превью
  • после импорта автоматически очищает флешку/камеру, если ты попросил ПО это сделать


И всё это бесплатно работает из коробки с любыми носителями и даже камерами не от Nikon. Не надо морочить себе и людям железы на очередным на коленке написанным софтом, который не будет иметь поддержки.

А, во-вторых, надо отучиться бездумно снимать всё подряд. Я занимаюсь авиафотографией и мне прямо физически больно от кучи говна, которая сама собою получается в работе. Живой пример: после МАКС-2017 у меня было 65 Гб равок, а после МАКС-2019 — 12.7 Гб. Крайний МАКС я чистил даже сидя в поле от дублей и лажи, а 2017-й до сих пор рука не подымается разобрать. За несколько лет собственной эволюции я пришёл к тому, что снимать всё подряд — бездарно, за осознание чего сам себе бесконечно благодарен. И износ оборудования ощутимо ниже, и потом по приходу домой нет демотивации от мегатонн мусора в папке RAW.

P.S. Сам сослался на Nikon Transfer и сам перестал его использовать, мда. Но тому есть вполне себе причина: несколько девайсов для импорта за один раз. Начинает сбиваться тонкая душевная организация папки с исходниками, это начинает из раза в раза бесить, после чего всё равно возвращаешься к истокам: драг-н-дроп руками в уже на автомате размечаемые папки, а потом не трогаешь фотки ещё по полгода. Все там будем))
Было с десяток софтин для импорта так же как и с десяток камер и фотоаппаратов. К сожалению, софтины уходят вместе с их брендами. Увы. Плюс с моими вводными для хранения (линукс сервер) и несколько пользователей с разными OS, никакая из них работать не будет.

А, во-вторых, надо отучиться бездумно снимать всё подряд.

Истина! Вот на 100% согласен. Сам уже не так много фоткаю, вот только убедить в этом жену и детей пока не получилось.
Так что я тут больше заложник ситуации, на меня сыпется поток данных в объеме 32-64 Gb в месяц (поездки не берем, оттуда можно и полтеррабайта за пару недель привезти) и я пытаюсь это хоть как-то в этом не утонуть.
> 32-64 Gb в месяц
Офигеть, я думал у меня жена много снимает… (примерно 50 Gb в год)
Жена, дочка ну и я чуток добавляю. Ну и это не только фото, но и видео.
Вы там выше написали, 5000 фотографий в месяц. Что вы с этим делаете, если не секрет? Это же банально просмотреть — полдня уйдёт, и то, мозги скорее всего попросят прекратить ещё когда больше половины останется. Или так же, как и я писал — нащёлкали, разослали друзьям-родственникам, и закинули навечно в дальний ящик?
Ну, для просмотра на семейных мероприятиях надо собрать в слайд-шоу несколько десятков фотографий. Если их сотня-две, то их уже не смотрят, а пролистывают. Это-то понятно, но куда девать пять тыщ ежемесячно?
во-вторых, исключала какие-либо дубликаты имен, что удобно и при последующей обработке и при передаче фотографий кому бы то ни было.
В процессе ручного разгребания почти 20-летнего архива обнаружил несколько фоток, сделанных за одну секунду, так что имеет смысл добавить опциональные счётчик или миллисекунды. Для себя я решил ещё проще: не переименовывать сами файлы, а только сортировать — потом меньше мороки с вливанием фоток в общий архив с очередного старого диска.
Счетчик есть, он автоматом включается, так как в 99% он не нужен, а лишние цифры захламляют уже без того длинное имя.

Тоже куча фотографий за 20 лет. Храню в папках yyyy.mm.dd_описание. Вручную файлы раскладываю.


Если дату события не помню, то ищу по тегам, которые подробно прописываю. И вот тут есть ряд хотелок. Например, Гугл фото умеет определять, что находится на фото. Но почему-то нет программы, которая делает тоже самое и теги проставляет автоматически...

Вот тоже ищу ПО которое мой архив просканирует и теги повесит, иначе тяжело бывает нужную фотографию найти. Вручную теги не ставлю, все фотки лежат в папках по годам, внутри года — как повезет :)
Удаляю примерно 90% от того, что нащелкал. Считаю, что это обязанность фотографа отобрать только самые лучшие снимки — это забота о тех, кто потом будет их просматривать(в том числе и сам фотограф).
Интересно, а есть готовое решение, которому можно указать каталог с фотками для индексации, а потом задавать (и сохранять в качестве виртуальных папок с возможностью последовательного просмотра изображений) произвольные фильтры по EXIF и пользовательским меткам? Типа, «фото за период 2020-01-01 по 2020-01-03, с камеры Canon 500D и меткой „новый год“.
Из консоли запросто, find + exiftool (или аналоги) + grep + ln
Но думаю и графические программы есть, не подскажу.
digiKam так умеет, правда сохраняет не в качестве виртуальных папок, а отдельными пунктами в боковой панели поиска.
Как инженерная задача — интересно.
А готовые сервисы не подходят?
Кстати, подумайте о таком моменте. Как бы не просто так у нас у всех в телефонах фотографии хранятся в виде структуры — лента. По сути, ваша иерархия и есть лента т.к. она отсортирована по годам.
В вашем случае папки нужны для того, чтобы вам, как человеку, было легче найти нужный файл по дате, но именно для задачи хранения они не необходимы. То есть функция, которую они выполняют должна скорее относиться к «интерфейсу», а не системе хранения. В гугл фото, например, нет папок т.к. интерфейс берет на себя функцию, помогающую человеку найти фото быстро.
Я очень рад, что однажды пересилил себя и перешел на гугл фотос. И сейчас понимаю, что те причины, которые останавливали тогда — это скорее мозг противился чему-то новому. Сейчас мне концепция очень нравится. Жаль только сервис перейдет на платную основу в скором времени.
Я пользовался несколькими готовыми, проблема в том что они приходят и уходят. А архив остается. Поэтому решил разделить, просмотр и хранение. Для просмотра сейчас Plex, но в комментариях уже и других на рекомендовали, так что может и поменяю. На чисто облачные я пока не готов. Во-первых их в любой момент могут прикрыть или сделать сильно платными. Я вот не уверен что тот же гугл фото доживет до моей пенсии и что на пенсии захочу тратить деньги на его оплату. Но более чем уверен, что через 20-30-40 лет смогу записать весь свой архив на какой-нибудь голографический кубик и отдать по наследству (а там уж и не только распознавание лиц будет, но вообще поиск по куче разных параметров, биг-дата и все дела)
Немного собственного опыта в помощь ТС и другим

1 Лирическое отступление
Когда я учился фотографии, еще в советское время, мой Учитель сказал нам, тогдашним пацанам, фразу какого-то гранда мировой фотографии: «хороший фотограф должен уметь снимать, а настоящий фотограф должен уметь не снимать».
То есть ты при съемке должен понимать, что будет на выходе и весь мусор и информационный шум должен фильтровать ДО съемки а не после. Пленка в этом плане сильно дисциплинирует, но далеко не все через пленку прошли.

2 Платформа
Средство переименования, редактирования, проявки RAW и т.п. — очевидно может быть на любой платформе, какая больше нравится (win\linux\mac\...). Но вот система хранения и каталогизатор должны предусматривать просмотр с любой платформы. Это конечно мои тараканы, но судя по обсуждениям в теме, внезапный переезд хранилища с условной винды на условный линукс, под который не существует порта моего_любимого_каталогизатора — ситуация типовая.

3 Собственно личный опыт
  • Рабочий комп под виндой, на который скидываются исходники с фотоаппаратов, телефонов, присланные жене в WhatsApp фоточки, затем идет проявка RAW, сортировка, кадрирование, «горизонт завален» и т.п.
  • Основное хранилище — headless сервер под debian, бэкапы отдельная тема.
  • Доступ к серверу организован по DLNA (телек) и через самбу (другие компы, планшеты, телефоны и т.п.)
  • Каталогизация только по именам в файловой системе (см. выше про потребители по DLNA, Android ...)
  • Первый уровень каталогизации — имена каталогов, по годам, формат просто «ГГГГ»
  • Внутри годов все фото лежат общей кучей (смотрим лирическое отступление), кроме каталогов второго уровня
  • Второй уровень — каталоги со значимыми событиями со значимым (десятки-сотни) количеством фотографий. Каталоги со значимыми события имеют формат «ГГГГ_ММ_Описание_события», например в каталоге «2021» лежит подкаталог «2020_01 Северный полюс с блэкджеком»
  • Переименование файлов делаю с автоматизацией в Total Commander через плагин EXIF, имя выставлено в формате «ГГГГ_ММ_ДД_ЧЧММСС». Все телефоны и тем более фотоаппараты давно умеют в EXIF, а пленочные сканы уже давно обработаны, там конечно только вручную было. Дубликаты имен с одной секундой — крайне редкое исключение из правил, изменяю руками

Результат
Платформонезависимое хранилице, количество файлов внутри года измеряется несколькими сотнями, значимые события легко ищутся, хранилище совершенно не зависит от платформы.

Соответственно в разрезе топикстартера надо бы призадуматься, действительно ли надо каталогизировать миллионы фото? Может просто удалить шум? Ведь просмотреть миллионы фото невозможно чисто физически, простая арифметика: 1 000 000 фото * 5 секунд на просмотр одного = 57 суток непрерывного просмотра
Спасибо за рассказ о вашем опыте, во всем с вами согласен.
По поводу объема (уже выше в ветке отвечал, но повторюсь) основной генератор контента не я.
Были и не однократно разговоры с домочадцами, что надо разбирать (и они даже делают это по мере сил). Но в какой-то момент я устал бороться и решил проблему как смог. Тут надо понять, что это больше архив жизни, фото дневник, нежели фотография как искусство.

По поводу просмотра. Основные сценарии использования посмотреть за семейным мероприятием:
  • что было год/два/десять назад
  • как отмечали День рождения/Новый год тогда-то
  • как съездили туда-то

Ну а после внедрения системы распознавания (об это следующая статья) теперь еще доступны:
  • а когда и где мы тусли с тем-то (с гостями отлично заходит)
  • где фотки того или иного человека
  • поиск совместных фотографий
Мой сценарий — архив жизни. Растут два ребенка, кошка, люблю путешествия. Не про фотографию как искусство точно.

>> основной генератор контента не я
но выкладываете в хранилище-то Вы? Мне кажется, что давать права доступа на запись в семейное фотохранилище всем домочадцам — это путь к его уничтожению (мы же тут не про восстановление из бэкапов)

>> основные сценарии использования посмотреть за семейным мероприятием
именно так!
и если формат просмотра просто «что было два года назад», то запускаем просмотр папки «2018», а если формат «свадьба Маши», то запускаем «2018\2018_04 свадьба Маши»

Будет очень интересно почитать про ИИ, поскольку то, о чем я написал никак не противоречит каталогизатору\просмотровщику на локальной машине.
Ведь все метаданные хранятся в EXIF дополнительно, а не вместо каталога по годам\событиям.
но выкладываете в хранилище-то Вы? Мне кажется, что давать права доступа на запись в семейное фотохранилище всем домочадцам — это путь к его уничтожению (мы же тут не про восстановление из бэкапов)

У нас с ними разные взгляды, на то что есть хорошая фотография. (Для меня это резкая, все смотрят куда надо, никто не закрыл глаза и т.д. А жена человек творческий иной раз что-то мыльное и не резкое ей нравится, своя атмосфера и т.д.). Пару раз на эту тему поругались и решили, что удалять может только то, кто фотографировал.
Так что доступ у всех (но бекапы есть и историей изменений). Более того, такая система как раз и была задумана чтобы они сами могли туда класть фотографии, так как иначе они начинали создавать хаос. А так хоть в иерархии есть порядок.
UFO just landed and posted this here
В моем случае так не выйдет. Как уже писал выше у каждого свое представление от том, какая фотография хорошая, а какая нет. Мы с женой например не сходимся во мнении, на этот счёт, поэтому договорились, что каждый свои фотографии только сам отбирает.
информационный шум должен фильтровать ДО съемки а не после

Проблема в том, что критерии «что считать шумом, а что нет» не только разные у разных людей, но даже у одного человека могут меняться со временем.

Я вот сейчас на свой архив пленок, отснятых в детстве-юности (80-е годы) гляжу с некоторым сожалением — многие вещи остались незафиксированными, которые сейчас хотелось бы освежить в памяти, а то воспоминания несколько путаются уже. При этом зачастую аж полплёнки — какая-то ерунда с точки зрения меня нынешнего, но тогда оно казалось интересным.

Ну да, была когда-то плёнка — тогда на месячный поход брал аж две плёнки по 36 кадров. Но сейчас всё равно испарилась та дисциплина.

Я раскладываю фото по папкам год-месяц-день(дни)-событие. Фотографий не миллион, но несколько тысяч в год, если не считать фото с телефона. Возвращаться к большинству будет неинтересно до пенсии. Поэтому по возможости (но не реже раза в год :-)) ставлю атрибуты в xnview: оценка 4 (просто хорошая фотография) и 5 (фото достойная печати), другие оценки имеет смысл ставить только для последующего удаления или сжатия (например, есть фото, которые ужасны технически и от сжатия раза в 4 не пострадают, а удалить жалко). Далее — имена и темы. Можно всем, можно только хорошим. Теперь главное — бэкап фото и бэкап базы xnview (это несложно).
Вот лень их у себя сразу разбирать, складываю примерно как есть. Периодически, скриптом на laravel, выталкиваю на yandex диск, попутно сортируя по месяцам и избавляясь от дубликатов. Главная особенность -очень медленный ADSL интернет, потому важно чтоб это всё само как-то работало, фоном.

А что насчет photoprism? Пробовал поставить и автоматическая сортировка, и есть веб интерфейс с загрузкой, и еще ml от гугла который сортирует фотографии. Даже карта с раскиданными фотографиями по ней.

Про photoprism не слышал, посмотрю. Спасибо!
LibrePhotos не смотрели (бывший OwnPhotos)?
Если так много снимать, то через лет 5 это всё уже даже не захочится смотреть, поскольку всё однотипное и всего много. А вот если понадобится одно фото найти нужное, то искать можно очень долго.

Как-то давно от кучи софта пришёл к ручному переносу фотографий на самба сервер и ручной сортировке — это позволяет меньше хранить: только то, что реально нужно, а когда снимаю думать больше. Перенесённые на сервер и отобранные фото дальше просто переименываю всей кучей софтом типа «Advanced Renamer» на винде или «A Better Finder Rename» на маке, остальное удаляю безжалостно. Структура имени готовых фото простая «Год-Месяц-День_Час-Минута-Секунда_Оригинальное_имя_файла». Оригинальное имя что-то вроде IMG_9483, то есть потом имя выглядит как «2021-01-01_14-23-12_IMG_9483». Так точно не прогадаешь и не надо с дублями голову ломать, так как за одну секунду может и 5 файлов быть. Всё автоматизировано в виде пресетов для вышеперечисленного софта. Если появляется новая камера/смартфон просто редактирую пресет под этот девайс и всё.

Кстати советую вести два архива фотографий: один где всё подряд, а другой с отобранными изображениями, его скорее всего Вы и будете потом пересматривать неоднократно. За 15 лет занимаясь цифровой фотографией и снимая в большинстве своём семейные фото мне ни разу не понадобилось и я даже открывать не хочу винты с исходниками и несортированными фото. Есть альбом с лучшими изображениями в оригинальном разрешении и этого достаточно. Раньше обрабатывал чего-то, а с появлением хороших джипегов и алгоритмической обработки на смартфонах вообще ничего не обрабатываю — нет на это времени и желания. При тех деньгах, что тратятся на технику она должна сразу же выдавать то, что можно убрать в архив. А нет, ну и не надо, у родителей чб фото были и смазанные и каких только не было — их все пересматривают и наслаждаются содержанием.
ССЫЛКА — это список веб тулсов для галерей.
А под линухом мне для организации фотогалереи понравился шотвелл и дарктейбл.
Макароновирусный год показал, что так дальше жить нельзя. Прошерстил и переобработал весь свой фотоархив с 2004 года. Заняло несколько месяцев кропотливого труда. Попутно около 10% фоток были отправлены в /dev/null. Это при том, что раньше они уже прореживались. При обработке свежих фотосетов в утиль уходит 2/3 снимков. Оставшееся сортируется, обрабатывается, и можно смотреть. Делайте так, как будто вы заказчик, и делаете коммерческую съемку самому себе. Чтобы был готовый цельный результат. Одна папочка — одна готовая фотосессия. Обрабатываете качественно, каждую фоточку вручную. Иначе зачем это все? Сливать тонна картинок, которые заведомо никогда не будут использованы? Так самое плохое в том, что в тонне мусора вы сами потом не найдете ценное. Это процесс ради процесса.

Использую такую структуру. Папки по годам (пока у нас 4 знака, это логично). Далее в корне каждой папки картинки на самые разные темы. Как правило, они получены случайно мимоходом. Также есть тематические каталоги формада «ГГГГ_ММ_ДД <Наименование>». Если событие занимает продолжительное время, тогда ставится тире в разряде, где произошло приращение, например «2017_02_22-03_11 Мое Важное Событие» — это значит оно длилось с 22.02.2017 по 11.03.2017. Изредка бывает, что события пересекается, тогда рядом просто создается папочка с теми же правилами.

Внутри каждой папочки лежат файлики. Именуются как NNNNNNNN.jpg, NNNNNNNN — порядковый номер. Номера с дырками (промежуток рандомый) для красоты и удобства (иногда хочется пересортировать рядом стоящие картинки). Имитирует целочисленный ключ в БД. Для переименования файлов написал специальную программу, чтобы не зависеть от инструментов. Но можно чем угодно. У картинок удаляется EXIF. Сознательно. Чтобы картинка рассматривалась как картинка. Я умру от бессилия, если мне понадобится когда-то использовать EXIF, поэтому нет. Исходники хранятся отдельно, теоретически, они когда-то пригодятся. Недавно такой случай был. Пришлось переобработать около 1000 фоток из отпуска. По какой-то причине я их много лет назад сделал очень плохо, и решил, что так быть не должно. Потратил неделю каждодневных мучений, обработал. В принципе если это делать регулярно и качественно, то далее проблем быть не должно. Сохраняем в JPG с 95..100% сжатием и храним как аналог распечатки. Надо будет — можно распечатать. Очень сильно надо — поискать исходник. Связь с исходником по имени сознательно теряется, чтобы не заниматься этой хренью.

В таком виде картинки становятся именно архивом. Их приятно поднять и посмотреть, вспомнить. Последнее время стараюсь снимать меньше и самое главное, чтоб потом не обрабатывать это все. Тогда это приносит кайф. У вас каждое фото должно быть как самостоятельная единица, несущая какую-то ценную информацию о вас или об окружающем мире, который был вокруг вас. Иначе в них нет смысла. А той информации не так много, в общем-то. За 16 лет накоплено 19821 файл в 172 папках. Каждая фоточка была обработана в фотошопе вручную. На каждую тратится в среднем 1-2 минуты в полном цикле. Сырого материала как минимум в 2 раза больше (раньше из жадности удалял меньше). Трудозатраты огромные, но и на результат не стыдно смотреть.

5000 фоток в месяц это зашквар. Абсолютно нет смысла. Если вам хочется запечатлевать моменты, делайте видеоролики. Это еще более сложный, но увлекательный процесс. Монтируйте в мини-фильмы, и ваша Алиса будет там куда более полно запечатлена, чем на тысячах однотипных фоток. А самое главное, это можно будет смотреть. А еще там есть звук. Сейчас видео это самая тема для такого. Фото хорош подходит для тех моментов, где нужно именно неподвижное изображение высокого качества, ну или лень возиться с видео.
5000 фоток в месяц это зашквар. Абсолютно нет смысла. Если вам хочется запечатлевать моменты, делайте видеоролики. Это еще более сложный, но увлекательный процесс. Монтируйте в мини-фильмы, и ваша Алиса будет там куда более полно запечатлена, чем на тысячах однотипных фоток. А самое главное, это можно будет смотреть. А еще там есть звук. Сейчас видео это самая тема для такого. Фото хорош подходит для тех моментов, где нужно именно неподвижное изображение высокого качества, ну или лень возиться с видео.

5000 это и видео и фото, но на монтаж увы времени нет. Да в будущем тоже, наверное, не будет, но думаю что будет все более качественный ИИ. Тот же гугл фото, например, уже не плохо без участия человека составляет памятные ролики, дальше будет лучше. Не вижу никаких технических проблем даже на базе текущего уровня ИИ сделать систему которая сможет создать ролик по запросу типа «памятные моменты Алисы с бабушкой». Так что пока моя задача сохранить мой семейный big data.
Для бигдаты пойдут каталоги с исходниками. Просто сливаете всю фотосессию в каталог и более к нему не прикасаетесь. Реальный архив фото для просмотра отдельно. А бигдату можно даже олдскульно на болванки записать на всякий случай. Скорее всего такого случая не будет, но для самоуспокоения пойдет.
UFO just landed and posted this here
Безусловно, такое есть. Тут даже нейросети не нужны. В свое время фотошоп произвел революцию. Кто сохранил RAW-файлы, смог их переобработать с существенным повышением качества. Кто не сохранил — сам дурак. Но это все не нужно держать в каталоге, где отобраны обработанные фото для для просмотра. И да, их придется обрабатывать. Даже если они с телефона. Кадрирование, уровни никто не отменял. Снимать сразу без обработки утопично, для этого нужно быть суперфотографом. Либо же удачные фото будут на уровне случайного попадания. Смотреть такую подборку крайне тоскливое занятие.

Тоже решил в этом году заняться разбором фотоархива и написал под него веб-интерфейс — минималистичный, но с полной адаптацией под мобилы.


Проект открыт и бесплатен, возможно кому-то пригодится:
https://github.com/impworks/isotope


Распознавание лиц хотел прикрутить, но пока не успел, поэтому с удовольствием почитаю следующую часть!

А есть ли софт для автоматической (или полуавтоматической) расстановки тегов к фото? Идея в том, что одного времени мало для поиска нужной фотографии, а вот описание в тегах кто/что изображено, место, обстоятельства и т.п. очень помогает в поиске. Иногда помнишь, что снимал, даже примерно компоновку кадра помнишь, а дату нет, и вот как тут найти фотографию? Как можно расставлять теги автоматически — ну сейчас нейросети всякие могут и людей распознавать (и что важно одинаковых людей тегировать одинаково) и много чего еще — должно быть можно поставить технологии распознавания на пользу? Пусть даже авто-теги будут неточными, они уже помогут сузить поиск.

Хотя возможно на этот вопрос ответит 2-ая часть? Тогда с удовольствием прочитаю.
Интересная софтина. А сложно к ней прикрутить распознавание лиц? Чтобы она помечала людей присутствующих на фотографии. До кучи можно ещё и животных.
Уже прикручено, в следующей части будет. И да, оказалось не так просто, как думалось в начале.

А еще можно было купить мак и кайфовать с его приложением фото, которое постоянно как и система. С легким интерфейсом для жены и детей

Только сейчас комментарий заметил.
Мак это конечно не плохо, вот только вся коллекция почти 10Tb, такой мак еще поискать надо. Ну и на счет "постоянно как и система", 10 лет назад мак был не такой как сейчас, а система каталогов уже лет 30 без изменений.

Sign up to leave a comment.

Articles