Сделал правку уточнение. Так как есть нормы ввоза и правила регистрации, тут человек поплывет быстрее нейронки. :) В любом случае, спасибо и за комментарий и за внимание к материалу.
Конкретно по лимитам гуглил и неточности возможны. Я лично регистровал телефоны как в Казахстане, так и в Кыргызстане, так и в Узбекистане. То как по факту работают системы и лимиты - "черный ящик". Я покопаю тему с лимитами, спасибо что обратили внимание.
Что касается нейронок, конечно я использую эти инструменты, при этом контент у меня исключительно авторский, как и мнение про серый импорт, как и опыт по теме.
Я считал свои трудозатраты. Машино-часы считать смысла нет, по-моему мнению. У всех разный объем, требования к гранулярности и разные возможности по компьюту.
Изначально все данные с которыми работал в данном кейсе уже были в облаке Майкрософта Гугла или Эпла. Если есть задача не отдавать в облако данные она тоже тут может решаться легко, агент пишет только код, который можно запускать в изолированной среде куда у агента доступа нет и там уже «молотить» локальными инструментами.
Я тоже получил удовольствие. Весь архив просматривать сложно сесть, а вот в процессе корректировки работы агента очень даже кайф. И посмотрел и порядок навел и кучу всяких редких кадров родне и знакомым накидал.
Полностью согласен, именно так и делал. Каждое перемещение писалось в undo-лог, отдельный файл со всеми действиями, поэтому любой шаг откатывается одной командой, а удаления почты шли только в Корзину и локальный карантин (папку), без стирания насовсем. И финальная перепроверка была не одна: сортировку сначала гонял пилотом на одном годе и смотрел результат глазами, манифесты строил в режиме dry-run с предпросмотром перед реальными перемещениями, а в самом конце прошёл отдельным дедуп-проходом уже по разложенному. Без этой обвязки на 36к файлов реально легко словить ту самую печальную грусть, согласен на все сто.
Immich смотрел и даже поднимал у себя, чтобы пощупать (и PhotoPrism тоже гонял). Инструменты отличные, спору нет. Мы с агентом их подробно обсудили и он же меня с ними познакомил и дал пощупать. Решили, что в моём случае это было бы из пушки по воробьям. Мне не нужна была полноценная селфхост-галерея, в которой потом жить, задача была ровно обратная: остаться в рамках текущих обвязок (OneDrive плюс Apple Photos) и просто разгрести в них бардак, а не переезжать в новый сервис и тащить туда 36к неразобранных файлов. Immich, PhotoPrism и подобные комбайны для этого избыточны, у меня болело «разобрать и разложить прямо там, где уже лежит». Плюс лишний сервер, который надо поднимать, кормить и бэкапить.
Дубликаты ловил перцептивным хэшем, не точным хэшем и не эмбеддингами. Гонял czkawka: она считает хэш по содержимому картинки с регулируемым порогом похожести, поэтому берёт и пересохранения, и ресайзы, и почти одинаковые кадры серии. Эмбеддинги у меня шли отдельно и только на лица (InsightFace), для дедупа целых картинок хватило перцептивного хэша, и это быстро и полностью локально. В каждой группе оставлял лучший по разрешению, остальное в обратимый карантин, и делал это до всего остального. Под ваш кейс с товарными фото, кстати, скорее пригодятся именно эмбеддинги (CLIP): там не «почти дубликат», а «тот же товар с другого ракурса», это уже хэш не ловит, нужен матч по смыслу. Статью про матчинг подожду, звучит как самое интересное. Будет классно если сделаете референт на меня, получится что и для коммерции и для личных целей годное.
Рука не поднялась. Пока фотки сортировали понял почему. Накидал в домашние чаты столько всякой разной ми-ми-шности из старых неразобранных. Семья рыдала от умиления и спрашивала где взял. Еще отправил другу фотографию его маленькой дочки, которой у него не было, а я оказывается сфотал на детском празднике почти 10 лет назад. Еще нашел 3 фотографии ушедшего из жизни знакомого с его маленькой дочерью на руках. Этих кадров тоже ни у кого не оказалось. Отправил их его вдове. Поэтому каждому свое.
Этот инструмент и есть ИИ-агент. Инструкция под проблему описана выше, статья на самом деле агенту даже полезнее чем людям. Экономически такой проект отдельный обречен, проще заплатить за подписку (а можно использовать бесплатный тир на опенроутере том же) и сделать все бесплатно.
Репозитория и не нужно. Достаточно скормить эту статью любому агенту: в ней весь стек и вся логика по шагам, так что он всё поймёт и воспроизведёт уже под ваши данные и ваши структуру папок и сервисов. Скрипты всё равно выходят одноразовые, под конкретный архив, поэтому статья как «темплейт» работает даже лучше готового кода: агент адаптирует подход, в этом прелесть ИИ, как раз, безграничная и практически бесплатная кастомизация всего под все.
Сделал правку уточнение. Так как есть нормы ввоза и правила регистрации, тут человек поплывет быстрее нейронки. :) В любом случае, спасибо и за комментарий и за внимание к материалу.
Конкретно по лимитам гуглил и неточности возможны. Я лично регистровал телефоны как в Казахстане, так и в Кыргызстане, так и в Узбекистане. То как по факту работают системы и лимиты - "черный ящик". Я покопаю тему с лимитами, спасибо что обратили внимание.
Что касается нейронок, конечно я использую эти инструменты, при этом контент у меня исключительно авторский, как и мнение про серый импорт, как и опыт по теме.
Интересные у вас критерии :)
А что именно поплыло на ваш взгляд?
Годное, полезное.
Супер!
Сделал
Готово. https://github.com/xronocode/photo-archive-pipeline
Я считал свои трудозатраты. Машино-часы считать смысла нет, по-моему мнению. У всех разный объем, требования к гранулярности и разные возможности по компьюту.
Агент сам почему-то про MLX не предложил и упорно пихал оламу пока не заставил его
MacBook Air M5, 32GB, локальная модель была Qwen 2.5 7B на MLX, не Ollama поэтому существенно быстрее, ну и мак свежий.
Изначально все данные с которыми работал в данном кейсе уже были в облаке Майкрософта Гугла или Эпла. Если есть задача не отдавать в облако данные она тоже тут может решаться легко, агент пишет только код, который можно запускать в изолированной среде куда у агента доступа нет и там уже «молотить» локальными инструментами.
Я тоже получил удовольствие. Весь архив просматривать сложно сесть, а вот в процессе корректировки работы агента очень даже кайф. И посмотрел и порядок навел и кучу всяких редких кадров родне и знакомым накидал.
Полностью согласен, именно так и делал. Каждое перемещение писалось в undo-лог, отдельный файл со всеми действиями, поэтому любой шаг откатывается одной командой, а удаления почты шли только в Корзину и локальный карантин (папку), без стирания насовсем. И финальная перепроверка была не одна: сортировку сначала гонял пилотом на одном годе и смотрел результат глазами, манифесты строил в режиме dry-run с предпросмотром перед реальными перемещениями, а в самом конце прошёл отдельным дедуп-проходом уже по разложенному. Без этой обвязки на 36к файлов реально легко словить ту самую печальную грусть, согласен на все сто.
Immich смотрел и даже поднимал у себя, чтобы пощупать (и PhotoPrism тоже гонял). Инструменты отличные, спору нет. Мы с агентом их подробно обсудили и он же меня с ними познакомил и дал пощупать. Решили, что в моём случае это было бы из пушки по воробьям. Мне не нужна была полноценная селфхост-галерея, в которой потом жить, задача была ровно обратная: остаться в рамках текущих обвязок (OneDrive плюс Apple Photos) и просто разгрести в них бардак, а не переезжать в новый сервис и тащить туда 36к неразобранных файлов. Immich, PhotoPrism и подобные комбайны для этого избыточны, у меня болело «разобрать и разложить прямо там, где уже лежит». Плюс лишний сервер, который надо поднимать, кормить и бэкапить.
Дубликаты ловил перцептивным хэшем, не точным хэшем и не эмбеддингами. Гонял czkawka: она считает хэш по содержимому картинки с регулируемым порогом похожести, поэтому берёт и пересохранения, и ресайзы, и почти одинаковые кадры серии. Эмбеддинги у меня шли отдельно и только на лица (InsightFace), для дедупа целых картинок хватило перцептивного хэша, и это быстро и полностью локально. В каждой группе оставлял лучший по разрешению, остальное в обратимый карантин, и делал это до всего остального. Под ваш кейс с товарными фото, кстати, скорее пригодятся именно эмбеддинги (CLIP): там не «почти дубликат», а «тот же товар с другого ракурса», это уже хэш не ловит, нужен матч по смыслу. Статью про матчинг подожду, звучит как самое интересное. Будет классно если сделаете референт на меня, получится что и для коммерции и для личных целей годное.
Рука не поднялась. Пока фотки сортировали понял почему. Накидал в домашние чаты столько всякой разной ми-ми-шности из старых неразобранных. Семья рыдала от умиления и спрашивала где взял. Еще отправил другу фотографию его маленькой дочки, которой у него не было, а я оказывается сфотал на детском празднике почти 10 лет назад. Еще нашел 3 фотографии ушедшего из жизни знакомого с его маленькой дочерью на руках. Этих кадров тоже ни у кого не оказалось. Отправил их его вдове. Поэтому каждому свое.
Этот инструмент и есть ИИ-агент. Инструкция под проблему описана выше, статья на самом деле агенту даже полезнее чем людям. Экономически такой проект отдельный обречен, проще заплатить за подписку (а можно использовать бесплатный тир на опенроутере том же) и сделать все бесплатно.
Совершенно верно.
Репозитория и не нужно. Достаточно скормить эту статью любому агенту: в ней весь стек и вся логика по шагам, так что он всё поймёт и воспроизведёт уже под ваши данные и ваши структуру папок и сервисов. Скрипты всё равно выходят одноразовые, под конкретный архив, поэтому статья как «темплейт» работает даже лучше готового кода: агент адаптирует подход, в этом прелесть ИИ, как раз, безграничная и практически бесплатная кастомизация всего под все.