Я считал свои трудозатраты. Машино-часы считать смысла нет, по-моему мнению. У всех разный объем, требования к гранулярности и разные возможности по компьюту.
Изначально все данные с которыми работал в данном кейсе уже были в облаке Майкрософта Гугла или Эпла. Если есть задача не отдавать в облако данные она тоже тут может решаться легко, агент пишет только код, который можно запускать в изолированной среде куда у агента доступа нет и там уже «молотить» локальными инструментами.
Я тоже получил удовольствие. Весь архив просматривать сложно сесть, а вот в процессе корректировки работы агента очень даже кайф. И посмотрел и порядок навел и кучу всяких редких кадров родне и знакомым накидал.
Полностью согласен, именно так и делал. Каждое перемещение писалось в undo-лог, отдельный файл со всеми действиями, поэтому любой шаг откатывается одной командой, а удаления почты шли только в Корзину и локальный карантин (папку), без стирания насовсем. И финальная перепроверка была не одна: сортировку сначала гонял пилотом на одном годе и смотрел результат глазами, манифесты строил в режиме dry-run с предпросмотром перед реальными перемещениями, а в самом конце прошёл отдельным дедуп-проходом уже по разложенному. Без этой обвязки на 36к файлов реально легко словить ту самую печальную грусть, согласен на все сто.
Immich смотрел и даже поднимал у себя, чтобы пощупать (и PhotoPrism тоже гонял). Инструменты отличные, спору нет. Мы с агентом их подробно обсудили и он же меня с ними познакомил и дал пощупать. Решили, что в моём случае это было бы из пушки по воробьям. Мне не нужна была полноценная селфхост-галерея, в которой потом жить, задача была ровно обратная: остаться в рамках текущих обвязок (OneDrive плюс Apple Photos) и просто разгрести в них бардак, а не переезжать в новый сервис и тащить туда 36к неразобранных файлов. Immich, PhotoPrism и подобные комбайны для этого избыточны, у меня болело «разобрать и разложить прямо там, где уже лежит». Плюс лишний сервер, который надо поднимать, кормить и бэкапить.
Дубликаты ловил перцептивным хэшем, не точным хэшем и не эмбеддингами. Гонял czkawka: она считает хэш по содержимому картинки с регулируемым порогом похожести, поэтому берёт и пересохранения, и ресайзы, и почти одинаковые кадры серии. Эмбеддинги у меня шли отдельно и только на лица (InsightFace), для дедупа целых картинок хватило перцептивного хэша, и это быстро и полностью локально. В каждой группе оставлял лучший по разрешению, остальное в обратимый карантин, и делал это до всего остального. Под ваш кейс с товарными фото, кстати, скорее пригодятся именно эмбеддинги (CLIP): там не «почти дубликат», а «тот же товар с другого ракурса», это уже хэш не ловит, нужен матч по смыслу. Статью про матчинг подожду, звучит как самое интересное. Будет классно если сделаете референт на меня, получится что и для коммерции и для личных целей годное.
Рука не поднялась. Пока фотки сортировали понял почему. Накидал в домашние чаты столько всякой разной ми-ми-шности из старых неразобранных. Семья рыдала от умиления и спрашивала где взял. Еще отправил другу фотографию его маленькой дочки, которой у него не было, а я оказывается сфотал на детском празднике почти 10 лет назад. Еще нашел 3 фотографии ушедшего из жизни знакомого с его маленькой дочерью на руках. Этих кадров тоже ни у кого не оказалось. Отправил их его вдове. Поэтому каждому свое.
Этот инструмент и есть ИИ-агент. Инструкция под проблему описана выше, статья на самом деле агенту даже полезнее чем людям. Экономически такой проект отдельный обречен, проще заплатить за подписку (а можно использовать бесплатный тир на опенроутере том же) и сделать все бесплатно.
Репозитория и не нужно. Достаточно скормить эту статью любому агенту: в ней весь стек и вся логика по шагам, так что он всё поймёт и воспроизведёт уже под ваши данные и ваши структуру папок и сервисов. Скрипты всё равно выходят одноразовые, под конкретный архив, поэтому статья как «темплейт» работает даже лучше готового кода: агент адаптирует подход, в этом прелесть ИИ, как раз, безграничная и практически бесплатная кастомизация всего под все.
Прикинул по итогу. Точных биллинговых цифр под рукой нет, но порядок такой: вся переписка с агентом за весь проект это около миллиона токенов контекста, из них собственно генерации агента примерно 100-150к. И ключевой момент: это только оркестрация. Вся тяжёлая работа (около 40к фото через CLIP, 74к лиц через InsightFace, 1754 видео) крутилась на локальных моделях, там токенов ноль. По фронтиру уложился в обычную подписку, в лимиты не упирался.
Позже попробую проверить интеллектуальную часть вандрайва. В самом приложении мобильном очень плохо и неуклюже оно у меня работало по какой-то причине. Находило все что угодно кроме того что искал ;)
В начале статьи. Это был клод опус, но работа не сложная справится совершенно любая ЛЛМ, возможно собственного зрения контроля качества каким-то младшим моделям может не хватить, но как описано в другой моей статье разница с фронтиром для таких задач не критична.
По лимитам, совсем не много (точно не замерял, позже попробую посмотреть), в рамках стандартной подписки все. Основная работа локально, склеить точечно глянуть - не супер дорого и сложно
Согласен, осторожность правильная. Тут страховкой был сам scope (это настройки АПИ в консли Гугла): давал не полный доступ, а gmail.modify, то есть чтение и перемещение в Корзину, без безвозвратного удаления. Плюс перед массовыми действиями был предпросмотр, драйран с подтверждением и бэкапом (канантином локально), и именно он спас: в «спам» чуть не уехала рассылка живого магазина, вернул одной командой из Корзины. То есть ваш «сначала только чтение, потом подтверждаю» у меня свёлся к «всё обратимо плюс подтверждение перед удалением». Для рабочей почты ваш промежуточный preview-шаг и правда не лишний.
Супер!
Сделал
Готово. https://github.com/xronocode/photo-archive-pipeline
Я считал свои трудозатраты. Машино-часы считать смысла нет, по-моему мнению. У всех разный объем, требования к гранулярности и разные возможности по компьюту.
Агент сам почему-то про MLX не предложил и упорно пихал оламу пока не заставил его
MacBook Air M5, 32GB, локальная модель была Qwen 2.5 7B на MLX, не Ollama поэтому существенно быстрее, ну и мак свежий.
Изначально все данные с которыми работал в данном кейсе уже были в облаке Майкрософта Гугла или Эпла. Если есть задача не отдавать в облако данные она тоже тут может решаться легко, агент пишет только код, который можно запускать в изолированной среде куда у агента доступа нет и там уже «молотить» локальными инструментами.
Я тоже получил удовольствие. Весь архив просматривать сложно сесть, а вот в процессе корректировки работы агента очень даже кайф. И посмотрел и порядок навел и кучу всяких редких кадров родне и знакомым накидал.
Полностью согласен, именно так и делал. Каждое перемещение писалось в undo-лог, отдельный файл со всеми действиями, поэтому любой шаг откатывается одной командой, а удаления почты шли только в Корзину и локальный карантин (папку), без стирания насовсем. И финальная перепроверка была не одна: сортировку сначала гонял пилотом на одном годе и смотрел результат глазами, манифесты строил в режиме dry-run с предпросмотром перед реальными перемещениями, а в самом конце прошёл отдельным дедуп-проходом уже по разложенному. Без этой обвязки на 36к файлов реально легко словить ту самую печальную грусть, согласен на все сто.
Immich смотрел и даже поднимал у себя, чтобы пощупать (и PhotoPrism тоже гонял). Инструменты отличные, спору нет. Мы с агентом их подробно обсудили и он же меня с ними познакомил и дал пощупать. Решили, что в моём случае это было бы из пушки по воробьям. Мне не нужна была полноценная селфхост-галерея, в которой потом жить, задача была ровно обратная: остаться в рамках текущих обвязок (OneDrive плюс Apple Photos) и просто разгрести в них бардак, а не переезжать в новый сервис и тащить туда 36к неразобранных файлов. Immich, PhotoPrism и подобные комбайны для этого избыточны, у меня болело «разобрать и разложить прямо там, где уже лежит». Плюс лишний сервер, который надо поднимать, кормить и бэкапить.
Дубликаты ловил перцептивным хэшем, не точным хэшем и не эмбеддингами. Гонял czkawka: она считает хэш по содержимому картинки с регулируемым порогом похожести, поэтому берёт и пересохранения, и ресайзы, и почти одинаковые кадры серии. Эмбеддинги у меня шли отдельно и только на лица (InsightFace), для дедупа целых картинок хватило перцептивного хэша, и это быстро и полностью локально. В каждой группе оставлял лучший по разрешению, остальное в обратимый карантин, и делал это до всего остального. Под ваш кейс с товарными фото, кстати, скорее пригодятся именно эмбеддинги (CLIP): там не «почти дубликат», а «тот же товар с другого ракурса», это уже хэш не ловит, нужен матч по смыслу. Статью про матчинг подожду, звучит как самое интересное. Будет классно если сделаете референт на меня, получится что и для коммерции и для личных целей годное.
Рука не поднялась. Пока фотки сортировали понял почему. Накидал в домашние чаты столько всякой разной ми-ми-шности из старых неразобранных. Семья рыдала от умиления и спрашивала где взял. Еще отправил другу фотографию его маленькой дочки, которой у него не было, а я оказывается сфотал на детском празднике почти 10 лет назад. Еще нашел 3 фотографии ушедшего из жизни знакомого с его маленькой дочерью на руках. Этих кадров тоже ни у кого не оказалось. Отправил их его вдове. Поэтому каждому свое.
Этот инструмент и есть ИИ-агент. Инструкция под проблему описана выше, статья на самом деле агенту даже полезнее чем людям. Экономически такой проект отдельный обречен, проще заплатить за подписку (а можно использовать бесплатный тир на опенроутере том же) и сделать все бесплатно.
Совершенно верно.
Репозитория и не нужно. Достаточно скормить эту статью любому агенту: в ней весь стек и вся логика по шагам, так что он всё поймёт и воспроизведёт уже под ваши данные и ваши структуру папок и сервисов. Скрипты всё равно выходят одноразовые, под конкретный архив, поэтому статья как «темплейт» работает даже лучше готового кода: агент адаптирует подход, в этом прелесть ИИ, как раз, безграничная и практически бесплатная кастомизация всего под все.
Прикинул по итогу. Точных биллинговых цифр под рукой нет, но порядок такой: вся переписка с агентом за весь проект это около миллиона токенов контекста, из них собственно генерации агента примерно 100-150к. И ключевой момент: это только оркестрация. Вся тяжёлая работа (около 40к фото через CLIP, 74к лиц через InsightFace, 1754 видео) крутилась на локальных моделях, там токенов ноль. По фронтиру уложился в обычную подписку, в лимиты не упирался.
Позже попробую проверить интеллектуальную часть вандрайва. В самом приложении мобильном очень плохо и неуклюже оно у меня работало по какой-то причине. Находило все что угодно кроме того что искал ;)
У меня тоже были интересные дискаери :)
В начале статьи. Это был клод опус, но работа не сложная справится совершенно любая ЛЛМ, возможно собственного зрения контроля качества каким-то младшим моделям может не хватить, но как описано в другой моей статье разница с фронтиром для таких задач не критична.
По лимитам, совсем не много (точно не замерял, позже попробую посмотреть), в рамках стандартной подписки все. Основная работа локально, склеить точечно глянуть - не супер дорого и сложно
Согласен, осторожность правильная. Тут страховкой был сам scope (это настройки АПИ в консли Гугла): давал не полный доступ, а gmail.modify, то есть чтение и перемещение в Корзину, без безвозвратного удаления. Плюс перед массовыми действиями был предпросмотр, драйран с подтверждением и бэкапом (канантином локально), и именно он спас: в «спам» чуть не уехала рассылка живого магазина, вернул одной командой из Корзины. То есть ваш «сначала только чтение, потом подтверждаю» у меня свёлся к «всё обратимо плюс подтверждение перед удалением». Для рабочей почты ваш промежуточный preview-шаг и правда не лишний.