Comments 41
Конечно, это работает лишь с фотографиями, которые можно использовать без ограничений. То есть с фотографиями, где авторское право принадлежит вам, или с фотографиями, которые перешли в общественное достояние.
Такое ощущение что находит в 100% (если не брать лица повернутые от камеры больше чем на 90). Специально пропущенные я не искал, а случайно не попадались. В первой тестовой (пара десятков групповых фото) выборке нашел все.
HOG около 97% фронтальных и совсем плохо если даже немного повернуты.
Если про кодировку, то алгоритм из face-alignment нормально отрабатывает на ~95% (но то, что не отрабатывает это в основном совсем шлак: не в фокусе, сильно перекрытые или отвернутые), все хорошие отрабатывают отлично.
Соответственно экспериментами с ЧБ не занимался, впрочем, не исключаю что внутри dlib оно само преобразуется, так как в моих экспериментах по работе непосредственно с сетками ЧБ работает лучше.
А дальше очень сильно зависит от того, сколько образцов, насколько отличаются люди и какие выставлены пороги для погрешностей.
В моем случае (когда уже обработаны фотографии за несколько лет и добавлено большое количество образцов), если сейчас взять абсолютно новые фотографии тех людей, что уже есть в системе, то около 90% определяется верно.
Не пробовали это, работает вроде шустро и без видеокарты есть демо в браузере:
https://justadudewhohacks.github.io/face-api.js/docs/index.html
А так старая добрая picasa все ещё может работать и все делать из коробки)
Что-то я не очень понял. Picasa, например, на древнем Core 2 Duo и 2 Gb Ram весьма бодро лица искала и группировала…
Большинство программ просто ищет по фото, а не подсвечивает лица, поэтому увидеть что было пропущено весьма непросто.
Ну и плюс сгруппировать и сопоставить все группы одному человеку с этим пока даже гугл-фото весьма и весьма лажает.
Для желающих рассортировать свой каталог фотографии по лицам (и местам и другим другим категориям), но не желающим для этого разбираться в нейронных сетях или сливать личную информацию в Гугл/Эппл -
Попробуйте synology moments.
То же фото-облако, только на вашем собственном железе. Я был полностью удовлетворен.
Уже вот-вот выйдет DSM 7, в котором приложения Photo Station и Moments полностью переделаны и совмещены в одно
В общем-то, неплохой вариант. Было предложение авторизировать пользователей ватер-клозета по индивидуальному рисунку складок, оказывается они более уникальны, чем черты лица.
Тоже интересовался темой, потому что не хочу выкладывать фотографии в облако.
Нашёл opensource приложение на Go PhotoPrism, которое умеет распознавать объекты на фотографиях (TensorFlow) и web-ui для просмотра и поиска фотографий. Есть демо — demo.photoprism.org/browse
В случае работы на Mac OS задача облегчается тем, что все модели для распознавания объектов на фотографиях уже есть в ОС и с приложением osxphotos можно разметить свои фотографии, метаинформацию хранить в sqlite. Вот еще занимательная статья про то, как найти лучшую фотографию с пеликаном.
Интересно, может где-то есть обученные модели распознавания предметов и животных в открытом доступе?
Довольно большой каталог датасетов для создания различных моделей можно найти тут www.tensorflow.org/datasets/catalog/overview?hl=en
Насчет уже обученных моделей не подскажу, не приступал еще к этой задаче.
Главной проблемой оказалось не найти лица, а корректно идентифицировать людей, с учетом того, что это семейный архив, и условная Маша в 2020 году очень похожа на бабушку Клаву в 1925 :-)
Главной проблемой оказалось не найти лица, а корректно идентифицировать людей, с учетом того, что это семейный архив, и условная Маша в 2020 году очень похожа на бабушку Клаву в 1925 :-)
Значит вы ощутили всю мою боль! :)
Сейчас для поиска и распознавания лиц существуют более продвинутые библиотеки, например https://github.com/deepinsight/insightface.
Правда для быстрой работы GPU уже просто необходимы. С некоторыми оптимизациями сетки по ссылке выше можно запускать на видеокартах GTX 1080 на скоростях около 70-90 кадров в секунду
Если будет интересно попробовать, у меня на гитхабе есть докеризованная версия обернутая в FastAPI и сконвертированная в TensorRT для повышения производительности: https://github.com/SthPhoenix/InsightFace-REST
Подскажите а вы GPU ставилив Synology?
DMS поддерживает NVDIA ?
Миллион домашних фотографий: лица, лица, лица