В данной статье я опишу свой опыт создания Face ID для входной двери. Я не разработчик, поэтому сразу прошу прощения за качество кода. Однако все работает отлично уже несколько месяцев.
Для реализации данной идеи у меня уже было:
Умный дом на базе homeassistant (необязательно)
MQTT сервер
Умный замок
Камера с возможностью забирать с неe фото
Осталось только реализовать функционал распознавания лица на фото полученного с камеры. Логичнее было бы написать плагин для умного дома, но я выбрал более простой путь, хотя и не такой правильный. Я написал скрипт на python с использованием проекта https://pypi.org/project/face-recognition/
Поскольку у меня уже был MQTT сервер, то я решил, что это самый простой путь интегрировать умный дом и скрипт.
Опишу словами логику работы.
Скрипт стартует как демон, распознает лица из папки KNOWN и подписывается на топик.
В умном доме включена автоматизация с триггером для запуска которой является детекция движения. Умный дом отправляет в нужный топик цифру с количеством попыток распознавания лица.
Скрипт получив в топике цифру запрашивает с камеры фото, при необходимости обрезает фото, чтобы увеличить скорость распознавания. У меня, например, 4х мегапиксельная камера, которая захватывает весь коридор, а лицо видно только в непосредственной близости от камеры. При обрезании фото цикл распознавания снизился с 3 секунд, до менее 1 секунды.
Скрипт пытается найти лица на фото, если лица найдены, то сравнивает их с теми, что считаны при запуске из папки KNOWN.
Скрипт пишет в топик MQTT сервера результат распознавания и сохраняет фото в соответствующую папку.
Умный дом получив UNKNOWN включает дверной звонок, получив имя известного человека открывает замок и произносит: "Username пришел".
Каталоги автоматически не создаются, поэтому перед запуском скрипта нужно создать каталоги: known, new, nofaces, unknown и каталоги для известных людей (имя каталога = имени файла с фото до точки в папку known). Ну и естественно положить файлы с фото. Я брал фото прям из папки unknown.
Нужно создать структуру каталогов
├── kat
├── known
│ ├── kat.jpg
│ ├── max.jpg
│ └── sasha.jpg
├── max
├── new
├── nofaces
├── sasha
└── unknown
Ссылка на Gitlab https://gitlab.com/tmv002/face-recognition-mqtt/
__main.py__
import requests
import configparser
import logging
import os
import sys
import io
import face_recognition
import configparser
import paho.mqtt.client as mqtt
from datetime import datetime
from PIL import Image
delimeter = '/'
if(os.name=='nt'):
delimeter = '\\'
root_path = os.path.dirname(__file__) + delimeter
config = configparser.ConfigParser()
config.read(root_path + "fr.conf")
url = config['image']['url']
topic_subscribe = config['mqtt']['topic_subscribe']
topic_publish = config['mqtt']['topic_publish']
mqtt_server = config['mqtt']['mqtt_server']
mqtt_port = int(config['mqtt']['mqtt_port'])
try:
mqtt_user = config['mqtt']['mqtt_user']
mqtt_password = config['mqtt']['mqtt_password']
except:
pass
known_path = config['dirs']['known']
new_path = config['dirs']['new']
unknown_path = config['dirs']['unknown']
no_faces = config['dirs']['no_faces']
logfile = config['log']['logfile']
loglevel = 10 * int(config['log']['loglevel'])
comparison_threshold = float(config['compare']['comparison_threshold'])
def parse_int_tuple(input):
return tuple(int(k.strip()) for k in input[1:-1].split(','))
try:
crop_rect = parse_int_tuple(config['image']['crop_rect'])
except:
pass
logging.basicConfig(level=loglevel, filename=(root_path + logfile),filemode="w",format="%(asctime)s %(levelname)s %(message)s")
persons = []
def add_known_person():
listdir = None
try:
listdir = os.listdir((root_path + known_path))
except Exception as exc:
logging.error("Can't list known person dir " + (root_path + known_path) + " with error: " + str(exc))
sys.exit(1)
for file_path in listdir:
# check if current file_path is a file
if os.path.isfile(os.path.join((root_path + known_path), file_path)):
person_name = file_path.split(".")[0]
logging.info("Try to add known person from file " + file_path)
# load image from file
known_image = face_recognition.load_image_file(root_path + known_path + delimeter + file_path)
# recognize face
face_enc = face_recognition.face_encodings(known_image)
# if face found
if(len(face_enc) > 0):
# get first face
person_encoding = face_enc[0]
# add face to known persons array
persons.append([person_name, [person_encoding]])
logging.info("Add known person: " + person_name)
else:
logging.error("Face not found in file " + file_path)
def get_image_from_url(file_name):
result = False
r = None
try:
# Get image from URL
r = requests.get(url)
logging.info("Get image success")
except Exception as exc:
logging.error("Can't get image error:" + str(exc))
if r is not None:
new_file_name = file_name
new_file_path = new_path + delimeter + new_file_name
# Load image from request content
im = Image.open(io.BytesIO(r.content))
try:
crop_rect
# Crop image
im = im.crop(crop_rect)
except:
pass
try:
# Save image to folder new
im.save(root_path + new_file_path)
result = True
logging.info("Save image to " + (root_path + new_file_path))
except Exception as exc:
logging.error("Can't save image " + root_path + new_file_path + " with error: " + str(exc))
return result
# The callback for when the client receives a CONNACK response from the server.
def on_connect(client, userdata, flags, rc):
if(rc != 0):
logging.info("MQTT connection error with result code "+str(rc))
print("MQTT connection error with result code "+str(rc))
else:
logging.info("MQTT connection successful with result code "+str(rc))
print("MQTT connection successful with result code "+str(rc))
# Subscribing in on_connect() means that if we lose the connection and
# reconnect then subscriptions will be renewed.
client.subscribe(topic_subscribe)
# The callback for when a PUBLISH message is received from the server.
def on_message(client, userdata, msg):
known_person = "unknown"
logging.info(msg.topic+" "+str(msg.payload.decode()))
# Loop face recognition
i = 0
try:
# Read value from topic
i = int(msg.payload.decode())
except ValueError:
logging.error("Receive non int value in topic " + msg.topic)
for j in range(i):
now = datetime.now()
new_file_name = now.strftime("%Y_%m_%d-%H_%M_%S-") + str(j) + '.jpg'
if get_image_from_url(new_file_name):
new_file_path = new_path + delimeter + new_file_name
# Load image from file
new_image = face_recognition.load_image_file(root_path + new_file_path)
# Check face count on image
face_locations = face_recognition.face_locations(new_image)
logging.info("Face location count: " + str(len(face_locations)))
if(len(face_locations) > 0):
# Recognize face on image
unknown_faces = face_recognition.face_encodings(new_image, face_locations)
logging.info("face recognition count: " + str(len(unknown_faces)))
# Compare face with known faces
for unknown_face in unknown_faces:
for i in range(len(persons)):
results = face_recognition.compare_faces(persons[i][1], unknown_face, comparison_threshold)
logging.info("compare face with " + persons[i][0] + " result: " + str(results))
if(results[0]):
known_person = persons[i][0]
client.publish(topic_publish + 'person', "{ \"known_person\": \"" + known_person + "\" }", 0, False)
logging.info("client publish { \"known_person\": \"" + known_person + "\" }")
else:
#print("no faces")
known_person = "nofaces"
logging.info("person: " + known_person)
client.publish(topic_publish + known_person, now.strftime("%Y-%m-%d %H:%M:%S"), 0, True)
if(known_person == "nofaces"):
try:
os.remove(root_path + new_file_path)
logging.info("Remove file " + root_path + new_file_path)
except Exception as exc:
logging.error("Can't remove file " + root_path + new_file_path + ": " + str(exc))
else:
try:
os.replace(root_path + new_file_path, root_path + known_person + delimeter + new_file_name)
logging.info("Move file " + root_path + new_file_path + " to " + root_path + known_person + delimeter + new_file_name)
except Exception as exc:
logging.error("Can't move file " + root_path + new_file_path + " to " + root_path + known_person + delimeter + new_file_name + ": " + str(exc))
if(known_person not in ("nofaces", "unknown")):
break
if __name__ == "__main__":
logging.info("Start face recognition")
add_known_person()
connected_flag = 0
client = mqtt.Client()
try:
mqtt_password
client.username_pw_set(mqtt_user, mqtt_password)
except NameError:
logging.warn("MQTT password is not set. Trying to connect without password.")
client.enable_logger(logger=logging)
client.on_connect = on_connect
client.on_message = on_message
while not connected_flag:
try:
client.connect(mqtt_server, mqtt_port, 60)
connected_flag = 1
except Exception as exc:
logging.error("MQTT connection error: " + str(exc))
client.loop_forever()fr.conf
[image]
url = http://user:password@cam.ip.or.dns/ISAPI/Streaming/channels/1/picture
#Set crop_rect to crop orginal image. Script is faster face locating on smaller image. (left_x, top_y, right_x, bottom_y)
#crop_rect = (400, 500, 1350, 1700)
[mqtt]
topic_subscribe = homeassistant/sensor/facerec/cam3
topic_publish = homeassistant/sensor/facerec/
mqtt_server = 192.168.12.5
mqtt_port = 1883
#mqtt_user = mqttusername
#mqtt_password = mqttpassword
[dirs]
known = known
new = new
unknown = unknown
no_faces = nofaces
[log]
logfile = face-recognition.log
#Loglevel 1 - DEBUG, 2 - INFO, 3 - WARN, 4 - ERROR
loglevel = 2
[compare]
# Lowest threshold = 1. Highest threshold = 0.1
comparison_threshold = 0.5Пример unit file для запуска в качестве сервиса:
face-recognition.service
[Unit]
Description=Face Recognition
[Service]
Restart=always
RestartSec=30
WorkingDirectory=/opt/face-recognition/
TimeoutStartSec=120
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=face-recognition
ExecStart=/usr/bin/python3 /opt/face-recognition/
[Install]
WantedBy=multi-user.targetUPDATE.
Решил дополнить статью после комментариев. Конечно, можно попробовать подставить фото камере и есть большой шанс, что face-recognition распознает лицо по фото, но у меня дверь на этаж закрывается на домофон и посторонних людей очень мало, поэтому лично меня такой вариант устраивает. Кроме того как ни странно, но для меня это повышение уровня безопасности, потому что замок входной двери был практически всегда открыт, а также дети регулярно теряли ключи в округе. Теперь замок закрывается автоматически, а дети не используют ключи.
Вопрос с попаданием домой после отказа системы и замка также предусмотрен. И в этом вопросе я тоже получил плюс, так как ранее дети периодически забывали ключи дома и ждали под дверью или у друзей, когда их пустят домой, теперь такая проблема исчезла полностью.
Я никого не призываю использовать именно такой сценарий, но вы можете воспользоваться им и добавить 2FA в виде скрытой кнопки, кодовой панели, nfc метки, телеграм-бота, трекеров: gps, bluetooth, wifi. Можете использовать сервис, только для уведомлений, чтобы знать кто и когда к вам приходил. Можете интегрировать со СКУД в фитнесе и уведомлять СБ о проходах в зал по чужому абонементу и придумать еще сотню других сценариев. Я лишь показал как из уже доступного мне набора инструментов и устройств сделать новый сервис.