Инженер с помощью ИИ автоматически сбрасывает панамы из окна на головы жителям Нью-Йорка

Инженер из Нью-Йорка презентовал необычный проект DropofaHat.zone. Он применил ИИ, чтобы сбрасывать из окна своей квартиры панамы прямо на головы проходящих внизу пешеходов. 

По словам автора проекта, любой желающий может выбрать удобное ему время, оплатить панаму и задержаться на 3 секунды под его окном, чтобы получить товар. Головные уборы вылетают из окна с 5-минутным интервалом.

Энтузиаст использовал Raspberry Pi, двигатель Adafruit, а также онлайн-инструмент для маркировки изображений Roboflow. Он остановился на лёгких панамках с пропеллерами.

Чтобы механизм спуска панам через окно работал, пришлось использовать немного пряжи. Она обёрнута вокруг шагового двигателя.

Когда ИИ определяет, что кто-то стоит под окном, запускается отдельный файл Python «dropHat.py» на Raspberry Pi.

import time
    import board
    import digitalio

    enable_pin = digitalio.DigitalInOut(board.D18)
    coil_A_1_pin = digitalio.DigitalInOut(board.D4)
    coil_A_2_pin = digitalio.DigitalInOut(board.D17)
    coil_B_1_pin = digitalio.DigitalInOut(board.D23)
    coil_B_2_pin = digitalio.DigitalInOut(board.D24)

    enable_pin.direction = digitalio.Direction.OUTPUT
    coil_A_1_pin.direction = digitalio.Direction.OUTPUT
    coil_A_2_pin.direction = digitalio.Direction.OUTPUT
    coil_B_1_pin.direction = digitalio.Direction.OUTPUT
    coil_B_2_pin.direction = digitalio.Direction.OUTPUT

    enable_pin.value = True

    def forward(delay, steps):
        i = 0
        while i in range(0, steps):
            setStep(1, 0, 1, 0)
            time.sleep(delay)
            setStep(0, 1, 1, 0)
            time.sleep(delay)
            setStep(0, 1, 0, 1)
            time.sleep(delay)
            setStep(1, 0, 0, 1)
            time.sleep(delay)
            i += 1

    def setStep(w1, w2, w3, w4):
        coil_A_1_pin.value = w1
        coil_A_2_pin.value = w2
        coil_B_1_pin.value = w3
        coil_B_2_pin.value = w4

    # Run a full rotation (512 steps) with a 5 millsecond delay
    forward(5, int(512))
                

Отдельной задачей стало обучение ИИ. Энтузиаст записал на камеру несколько минут видео со своего окна, чтобы научить инструмент выявлять пешеходов без головных уборов. Он опубликовал обучающий датасет из 133 аннотированных изображений и уже работающую модель. 

Программа Python на компьютере распознаёт, когда кто-то стоит в обозначенном месте под окном 3 секунды подряд. Спустя этот период на Raspberry Pi запускается функция dropHat.py.

import cv2
import time
import paramiko

from inference_sdk import InferenceHTTPClient

CLIENT = InferenceHTTPClient(
    api_url="https://detect.roboflow.com",
    api_key="API_KEY"
)

def ssh_execute(host, port, username, password, command):
    client = paramiko.SSHClient()
    client.load_system_host_keys()
    client.set_missing_host_key_policy(paramiko.WarningPolicy)

    try:
        client.connect(host, port=port, username=username, password=password)
        stdin, stdout, stderr = client.exec_command(command)
        
        # Print command output
        print(stdout.read().decode().strip())
        
        if stderr.read().decode().strip():
            print('Error:', stderr)
    finally:
        client.close()

video = cv2.VideoCapture(0)  # 0 usually refers to the webcam

consec_detections = 0
while True:
    ret, frame = video.read()

    # Directly pass the frames to the Roboflow model
    result = CLIENT.infer(frame, model_id="drop-of-a-a-hat/2")

    # Check if a prediction is made
    if 'predictions' in result and len(result['predictions'])>0:
        consec_detections += 1
    else:
        consec_detections = 0

    # If there are three consecutive detections, perform an action (like printing a message)
    if consec_detections >= 3:
        # DROP THE HAT
        ssh_execute('raspberry.local', 22, 'pi', 'raspberry', 'python3 dropHat.py')
        # Reset counter
        consec_detections = 0

    # Delay before the next frame for 1 second
    time.sleep(1)