В статье предлагается рассмотреть практические моменты применения ptz камеры (на примере модели Dahua DH-SD42C212T-HN) для детектирования и классификации объектов. Рассматриваются алгоритмы управления камерой через интерфейс ONVIF, python. Применяются модели (сети): depth-anything, yolov8, yolo-world для детектирования объектов.
Задача
Формулируется просто: необходимо с помощью видеокамеры в заранее неизвестном окружении замкнутого помещения (indoor) определять предметы, классифицировать их.
Дополнительная задача.
Соотносить крупные объекты с объектами поменьше, исходя из их совместного приближения друг к другу.
Иными словами: необходимо определять продукты питания и ценники под ними.
Из оборудования — только поворотная ptz камера, без дополнительной подсветки, дальномеров и т.п.
Управление ptz камерой через onvif
Onvif — интерфейс, который позволяет через python получать доступ и управлять ptz камерами.
Для python3 при использовании onvif в основном используется следующий fork — github.com/FalkTannhaeuser/python-onvif-zeep
Камера инициируется достаточно просто:
from onvif import ONVIFCamera mycam = ONVIFCamera('10.**.**.**', 80, 'admin', 'admin') mycam.devicemgmt.GetDeviceInformation() { 'Manufacturer': 'RVi', 'Model': 'RVi-2NCRX43512(4.7-56.4)', 'FirmwareVersion': 'v3.6.0804.1004.18.0.15.17.6', 'SerialNumber': '16****', 'HardwareId': 'V060****'}
*здесь иная модель камеры, которая также поддерживает onvif.
Выставить настройки камеры через код:
#set camera settings options = media.GetVideoEncoderConfigurationOptions({'ProfileToken':media_profile.token}) configurations_list = media.GetVideoEncoderConfigurations() video_encoder_configuration = configurations_list[0] video_encoder_configuration.Quality = options.QualityRange.Min video_encoder_configuration.Encoding = 'H264' #H264H, H265 video_encoder_configuration.RateControl.FrameRateLimit = 25 video_encoder_configuration.Resolution={ 'Width': 1280,#1920 'Height': 720 #1080 } video_encoder_configuration.Multicast = { 'Address': { 'Type': 'IPv4', 'IPv4Address': '224.1.0.1', 'IPv6Address': None }, 'Port': 40008, 'TTL': 64, 'AutoStart': False, '_value_1': None, '_attr_1': None } video_encoder_configuration.SessionTimeout = timedelta(seconds=60) request = media.create_type('SetVideoEncoderConfiguration') request.Configuration = video_encoder_configuration request.ForcePersistence = True media.SetVideoEncoderConfiguration(request)
Чтобы управлять камерой, необходимо создать соответствующий сервис:
mycam = ONVIFCamera(camera_ip, camera_port, camera_login, camera_password) media = mycam.create_media_service() ptz = mycam.create_ptz_service() media_profile = media.GetProfiles()[0] moverequest = ptz.create_type('AbsoluteMove') moverequest.ProfileToken = media_profile.token moverequest.Position = ptz.GetStatus({'ProfileToken': media_profile.token}).Position
Выставим камеру в начальную позицию и создадим команду, чтобы камера ее выполнила:
#start position moverequest.Position.PanTilt.x = 0.0 #параллельно потолку min шаг +0.05. 1.0 - max положение moverequest.Position.PanTilt.y = 1.0 #параллельно потолку вниз -0.05 1.0 - max положение moverequest.Position.Zoom.x = 0.0 #min zoom min шаг +0.05 1.0 - max положение ptz.AbsoluteMove(moverequest)
Как видно из кода, камера умеет выполнять движения по осям x,y, а также выполнять зуммирование в диапазоне от 0.0 до 1.0. При выполнении зуммирования, объектив какое-то время (обычно 3-5 сек) автоматически фокусируется, и с этим приходится считаться.
В onvif api есть настройка для ручного (manual) выставления фокуса камеры, но добиться ее работы не удалось:
media.GetImagingSettings({'VideoSourceToken': '000'}) 'Focus': { 'AutoFocusMode': 'MANUAL', 'DefaultSpeed': 1.0, 'NearLimit': None, 'FarLimit': None, 'Extension': None, '_attr_1': None
Делать скриншоты через камеру можно просто забирая их из видеопотока:
def get_snapshots(): cap = cv2.VideoCapture(f'rtsp://admin:admin{ip}/cam/realmonitor?channel=1&subtype=0&unicast=true&proto=Onvif') #f'rtsp://admin:admin!@10.**.**.**:554/RVi/1/1') ) ret, frame = cap.read() if ret: # Генерация уникального имени для снимка на основе времени timestamp = datetime.now().strftime("%Y%m%d%H%M%S") filename = f'Image/snapshot_{timestamp}.jpg' # Сохранение снимка cv2.imwrite(filename, frame) print(f'Скриншот сохранен как {filename}.') else: print('Не удалось получить снимок.') cap.release()
Снимки с камеры также можно делать через создание onvif image сервиса и далее забирать снимок через requests по url, но этот метод по скорости выполнения уступает получению снимков из видеопотока.
Разобравшись с настройками камеры и ее управлением переходим к следующему вопросу.
Как получать информацию о том, на какое расстояние необходимо приблизить камеру, чтобы объекты были различимы? Ведь первоначально не известно, на каком расстоянии от камеры они находятся.
Здесь пригодится framework depth-anything.
*На момент написания статьи в свет вышла вторая часть — depth-anything2.
Расстояние до объектов с монокамеры
Так как дальномер к камере не прилагается, как и иные тех. средства, упрощающие решение данного вопроса, обратимся к сети, которая «позволяет получать карту глубины» — depth-anything. Данный framework практически бесполезен на значительных расстояниях от камеры, однако в диапазоне до 10 метров показывает неплохие результаты.
Не будем обращаться к вопросу как развернуть framework на локальном pc, сразу перейдем к коду.
Функция «создания глубины» будет иметь примерно следующий вид:
def make_depth(frame): DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu' depth_anything = DepthAnything.from_pretrained(f'LiheYoung/depth_anything_vits14').to(DEVICE).eval() transform = Compose([ Resize( width=518, height=518, resize_target=False, keep_aspect_ratio=True, ensure_multiple_of=14, resize_method='lower_bound', image_interpolation_method=cv2.INTER_CUBIC, ), NormalizeImage(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), PrepareForNet(), ]) #filename='test.jpg' filename=frame raw_image = cv2.imread(filename) image = cv2.cvtColor(raw_image, cv2.COLOR_BGR2RGB) / 255.0 #image = cv2.cvtColor(filename, cv2.COLOR_BGR2RGB) / 255.0 h, w = image.shape[:2] image = transform({'image': image})['image'] image = torch.from_numpy(image).unsqueeze(0).to(DEVICE) with torch.no_grad(): depth = depth_anything(image) depth = F.interpolate(depth[None], (h, w), mode='bilinear', align_corners=False)[0, 0] depth = (depth - depth.min()) / (depth.max() - depth.min()) * 255.0 depth = depth.cpu().numpy().astype(np.uint8) depth = np.repeat(depth[..., np.newaxis], 3, axis=-1) filename = os.path.basename(filename) cv2.imwrite(os.path.join('.', filename[:filename.rfind('.')] + '_depth.jpg'), depth)
На выходе получаем «глубокие» снимки в «сером» диапазоне. Этот вариант выбран неспроста, хотя depth-anything умеет делать и более красивые варианты:
*здесь, к слову, depth-anything2
Снимок в градациях серого необходим для определения так называемого "порога зуммирования" для камеры.
Что это означает?
Для правильного zoom камеры на область в центре (камера зуммируется только в центр изображения) необходимо определить какого цвета квадратная область (roi) на сером снимке.
То есть необходимо вычислить сумму цветов всех пикселей области и поделить на их количество и сравнить с каким-нибудь цветом пиксела.
Определяем условно центр картинки для:
cv2.rectangle(img, (600, 330), (600+90, 330+70), [255, 0, 0], 2) #нарисуем прямоугольник roi = img[330:330+70,600:600+90]
Вычисляем разницу, взяв в качестве сравнительной величины цвет белого пиксела:
import numpy as np white = (255) np.sum(cv2.absdiff(roi, white))
Полученная условная величина и будет являться «порогом зуммирования», исходя из которого далее нужно будет подобрать при каком «пороге» объекты наиболее отчетливо видны на изображении.
После этого, можно выполнять команды ptz, выставляя камеру в необходимое положение по zoom и делать снимки.
Из минусов depth-anything:
- камера может сделать снимок, в квадрат которого попадут более темные области при преобладающих светлых и порог будет определен с погрешностью;
- при выполнении ptz команды zoom камера тратит от 3-5 сек для выполнения фокусировки, что суммарно приводит к значительному нарастанию времени обработки большого числа изображений;
- depth-anything практически бесполезен, если расстояние от камеры слишком велико (более 10 метров).
Обработка изображений. Детектирование объектов
В зависимости от того, какие объекты предполагается детектировать подойдут различные сети, в состав классов которых входят искомые предметы.
В данной ситуации, детектировать предполагается напитки в бутылках (большей частью), поэтому первое, что приходит на ум, — выбрать широко распространённую и хорошо себя зарекомендовавшую yolov8. В составе coco-классов данной модели входит класс 'bottle', поэтому дополнительно обучать модель не предполагается.
Однако кроме напитков есть необходимость определения лейблов — ценников под товарами.
Что делать? Дообучать модель?
Но в таком случае потребуется потратить n-е количество времени на разметку ценников.
Да, конечно, можно поискать уже размеченные датасеты, на том же roboflow, например.
Попробуем использовать иной подход, который предлагает интересная особенная модель — yolo-world.
Особенность ее заключается в том, что модель, в отличие от семейства моделей, к которому она формально принадлежит, исходя из названия, использует так называемый «открытый словарь».
Суть метода в том, что, задавая promt по типу языковых чат-моделей, с помощью yolo-world возможно детектировать практически любые объекты. Небольшую сложность вызывает именно определение нужного слова, которое модель корректно воспримет.
В общем, модель, «она моя», и как любая дама, требует правильных слов в свой адрес.
inference выглядит примерно следующим образом:
# Copyright (c) Tencent Inc. All rights reserved. import os,cv2;import argparse;import os.path as osp import torch;import supervision as sv from mmengine.config import Config, DictAction;from mmengine.runner import Runner;from mmengine.runner.amp import autocast from mmengine.dataset import Compose;from mmengine.utils import ProgressBar;from mmyolo.registry import RUNNERS BOUNDING_BOX_ANNOTATOR = sv.BoundingBoxAnnotator() LABEL_ANNOTATOR = sv.LabelAnnotator() #https://colab.research.google.com/drive/1F_7S5lSaFM06irBCZqjhbN7MpUXo6WwO?usp=sharing#scrollTo=ozklQl6BnsLI #python image_demo.py configs/pretrain/yolo_world_l_t2i_bn_2e-4_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py yolow-v8_l_clipv2_frozen_t2iv2_bn_o365_goldg_pretrain.pth . 'bottle,price_labels' --topk 100 --threshold 0.005 --show --output-dir demo_outputs #python image_demo.py configs/pretrain/yolo_world_l_t2i_bn_2e-4_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py yolow-v8_l_clipv2_frozen_t2iv2_bn_o365_goldg_pretrain.pth zoom_30.jpg 'bottle,milk_carton' --topk 100 --threshold 0.005 --output-dir demo_outputs """ !wget https://huggingface.co/spaces/stevengrove/YOLO-World/resolve/main/yolow-v8_l_clipv2_frozen_t2iv2_bn_o365_goldg_pretrain.pth?download=true !mv yolow-v8_l_clipv2_frozen_t2iv2_bn_o365_goldg_pretrain.pth?download=true yolow-v8_l_clipv2_frozen_t2iv2_bn_o365_goldg_pretrain.pth !wget https://huggingface.co/spaces/stevengrove/YOLO-World/resolve/main/configs/pretrain/yolo_world_l_t2i_bn_2e-4_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py?download=true !mv yolo_world_l_t2i_bn_2e-4_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py?download=true yolo_world_l_t2i_bn_2e-4_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py !wget https://media.roboflow.com/notebooks/examples/dog.jpeg !cp -r yolo_world_l_t2i_bn_2e-4_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py /content/YOLO-World/configs/pretrain/ """ #config="yolo_world_l_t2i_bn_2e-4_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py" #checkpoint="yolow-v8_l_clipv2_frozen_t2iv2_bn_o365_goldg_pretrain.pth" #image_path='.' image="zoom_30.jpg" text="bottle,yellow_sign" topk=100 threshold=0.0 device='cuda:0' show=True amp=True output_dir='demo_outputs' def inference_detector(runner, image_path, texts, max_dets, score_thr, output_dir, use_amp=False, show=False): data_info = dict(img_id=0, img_path=image_path, texts=texts) data_info = runner.pipeline(data_info) data_batch = dict(inputs=data_info['inputs'].unsqueeze(0), data_samples=[data_info['data_samples']]) with autocast(enabled=use_amp), torch.no_grad(): output = runner.model.test_step(data_batch)[0] pred_instances = output.pred_instances pred_instances = pred_instances[ pred_instances.scores.float() > score_thr] if len(pred_instances.scores) > max_dets: indices = pred_instances.scores.float().topk(max_dets)[1] pred_instances = pred_instances[indices] pred_instances = pred_instances.cpu().numpy() detections = sv.Detections(xyxy=pred_instances['bboxes'], class_id=pred_instances['labels'], confidence=pred_instances['scores']) labels = [ f"{texts[class_id][0]} {confidence:0.2f}" for class_id, confidence in zip(detections.class_id, detections.confidence) ] # label images image = cv2.imread(image) image = BOUNDING_BOX_ANNOTATOR.annotate(image, detections) image = LABEL_ANNOTATOR.annotate(image, detections, labels=labels) #cv2.imwrite(osp.join(output_dir, osp.basename(image_path)), image) cv2.imshow('out',image) ## if show: ## cv2.imshow(image) ## k = cv2.waitKey(0) ## if k == 27: ## # wait for ESC key to exit ## cv2.destroyAllWindows() if __name__ == '__main__': #args = parse_args() # load config cfg = Config.fromfile( "yolo_world_l_t2i_bn_2e-4_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py" ) #cfg.work_dir = "." cfg.load_from = "yolow-v8_l_clipv2_frozen_t2iv2_bn_o365_goldg_pretrain.pth" if 'runner_type' not in cfg: runner = Runner.from_cfg(cfg) else: runner = RUNNERS.build(cfg) # load text if text.endswith('.txt'): with open(args.text) as f: lines = f.readlines() texts = [[t.rstrip('\r\n')] for t in lines] + [[' ']] else: texts = [[t.strip()] for t in text.split(',')] + [[' ']] output_dir = output_dir if not osp.exists(output_dir): os.mkdir(output_dir) runner.call_hook('before_run') runner.load_or_resume() pipeline = cfg.test_dataloader.dataset.pipeline runner.pipeline = Compose(pipeline) runner.model.eval() #images = image #progress_bar = ProgressBar(len(images)) #for image_path in images: inference_detector(runner, image, texts, topk, threshold, output_dir=output_dir, use_amp=amp, show=show) progress_bar.update()
Здесь помимо прочего, необходимо обратить внимание на поле text=«bottle,yellow_sign».
Это и есть promt, который определяет что детектировать модели.
Результат можно считать хорошим, если учесть, что модель не пришлось переобучать и заниматься разметкой объектов.
Модель отзывчиво реагирует на изменение параметров, но лучше не увлекаться:
Классификация объектов и их привязка к ценникам
Классификация объектов в подробностях описываться не будет, так как нет ничего уникального в использовании той же yolov8 в задаче классификации вырезанных boxes, которые возвращает yolo-world.
На привязке объектов друг к другу остановимся подробнее.
Код выглядит примерно следующим образом:
from math import hypot def check_distances(x_price,y_price,w_price): min_distance=3000 for i in list(glob.glob('out2/*.txt')): with open (i) as f: a=list(map(int, f.read().split(','))) #{x},{y},{w},{h} #линия от правого верхнего угла ценника к середине низа предмета x1,y1,x2,y2=x_price,y_price,(a[0]+int((a[2]-a[0])/2)),a[3] #x1,y1 - x,y ценника x2,y2 - середина основания объекта, h -объекта #cv2.line (img, (x1,y1), (x2,y2), (0,255,0), 2) distance1 = int(hypot(x2 - x1, y2 - y1)) #линия от левого верхнего угла ценника к середине низа предмета x1,y1,x2,y2=w_price,y_price,(a[0]+int((a[2]-a[0])/2)),a[3] #x1,y1 - w,y ценника x2,y2 - середина основания объекта, h -объекта #cv2.line (img, (x1,y1), (x2,y2), (0,255,0), 2) distance2 = int(hypot(x2 - x1, y2 - y1)) temp=distance1+distance2 if min_distance>temp: min_distance=temp filename=i #print('\n') return min_distance,filename
Общий смысл в том, что от центра нижней части детектированного объекта проводятся условные линии к верхним углам детектированного ценника. И, в зависимости где эти дистанции минимальны, можно сделать вывод какой ценник к какому товару принадлежит. То есть, под каким товаром ближе всего расположен ценник. Вот такая математика на ровном месте, так сказать.
Выглядит это примерно так:
На этом все, спасибо за внимание.
