本发明涉及数据处理,尤其涉及一种多摄像头拼接的高分辨率视频的目标识别方法及装置。
背景技术:
1、近年来全国范围内兴起收费站自由流通行改造工程,通过增加etc预收费、路侧情报板诱导通行等措施,达到车辆能够快速通过收费站的目的。收费站所管理人员为了能了解增加的诱导设备对司机是否起到指引作用,需要全场景实时感知收费站过往车辆行车轨迹、预交易状态、车牌信息等。
2、为达到这一目的,工程部分在路侧架设高杆,在高杆顶部安装全景相机。全景相机输出的视频是多摄像头拼接的高分辨率视频,视频的分辨率达到4k或者8k;另外视频图像整体有畸变,呈现出鱼眼形状的变形,即两侧画面物体缩小,中间画面物体拉伸变大。
3、多摄像头拼接的高分辨率视频的车辆目标识别需要解码视频、逐帧识别和跟追,基于深度学习的视觉模型yolov7输入图像分辨率需压缩为640x640,对于输入的4k或8k高分辨率图像识别来说,会丢失大量小目标,同时全景相机的图像畸变导致追踪目标丢失率高,无法满足多摄像头拼接的高分辨率视频内全场景目标识别、追踪的要求。
技术实现思路
1、针对现有技术中存在的技术问题,本发明提供一种多摄像头拼接的高分辨率视频的目标识别方法及装置,用以解决多摄像头拼接的高分辨率视频识别时丢失大量小目标和追踪丢失问题。
2、根据本发明的第一方面,本发明提供一种多摄像头拼接的高分辨率视频的目标识别方法,包括以下步骤:
3、使用opencv循环读取全景相机中的4k视频流的每一帧图像,将全景相机中所述图像的识别区域切分为多个小图像;
4、使用yolov7微调模型分别识别所述小图像,获取各个小图像的识别结果并合并到一个数据集中;
5、过滤出4k视频流中道路区域内的车辆目标,并检测目标数据集,将检测后得到的图像进行目标融合与去重;
6、使用卡尔曼滤波算法做目标追踪,输出道路区域内各车辆的位置、类别和置信度信息。
7、在上述技术方案的基础上,本发明还可以作出如下改进。
8、可选的,所述循环读取全景相机中的4k视频流的每一帧图像,将全景相机中所述图像的识别区域切分为多个小图像包括:
9、使用opencv读取视频图像中的每一帧数据,将靠近图像边缘的矩形框做放大处理,将图像中间的矩形框做缩小处理;
10、按照配置的切分区域使用多维数组工具将数据切分生成三个小分辨率的矩形框,
11、最后,设定矩形框交接处的重叠区域,使多个矩形框区域的并集覆盖图像中道路检测区域。
12、可选的,所述设定矩形框交接处的重叠区域,使多个矩形框区域的并集覆盖图像中道路检测区域包括:
13、设定重叠区域宽度大于途经车辆目标宽度的平均值,将重叠区域高度覆盖当前位置道路的宽度;
14、设定车辆目标在多摄像头拼接的高分辨率视频从左往右行驶或者从右往左行驶,使矩形框的并集区域完全覆盖目标检测车辆行驶道路。
15、可选的,所述设定车辆目标在多摄像头拼接的高分辨率视频从左往右行驶或者从右往左行驶包括以下步骤:
16、绘制多边形覆盖图像上需要识别道路的区域;
17、从车辆行驶的入口开始绘制矩形框,从左往右或从右往左依次绘制矩形框,两两矩形框中间交接位置设置等比例的重叠区域。
18、可选的,所述使用yolov7微调模型分别识别所述小图像包括:
19、采用小图像采样,使采样的图像样本和图像识别的样本大小一致;在对于大车上拖小车的目标只标注大车整体的目标框;
20、对于车辆目标出现截断,目标宽度小于目标本身宽度三分之一的车辆不予标注;
21、将不同小图像的样本微调出不同的模型,降低图像畸变;
22、最后,识别切分小图像区域内的车辆目标。
23、可选的,所述获取各个小图像的识别结果并合并到一个数据集中包括:
24、使用yolov7模型对不同小分辨率矩形框进行识别,输出识别目标的矩形框坐标和置信度数据。
25、可选的,所述过滤出4k视频流中道路区域内的车辆目标包括:
26、在图像中道路区域边缘选取关键点,使关键点连接起来形成道路检测区域面,使用卡尔曼滤波算法判断识别目标中心点坐标是否在道路检测区域内,过滤掉区域外的检测目标。
27、可选的,所述使用卡尔曼滤波算法做目标追踪包括:
28、设定目标检测框,使用固定目标检测框作为目标坐标输入;
29、设定滤波算法的参数;所述参数包括:设定达到足够的关联次数、丢失关联和相似度的值。
30、可选的,所述输出道路区域内各车辆的位置、类别和置信度信息包括:
31、根据卡尔曼滤波算法融合结果目标追踪,融合图像识别和目标追踪的信息,输出目标跟踪后的数据列表,得到多摄像头拼接的高分辨率视频内的车辆目标的位置、类别和置信度信息。
32、根据本发明的第二方面,提供一种多摄像头拼接的高分辨率视频的目标识别装置,包括:
33、视频图像roi区域内切分模块,用于通过opencv循环读取全景相机中的4k视频流的每一帧图像,将图像的识别区域切分为多个小图像;
34、视觉模型目标检测模块,用于使用yolov7微调模型分别识别小图像,获取各个小图像的识别结果并合并到一个数据集中;
35、识别目标融合去重模块,用于过滤出4k视频流中道路区域内的车辆目标,并检测目标数据集,将检测后得到的图像进行目标融合与去重;
36、融合结果目标跟踪,用于使用卡尔曼滤波算法做目标追踪,输出道路区域内各车辆的位置、类别和置信度信息。
37、本发明的技术效果和优点:
38、本发明提供的一种多摄像头拼接的高分辨率视频的目标识别方法及装置,通过将大分辨率图像做切分,使用成熟的实时目标检测模型对切分之后的小图像做识别,最后对分开识别的目标做去重融合;最后,使用卡尔曼滤波算法做目标追踪,输出道路区域内各车辆的位置、类别和置信度信息。本发明旨在改善多摄像头拼接视频图像识别过程中的目标追踪丢失问题,具体用于解决全景相机在读取高分辨率视频流并做图像识别时会丢失大量小目标的技术问题。在使用本发明之前,按照传统的识别方式,直接把高分辨率视频图像通过尺寸变化输入到视觉图像识别模型做目标检测,实际视频图像中目标识别率统计值仅有30%;采用本发明技术之后识别,相同的硬件设备、相同的网络带宽,目标识别率统计值能达到95%以上。
1.一种多摄像头拼接的高分辨率视频的目标识别方法,其特征在于,所述方法包括以下步骤:
2.根据权利要求1所述的一种多摄像头拼接的高分辨率视频的目标识别方法,其特征在于,所述循环读取全景相机中的4k视频流的每一帧图像,将全景相机中所述图像的识别区域切分为多个小图像包括:
3.根据权利要求2所述的一种多摄像头拼接的高分辨率视频的目标识别方法,其特征在于,所述设定矩形框交接处的重叠区域,使多个矩形框区域的并集覆盖图像中道路检测区域包括:
4.根据权利要求3所述的一种多摄像头拼接的高分辨率视频的目标识别方法,其特征在于,所述设定车辆目标在多摄像头拼接的高分辨率视频从左往右行驶或者从右往左行驶包括以下步骤:
5.根据权利要求1所述的一种多摄像头拼接的高分辨率视频的目标识别方法,其特征在于,所述使用yolov7微调模型分别识别所述小图像包括:
6.根据权利要求1所述的一种多摄像头拼接的高分辨率视频的目标识别方法,其特征在于,所述获取各个小图像的识别结果并合并到一个数据集中包括:
7.根据权利要求1所述的一种多摄像头拼接的高分辨率视频的目标识别方法,其特征在于,所述过滤出4k视频流中道路区域内的车辆目标包括:
8.根据权利要求1所述的一种多摄像头拼接的高分辨率视频的目标识别方法,其特征在于,所述使用卡尔曼滤波算法做目标追踪包括:
9.根据权利要求1所述的一种多摄像头拼接的高分辨率视频的目标识别方法,其特征在于,所述输出道路区域内各车辆的位置、类别和置信度信息包括:
10.一种多摄像头拼接的高分辨率视频的目标识别装置,其特征在于,所述装置包括:
