本发明涉及面向计算机视觉、目标检测和自动驾驶领域,具体地说是一种基于卷积神经网络的车辆目标检测方法。
背景技术:
1、目标检测,也叫目标识别,是计算机视觉领域的一个经典问题,其目的在于从输入的rgb图像中得到感兴趣目标的二维边界框和类别,其准确性和实时性是整个系统的一项重要特征。在真实场景下对车辆进行检测获取相关信息,有助于交通流量统计工作的展开,对停车场泊车调度系统和自动驾驶系统均有辅助作用。
2、传统的车辆检测算法主要针对静态背景,目标运动速度过慢时目标提取困难且计算量大,当目标的大小、形态发生改变时,识别准确率低。卷积神经网络(convolutionalneural network,cnns)具有很强的泛化能力,可以自动学习目标的深层语义特征,通过训练后还能对目标进行精准定位,研究其在目标检测上的应用非常有必要。
技术实现思路
1、针对现有技术的不足,本发明提供一种基于卷积神经网络的车辆目标检测方法,实现对输入图像的高精度目标检测,克服目前yolov3算法在小目标检测上的不足,可广泛用于城市智慧交通、停车场泊车系统。
2、本发明为实现上述目的所采用的技术方案是:一种基于卷积神经网络的车辆目标检测方法,包括以下步骤:
3、步骤1:获取rgb图像构建数据集用于卷积神经网络的训练,对数据集进行预处理得到n个锚框;
4、步骤2:将数据集中rgb图像通过darknet53网络提取特征;
5、步骤3:通过基于特征融合的soft-spp模块,将特征分别输入到池化核不同的池化层,在池化层采用softpool方式进行池化后将不同特征通道的特征串联;
6、步骤4:串联后的第一尺寸特征经过convolutional set卷积层进行上采样得到第二尺寸的特征图,第二尺寸特征图经convolutional set卷积层进行上采样得到第三尺寸的特征图;将第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图分别与darknet53网络中第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图进行串联后,分别输入至第一坐标注意力模块、第二坐标注意力模块、第三坐标注意力模块中,每个坐标注意力模块通过为每个特征通道分配不同的权重,将输入的特征图与权重根据特征通道相乘,得到输出特征;
7、步骤5:基于第一坐标注意力模块、第二坐标注意力模块、第三坐标注意力模块分别输出的第一尺寸、第二尺寸、第三尺寸的特征图,通过预处理的数据得到的n/3个锚框作为参考进行预测,分别在第一尺寸、第二尺寸、第三尺寸的特征图上得到预测框,完成通过由darknet53网络、soft-spp模块、convolutional set卷积层和坐标注意力模块构成的训练卷积神经网络进行训练,得到训练后的卷积神经网络;
8、步骤6:将含有车辆目标的图像输入至训练后的卷积神经网络,进行边界框和目标类别的预测。
9、所述对数据集进行预处理得到n个锚框,包括以下步骤:
10、获取kitti数据集中的标签数据,使用k-means算法对标签中的边界框尺寸进行聚类,求得n个锚框的尺寸,用于预测不同尺寸的目标;
11、所述标签数据包括目标及其真实框位置、类别。
12、所述基于特征融合的soft-spp模块,使用softpool代替maxpool进行池化:
13、
14、其中,ai为邻域r内的像素点,wi为第i个像素点权值,j代表该邻域内的像素点序号;
15、池化的输出值用求得的权值wi与相应位置像素点ai加权并求和得到:
16、
17、表示池化后的输出值,﹡表示点乘。
18、训练过程中,同时考虑边界框两个角点之间的距离和边界框的长宽比,采用衡量预测框和真实框接近程度的kiou函数:
19、
20、
21、
22、边界框损失函数为:
23、lbox=1-kiou
24、其中,h和w分别代表预测框的长和宽,hgt和wgt分别代表真实框的长和宽,ρ代表预测框与真实框对应点之间的欧式距离;k1和k2分别代表预测框的左上角点和右下角点;和分别代表真实框的左上角点和右下角点;c代表最小包围框ac的对角线长度;v用来度量长宽比的相似性,使得预测框和真实框的形状趋于相似;α是权重函数,iou表示预测框和真实框的交集面积与并集面积之比。
25、一种基于卷积神经网络的车辆目标检测系统,包括:
26、数据集构建模块,用于获取rgb图像构建数据集用于卷积神经网络的训练,对数据集进行预处理得到n个锚框;
27、特征提取模块,用于将数据集中rgb图像通过darknet53网络提取特征;
28、soft-spp模块,用于将特征分别输入到池化核不同的池化层,在池化层采用softpool方式进行池化后将不同特征通道的特征串联;
29、坐标注意力模块,用于串联后的第一尺寸特征经过convolutional set卷积层进行上采样得到第二尺寸的特征图,第二尺寸特征图经convolutional set卷积层进行上采样得到第三尺寸的特征图;将第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图分别与darknet53网络中第一尺寸的特征图、第二尺寸的特征图、第三尺寸的特征图进行串联后,分别输入至第一坐标注意力模块、第二坐标注意力模块、第三坐标注意力模块中,每个坐标注意力模块通过为每个特征通道分配不同的权重,将输入的特征图与权重根据特征通道相乘,得到输出特征;
30、卷积神经网络模块,用于基于第一坐标注意力模块、第二坐标注意力模块、第三坐标注意力模块分别输出的第一尺寸、第二尺寸、第三尺寸的特征图,通过预处理的数据得到的n/3个锚框作为参考进行预测,分别在第一尺寸、第二尺寸、第三尺寸的特征图上得到预测框,完成通过由darknet53网络、soft-spp模块、convolutional set卷积层和坐标注意力模块构成的训练卷积神经网络进行训练,得到训练后的卷积神经网络;
31、目标检测模块,用于将含有车辆目标的图像输入至训练后的卷积神经网络,进行边界框和目标类别的预测。
32、一种基于卷积神经网络的车辆目标检测装置,包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,实现所述的一种基于卷积神经网络的车辆目标检测方法。
33、一种计算机可读存储介质,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现所述的一种基于卷积神经网络的车辆目标检测方法。
34、本发明具有以下有益效果及优点:
35、本发明可有效地处理车辆目标检测问题,网络模型能够准确地学习到图像的显著特征,尤其是对小目标的学习情况有所改善,并最终给出车辆目标的定位信息和分类信息。
1.一种基于卷积神经网络的车辆目标检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于卷积神经网络的车辆目标检测方法,其特征在于,所述对数据集进行预处理得到n个锚框,包括以下步骤:
3.根据权利要求1所述的一种基于卷积神经网络的车辆目标检测方法,其特征在于:所述基于特征融合的soft-spp模块,使用softpool代替maxpool进行池化:
4.根据权利要求1所述的一种基于卷积神经网络的车辆目标检测方法,其特征在于,训练过程中,同时考虑边界框两个角点之间的距离和边界框的长宽比,采用衡量预测框和真实框接近程度的kiou函数:
5.一种基于卷积神经网络的车辆目标检测系统,其特征在于,包括:
6.一种基于卷积神经网络的车辆目标检测装置,其特征在于,包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,实现如权利要求1-5任一项所述的一种基于卷积神经网络的车辆目标检测方法。
7.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-5任一项所述的一种基于卷积神经网络的车辆目标检测方法。
