一种高速工程车辆检测方法、装置、设备及存储介质与流程

1.本发明属于目标检测技术领域，具体涉及一种高速工程车辆检测方法、装置、设备及存储介质。


背景技术：

2.随着我国经济的发展和高速公路通车里程的增加、高速公路车流量的日益增长，高速公路监控系统的作用越来越突出，交通流数据采集和交通事故检测是监控系统的重中之重。车辆检测器作为交通信息采集的一个重要组成部分,以机动车辆为检测目标，检测车辆的通过或存在状况，其作用是为智能交通控制系统提供足够的信息以便进行最优的控制。
3.其中应急车道停车是检查的重点之一，但是很多情况下，应急车道停的是道路养护的工程车辆，而且停车时间较长，如果一直报警会让监控人员无法及时处理其他报警信息，造成信息遗漏的问题。


技术实现要素：

4.有鉴于此，本发明提出了一种高速工程车辆检测方法、装置及电子设备，用于解决高速公路车辆检测误报警率高的问题，实现应急车道工程车辆检测，减少误报。
5.本发明第一方面，提出一种高速工程车辆检测方法，所述方法包括：
6.获取应急车道上待检测图像并预处理；
7.改进yolov3网络的结构，作为高速车辆检测模型；所述高速车辆检测模型包括第一特征提取模块、第二特征提取模块、特征融合模块和目标探测模块；
8.将预处理后的待检测图像输入预训练的高速车辆检测模型，预测得到目标的边界框及对应的置信度；
9.去除重复边界框，保留置信度最高的边界框并提取框内图像；
10.提取框内图像的特征向量，计算框内图像的特征向量与预训练的工程车特征向量之间的余弦距离，若余弦距离小于第一预设阈值，则定义为工程车，否则定义为非工程车。
11.优选的，所述高速车辆检测模型中，所述第一特征提取模块包括多各卷积层、三个特征提取子模块extract block、三个route层及三个池化层；每个route层用于将当前卷积层的输出结果与当前特征提取子模块的输出结果拼接，并将拼接结果输出到当前池化层，其中，所述当前特征提取子模块的输入为所述当前卷积层的输出结果；所述特征提取子模块包括多个卷积层和一个route层，用于将包括依次连接的两个卷积层一个route层和第三个卷积层，所述route层还与第一个卷积层连接。
12.优选的，所述高速车辆检测模型中，所述第二特征提取模块包括依次连接的卷积层、池化层、多个residual block层，其中每个residual block层包括三个卷积层。
13.优选的，所述高速车辆检测模型中，所述特征融合模块用于将第一特征提取模块和第二特征提取模块中提取出的不同特征进行跨层次的特征融合，包括卷积层、第一上采
样层、第一拼接层、第二上采样层、第二拼接层以及第三拼接层、第四拼接层、第五拼接层；
14.预处理后的待检测图像经过第一特征提取模块进行特征提取之后，再经过多个卷积层，输出第一层特征图；
15.将第一层特征图上采样后与第一特征提取模块中的第三个特征提取子模块extract block 3的结果通过第一拼接层拼接，得到第二层特征图；
16.将第二层特征图上采样后与第一特征提取模块中的第二个特征提取子模块extract block 2的结果通过第二拼接层拼接，得到第三层特征图。
17.优选的，所述高速车辆检测模型中，所述特征融合模块还包括：
18.将第二特征提取模块的最终输出结果经过一层卷积层后与第一层特征图通过第三拼接层拼接，输出第一层特征图的检测结果；
19.将第二特征提取模块中第三residual block层的输出结果经过一层卷积层后与第二层特征图通过第四拼接层拼接，输出第二层特征图的检测结果；
20.将第二特征提取模块中第一residual block层的输出结果经过一层卷积层后与第二层特征图通过第五拼接层拼接，输出第三层特征图的检测结果。
21.优选的，所述高速车辆检测模型中，所述目标探测模块包括三个yolo层和三个detection层，用于输出各层目标检测结果，包括预测得到的边界框位置及每个边界框的置信度。
22.优选的，所述方法还包括：
23.计算待检测图像上非工程车所在区域与预先标注的施工区域之间的iou，若iou大于第二预设阈值，输出报警信息。
24.本发明第二方面，公开一种高速工程车辆检测装置，所述装置包括：
25.数据获取模块：用于获取应急车道上待检测图像并预处理；
26.模型构建模块：用于改进yolov3网络的结构，作为高速车辆检测模型；所述高速车辆检测模型包括第一特征提取模块、第二特征提取模块、特征融合模块和目标探测模块；
27.目标检测模块：用于将预处理后的待检测图像输入预训练的高速车辆检测模型，预测得到目标的边界框及对应的置信度；去除重复边界框，保留置信度最高的边界框并提取框内图像；
28.目标识别模块：用于提取框内图像的特征向量，计算框内图像的特征向量与预训练的工程车特征向量之间的余弦距离，若余弦距离小于第一预设阈值，则定义为工程车，否则定义为非工程车；
29.报警输出模块：用于计算待检测图像上非工程车所在区域与预先标注的施工区域之间的iou，若iou大于第二预设阈值，输出报警信息。
30.本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
31.其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
32.所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明第一方面所述的方法。
33.本发明第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明第一方面所述的方法。
34.本发明相对于现有技术具有以下有益效果：
35.1)本发明在yolov3网络结构的基础上，设计了新的网络结构作为高速车辆检测模型，该高速车辆检测模型将输入的图像分成两路进行特征提取，其中第一特征提取模块，通过多个特征提取子模块对不同尺度的图像数据进行特征提取，通过多个route层进行多特征融合，通过多个池化层对数据降维，去除冗余信息，本发明的第一特征提取层可以更好的提取不同尺度的特征，并通过特征融合模块与第二特征提取模块中提取出的不同尺度特征进行跨层次的特征融合，提升了小尺度目标的校测效果；
36.2)本发明能对应急车道停车进行检测，区分工程车与非工程车，对非工程车停在应急车道的情况进行报警输出，减少误报。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明高速工程车辆检测方法流程示意图；
39.图2为本发明高速车辆检测模型的网络结构示意图；
40.图3为本发明特征提取子模块的结构示意图。
具体实施方式
41.下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
42.请参阅图1，本发明提出一种高速工程车辆检测方法，所述方法包括：
43.s1、获取应急车道上待检测图像并预处理；
44.s2、改进yolov3网络的结构，作为高速车辆检测模型；所述高速车辆检测模型包括第一特征提取模块、第二特征提取模块、特征融合模块和目标探测模块；
45.请参阅图2，本发明实施例提供的高速车辆检测模型的网络结构示意图，所述第一特征提取模块包括多各卷积层、三个特征提取子模块extract block、三个route层及三个池化层；每个route层用于将当前卷积层的输出结果与当前特征提取子模块的输出结果拼接，并将拼接结果输出到当前池化层，其中，所述当前特征提取子模块的输入为所述当前卷积层的输出结果；请参阅图3，所述特征提取子模块包括多个卷积层和一个route层，用于将包括依次连接的两个卷积层一个route层和第三个卷积层，所述route层还与第一个卷积层连接。
46.所述第二特征提取模块包括依次连接的卷积层、池化层、多个residual block层，其中每个residual block层包括三个卷积层。
47.本发明实施例中，每个卷积层后都会跟一个bn层和一个leaky层/linear层。
48.本发明实施例中，输入图像大小为608*608，第一特征提取模块输出76*76、38*38、
19*19三个尺度的特征图，第二特征提取模块也输出76*76、38*38、19*19三个尺度的特征图，通过特征融合模块将第一特征提取模块和第二特征提取模块中提取出的各个尺度特征进行同尺度特征融合和跨层次特征连接。
49.所述特征融合模块用于将第一特征提取模块和第二特征提取模块中提取出的不同尺度特征进行跨层次的特征融合，所述特征融合模块包括卷积层、第一上采样层、第一拼接层、第二上采样层、第二拼接层以及第三拼接层、第四拼接层、第五拼接层；
50.预处理后的待检测图像经过第一特征提取模块进行特征提取之后，再经过多个卷积层，输出大小为19*19的第一层特征图；
51.将第一层特征图上采样后与第一特征提取模块中的第三个特征提取子模块extract block 3的结果通过第一拼接层拼接，得到大小为38*38的第二层特征图；
52.将第二层特征图上采样后与第一特征提取模块中的第二个特征提取子模块extract block 2的结果通过第二拼接层拼接，得到大小为76*76的第三层特征图。
53.将第二特征提取模块的最终输出结果经过一层卷积层后与第一层特征图通过第三拼接层拼接，输出第一层特征图的检测结果；
54.将第二特征提取模块中第三residual block层(residual block 3)的输出结果经过一层卷积层后与第二层特征图通过第四拼接层拼接，输出第二层特征图的检测结果；
55.将第二特征提取模块中第一residual block层(residual block 1)的输出结果经过一层卷积层后与第二层特征图通过第五拼接层拼接，输出第三层特征图的检测结果。
56.所述目标探测模块包括三个yolo层和三个detection层，用于输出各层目标检测结果，包括预测得到的边界框位置及每个边界框的置信度。其中yolo 1用于接收特征融合模块输出的大小为19*19的第一层特征图，yolo 2用于接收特征融合模块输出的大小为38*38的第二层特征图，yolo 3用于接收特征融合模块输出的大小为76*76的第三层特征图。detection 1用于输出第一层特征图的目标检测结果，detection 2用于输出第二层特征图的检测结果；detection 3用于输出第三层特征图的检测结果。
57.本发明的第一特征提取层可以更好的提取不同尺度的特征，并通过特征融合模块与第二特征提取模块中提取出的不同尺度特征进行跨层次的特征融合，提升了小尺度目标的校测效果。
58.s3、将预处理后的待检测图像输入预训练的高速车辆检测模型，预测得到目标的边界框及对应的置信度；
59.s4、去除重复边界框，保留置信度最高的边界框并提取框内图像；
60.具体可采用非极大值抑制法去除重复边界框。
61.s5、提取框内图像的特征向量，计算框内图像的特征向量与各个预训练的工程车特征向量之间的余弦距离，若某一余弦距离小于第一预设阈值，则框内图像定义为工程车，否则定义为非工程车。
62.s6、计算待检测图像上非工程车所在区域与预先标注的施工区域之间的iou，若iou大于第二预设阈值，输出报警信息。
63.本发明能对应急车道停车进行检测，区分工程车与非工程车，对非工程车停在应急车道施工区域的情况进行报警输出，减少误报。
64.与所述方法实施例相对应，本发明还提出一种高速工程车辆检测装置，其特征在
于，所述装置包括：
65.数据获取模块：用于获取应急车道上待检测图像并预处理；
66.模型构建模块：用于改进yolov3网络的结构，作为高速车辆检测模型；所述高速车辆检测模型包括第一特征提取模块、第二特征提取模块、特征融合模块和目标探测模块；
67.目标检测模块：用于将预处理后的待检测图像输入预训练的高速车辆检测模型，预测得到目标的边界框及对应的置信度；去除重复边界框，保留置信度最高的边界框并提取框内图像；
68.目标识别模块：用于提取框内图像的特征向量，计算框内图像的特征向量与预训练的工程车特征向量之间的余弦距离，若余弦距离小于第一预设阈值，则定义为工程车，否则定义为非工程车；
69.报警输出模块：用于计算待检测图像上非工程车所在区域与预先划分的施工区域之间的iou，若iou大于第二预设阈值，输出报警信息。
70.本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。
71.本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：u盘、移动硬盘、只议存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储程序代码的介质。
72.以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。可以根据实际的衙要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
73.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种高速工程车辆检测方法，其特征在于，所述方法包括：获取应急车道上待检测图像并预处理；改进yolov3网络的结构，作为高速车辆检测模型；所述高速车辆检测模型包括第一特征提取模块、第二特征提取模块、特征融合模块和目标探测模块；将预处理后的待检测图像输入预训练的高速车辆检测模型，预测得到目标的边界框及对应的置信度；去除重复边界框，保留置信度最高的边界框并提取框内图像；提取框内图像的特征向量，计算框内图像的特征向量与预训练的工程车特征向量之间的余弦距离，若余弦距离小于第一预设阈值，则定义为工程车，否则定义为非工程车。2.根据权利要求1所述高速工程车辆检测方法，其特征在于，所述高速车辆检测模型中，所述第一特征提取模块包括多各卷积层、三个特征提取子模块extract block、三个route层及三个池化层；每个route层用于将当前卷积层的输出结果与当前特征提取子模块的输出结果拼接，并将拼接结果输出到当前池化层，其中，所述当前特征提取子模块的输入为所述当前卷积层的输出结果；所述特征提取子模块包括多个卷积层和一个route层，用于将包括依次连接的两个卷积层一个route层和第三个卷积层，所述route层还与第一个卷积层连接。3.根据权利要求2所述高速工程车辆检测方法，其特征在于，所述高速车辆检测模型中，所述第二特征提取模块包括依次连接的卷积层、池化层、多个residualblock层，其中每个residualblock层包括三个卷积层。4.根据权利要求3所述高速工程车辆检测方法，其特征在于，所述高速车辆检测模型中，所述特征融合模块用于将第一特征提取模块和第二特征提取模块中提取出的不同特征进行跨层次的特征融合，包括卷积层、第一上采样层、第一拼接层、第二上采样层、第二拼接层以及第三拼接层、第四拼接层、第五拼接层；预处理后的待检测图像经过第一特征提取模块进行特征提取之后，再经过多个卷积层，输出第一层特征图；将第一层特征图上采样后与第一特征提取模块中的第三个特征提取子模块extract block 3的结果通过第一拼接层拼接，得到第二层特征图；将第二层特征图上采样后与第一特征提取模块中的第二个特征提取子模块extract block 2的结果通过第二拼接层拼接，得到第三层特征图。5.根据权利要求4所述高速工程车辆检测方法，其特征在于，所述高速车辆检测模型中，所述特征融合模块还包括：将第二特征提取模块的最终输出结果经过一层卷积层后与第一层特征图通过第三拼接层拼接，输出第一层特征图的检测结果；将第二特征提取模块中第三residual block层的输出结果经过一层卷积层后与第二层特征图通过第四拼接层拼接，输出第二层特征图的检测结果；将第二特征提取模块中第一residual block层的输出结果经过一层卷积层后与第二层特征图通过第五拼接层拼接，输出第三层特征图的检测结果。6.根据权利要求5所述高速工程车辆检测方法，其特征在于，所述高速车辆检测模型中，所述目标探测模块包括三个yolo层和三个detection层，用于输出各层目标检测结果，
包括预测得到的边界框位置及每个边界框的置信度。7.根据权利要求1所述高速工程车辆检测方法，其特征在于，所述方法还包括：计算待检测图像上非工程车所在区域与预先标注的施工区域之间的iou，若iou大于第二预设阈值，输出报警信息。8.一种高速工程车辆检测装置，其特征在于，所述装置包括：数据获取模块：用于获取应急车道上待检测图像并预处理；模型构建模块：用于改进yolov3网络的结构，作为高速车辆检测模型；所述高速车辆检测模型包括第一特征提取模块、第二特征提取模块、特征融合模块和目标探测模块；目标检测模块：用于将预处理后的待检测图像输入预训练的高速车辆检测模型，预测得到目标的边界框及对应的置信度；去除重复边界框，保留置信度最高的边界框并提取框内图像；目标识别模块：用于提取框内图像的特征向量，计算框内图像的特征向量与预训练的工程车特征向量之间的余弦距离，若余弦距离小于第一预设阈值，则定义为工程车，否则定义为非工程车；报警输出模块：用于计算待检测图像上非工程车所在区域与预先划分的施工区域之间的iou，若iou大于第二预设阈值，输出报警信息。9.一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如权利要求1～7任一项所述的方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现权利要求1～7任一项所述的方法。
技术总结
本发明公开一种高速工程车辆检测方法、装置、设备及存储介质，所述方法包括：获取应急车道上待检测图像并预处理；改进YOLOv3网络的结构，作为高速车辆检测模型；将预处理后的待检测图像输入预训练的高速车辆检测模型，预测得到目标的边界框及对应的置信度；去除重复边界框，保留置信度最高的边界框并提取框内图像；提取框内图像的特征向量，计算框内图像的特征向量与预训练的工程车特征向量之间的余弦距离，根据余弦距离判断是否为非工程车；计算待检测图像上非工程车所在区域与预先标注的施工区域之间的IOU，若IOU大于第二预设阈值，输出报警信息。本发明能对应急车道停车进行检测，对非工程车停在应急车道施工区域的情况进行报警输出，减少误报。减少误报。减少误报。


技术研发人员：韩金波 袁理 韩鲁诚 李增非
受保护的技术使用者：武汉泰沃滋信息技术有限公司
技术研发日：2021.03.23
技术公布日：2021/7/15