本发明涉及道路破损预警信息处理，特别涉及一种基于深度学习的道路破损预警方法。
背景技术：
1、随着道路交通网络的快速建成和运营，道路管理和养护能力存在一定的不足。若未能及时解决，可能会对行人、车辆等的安全造成威胁。目前道路路面检测主要分为人工检测和自动化检测两类方法。人工检测存在工作量大、效率低、安全性差、结果差异性大等弊端，无法满足道路破损快速、准确检测的要求。而现有自动化检测设备价格高昂，有些还需要人工辅助操作才能完成整个检测工作，因而仍存在一定的局限性。
2、据此，使用图像传感器作为路面数据采集设备，基于深度学习的道路破损检测仍处于发展阶段，检测效果距离实际需求还有一定差距；
3、现有的部分技术硬件成本过于昂贵，部分方法使用雷达、激光等设备，成本过高，难以大面积应用到实际中。
4、现有的部分使用深度学习检测道路破损的技术，使用了大量的卷积层，造成了特征的冗余。
5、现有的部分方法考虑的特征信息不够全面，容易缺失信息，造成道路破损预警模型效果较差，为此，提出一种基于深度学习的道路破损预警方法。
技术实现思路
1、有鉴于此，本发明实施例希望提供一种基于深度学习的道路破损预警方法，以解决或缓解现有技术中存在的技术问题，至少提供一种有益的选择。
2、本发明实施例的技术方案是这样实现的：一种基于深度学习的道路破损预警方法，包括以下步骤：
3、s101、构建道路破损数据集，或使用现有公开道路破损数据集：
4、道路破损数据集通过在汽车上安装摄像头，在路面上行驶过程中进行采集，采集得到的图像数据通过人工进行标注，使用标注工具将破损位置框选并进行类型标注；
5、s102、对道路破损数据集中的所有图像预处理，进行双边滤波操作，得到处理后的道路破损数据集：
6、道路破损图像经过双边滤波处理后，道路破损特征更加明显，同时图像整体也变得更加平滑；
7、s103、构建了一种道路破损预警模型，将预处理后的道路破损图像输入道路破损预警模型中：
8、道路破损预警模型用于对道路上的破损位置和破损类型进行检测；
9、s104、对道路破损数据集进行划分，然后对道路破损预警模型进行训练与验证；
10、s105、道路破损预警模型训练完后，应用道路破损预警模型检测道路破损，对道路有破损的区域及时进行预警。
11、在一些实施例中，在所述s103中，构建了一种道路破损预警模型，将预处理后的道路破损图像输入道路破损预警模型中的具体步骤如下：
12、s1031、设计一个fcp模块和fcb模块，fcp模块即在fcb模块后连接一个hpooling层，用于快速地提取道路破损图像的特征，增强道路破损预警模型处理复杂的道路场景的能力，减少道路破损图像特征冗余；
13、fcp模块由conv层、relu层、lconv层、relu层、conv层、relu层、hpooling层依次串联组成，将道路破损特征图输入conv层中，得到的结果输入到relu层，得到道路破损特征图，再将输入到lconv层，得到的结果输入到relu层，得到道路破损特征图，然后将输入conv层中，得到的结果输入到relu层，得到道路破损特征图，进行concat，得到道路破损特征图，为fcb模块的输出结果，再将输入到hpooling层，得到道路破损特征图，为fcp模块的输出结果；
14、s1032、设计了csattention模块，用于实现感受视野的均衡，可以感知整个空间的特征，考虑了全局和局部信息，同时也减少对道路破损图像中无关区域的干扰；
15、s1033、搭建道路破损预警模型中特征提取部分，将道路破损图像输入，生成最终输出的道路破损特征图，考虑了全局和局部信息，同时也减少对道路破损图像中无关区域的干扰，同时对道路破损中的破损位置的小目标的特征提取更加有效；
16、s1034、将s1033输出的道路破损特征图分别输入到分类器和回归器中，输出预测的边界框和目标类别，最后经过非极大值抑制去除重叠的边界框，输出预测的边界框和类别，最终实现道路破损预警模型的监测。
17、在一些实施例中，在所述s1031中，具体操作步骤如下：
18、s1031-1、将道路破损特征图f1输入到卷积核大小为3×3，步长为1，零填充为1的conv层，得到输出结果，输出通道为输入通道的一半，再将结果输入relu层，得到道路破损特征图f2；
19、s1031-2、将f2输入lconv层，lconv层在f2的输入通道，均匀的取1/4的输入通道进行特征提取(即这1/4的通道中的每个通道与相邻的同属于这1/4的通道之间间隔的通道数相同)，使用卷积核大小为3×3，步长为1，零填充为1的卷积进行特征提取，而其余3/4的输入通道保持不变，直接复制到输出的结果中，得到输出结果，再将结果输入relu层，得到道路破损特征图f3；
20、s1031-3、将道路破损特征图f3输入到卷积核大小为3×3，步长为1，零填充为1的conv层，得到输出结果，再将结果输入relu层，得到道路破损特征图f4；
21、s1031-4、将道路破损特征图f3、f4进行concat，得到道路破损特征图f5，为fcb模块最终输出的结果，然后道路破损特征图f5输入池化窗口大小为4×4，步长为2，零填充为1的hpooling层，得到道路破损特征图f6，为fcp模块最终输出的结果；
22、hpooling层工作流程：
23、对每个池化窗口中的每一行求取最大值，再对得到的结果求取均值，另外对该池化窗口中的每一列求取最大值，再对得到的结果求取均值，将这两个均值结果进行加权，得到对应输出特征图上的像素点的值。
24、在一些实施例中，所述s1031中，计算公式如下：
25、
26、式中，k为hpooling层的尺寸，am,n为输入的特征图中，对应的k×k池化窗口中的第m行第n列像素点(m＝1,…,k,n＝1,…,k)，为对应输出的特征图上的像素点，而p则是通过模型的训练学习得到，初始值设为0.5。
27、在一些实施例中，所述s1032中，具体步骤如下：
28、s1032-1、将道路破损特征图x1分别输入到3个由2c个卷积核大小为1×1的卷积核的conv层，将第一个conv层输出的结果进行降维，得到道路破损特征图x2；卷积核大小为1×1的conv层是对输入的特征图的通道数进行改变，取决于该conv层的卷积核个数，conv层的卷积核个数等于输出的特征图的通道数。将第二个conv层输出的结果降维后输入softmax层，然后将得到的结果对维度进行转置，得到道路破损特征图x3；将第三个conv层输出的结果降维后输入softmax层，得到道路破损特征图x5；
29、s1032-2、将道路破损特征图x2和道路破损特征图x3进行矩阵相乘，得到道路破损特征图x4；
30、s1032-3、将道路破损特征图x4和道路破损特征图x5进行矩阵相乘，再将其从展平的形状恢复为二维特征图的形状，得到道路破损特征图x6；
31、s1032-4、将道路破损特征图x6输入conv层，得到道路破损特征图x7。
32、在一些实施例中，所述降维就是对剩余维度进行展平，将高度和宽度维度合并为一个维度。
33、在一些实施例中，所述s1033中，具体步骤如下：
34、s1033-1、搭建一个卷积核大小为1×1的conv层和relu层，形成conv1×1+relu模块，将道路破损图像输入conv1×1+relu模块，并将输出的结果传入fcp模块中，得到道路破损特征图y1；
35、s1033-2、依次堆叠四个fcp模块，前三个fcp模块输出的结果，经过一个卷积核大小为1×1的conv层后，将结果输入到下一个fcp模块中，四个fcp模块输出的道路破损特征图依次记为y1、y2、y3、y4；
36、s1033-3、将道路破损特征图y1、y2、y3、y4分别输入四个csattention模块，得到道路破损特征图y′1、y′2、y′3、y′4；
37、s1033-4、将道路破损特征图y1、y2、y3、y4分别于道路破损特征图y′1、y′2、y′3、y′4进行concat操作，得到道路破损特征图y″1、y″2、y″3、y″4；
38、s1033-5、将道路破损特征图y″4输入fcb模块中，得到道路破损特征图y″′4，再将道路破损特征图y″′4经过conv1×1+upsampling(一个卷积核大小为1×1的conv层及进行2倍上采样，此处上采样方式通过最近邻插值方法将高和宽扩大两倍，而通道数不变，后同)后得到道路破损特征图y″″4和道路破损特征图y″3进行矩阵相乘，得到的结果输入到fcb模块中，得到道路破损特征图y″′3；
39、s1033-6、将道路破损特征图y″′3经过conv1×1+upsampling后得到道路破损特征图y3，和道路破损特征图y″2进行矩阵相乘，得到的结果输入到fcb模块中，得到道路破损特征图y″′2；
40、再将道路破损特征图y″′2经过conv1×1+upsampling后得到道路破损特征图y″″2，和道路破损特征图y″1进行矩阵相乘，得到的结果输入到fcb模块中，得到道路破损特征图y″′1；
41、s1033-7、将道路破损特征图y″′1经过conv1×1+upsampling后得到道路破损特征图y″″1，输入到conv1×1+relu模块中，得到的结果即为最终输出的道路破损特征图。
42、本发明实施例由于采用以上技术方案，其具有以下优点：
43、一、本发明通过在fcb模块和fcp模块中，对其中的卷积层进行部分卷积，和对池化层的改进，可以快速地提取道路破损图像的特征，增强道路破损预警模型处理复杂的道路场景的能力，减少道路破损图像特征冗余，在csattention模块中，引入了通道注意力机制，模型简单，运行速度快。
44、二、本发明通过模块的堆叠，可获取到深层和浅层的道路破损特征图，再输入csattention模块中，接着再通过concat和矩阵相乘，将特征结合，最终得到道路破损特征图，对道路破损中的破损位置的小目标的特征提取更加有效，可更快速提取道路破损图像的特征，且可减少特征冗余，引入了通道注意力机制，模型简单，运行速度快。
45、三、本发明对道路破损数据集进行预处理时，进行了双边滤波操作，经过双边滤波处理后，道路破损特征更加明显，同时图像整体也变得更加平滑。
46、上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
1.一种基于深度学习的道路破损预警方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的道路破损预警方法，其特征在于：在所述s103中，构建了一种道路破损预警模型，将预处理后的道路破损图像输入道路破损预警模型中的具体步骤如下：
3.根据权利要求2所述的基于深度学习的道路破损预警方法，其特征在于：在所述s1031中，具体操作步骤如下：
4.根据权利要求3所述的基于深度学习的道路破损预警方法，其特征在于：所述s1031中，计算公式如下：
5.根据权利要求2所述的基于深度学习的道路破损预警方法，其特征在于：所述s1032中，具体步骤如下：
6.根据权利要求5所述的基于深度学习的道路破损预警方法，其特征在于：所述降维就是对剩余维度进行展平，将高度和宽度维度合并为一个维度。
7.根据权利要求2所述的基于深度学习的道路破损预警方法，其特征在于：所述s1033中，具体步骤如下：
