一种基于深度学习的道岔与非道岔轨道紧固件定位方法与流程

1.本发明属于轨道缺陷检测领域，尤其涉及一种基于深度学习的道岔与非道岔轨道紧固件定位方法。


背景技术：

2.在我国的铁路轨道紧固件中，钢轨扣件、螺栓是重要的组成部分，其主要功能是将钢轨固定在轨枕上，使得钢轨能够保持稳定间距，同时避免在运行过程中发生横向或纵向的移动。因此，紧固件的状态正常对于轨道安全具有非常重要的作用，当紧固件发生异常，例如断裂，位移，扭转，松动，丢失等，会给铁路正常运行造成巨大的安全隐患，甚至导致严重的后果，因此，及时地对紧固件进行检测是十分必要的。
3.我国的传统铁轨轨道紧固件检测方法主要是通过人工巡检的方式进行，由专业的检测人员巡视并逐个检查，这种方式的缺点是效率低，且容易出现漏检情况，并且对检测人员的熟练度有一定要求。随着近年来图像处理与深度学习技术的不断发展，对于紧固件检测的自动化与智能化要求也越来越高。我国开始采用安装摄像头设备的巡检车进行全自动巡检，这类巡检技术可以有效缩减人工检测的成本，提高效率与准确率，成为新的趋势。常见的检测流程为：1)巡检车的摄像头对轨道区域进行拍摄，将采集到图像传输至计算机处理；2)分别对轨道紧固件的组成进行定位；3)根据定位区域分析并识别出轨道紧固件中存在的异常。在以上流程中，紧固件的准确定位是后续异常检测的重要基础，因此在该项技术中，紧固件的准确定位任务十分重要。
4.目前，较为流行的轨道紧固件定位方法是采用深度学习的目标检测框架，且多应用于非道岔路段的扣件这一单一类型紧固件的检测。事实上，道岔路段的紧固件类型较多且干扰复杂，通常的目标检测方法对于道岔部分的紧固件很难取得很好的效果。因此，亟需研究一种精确、稳定的适用于道岔和非道岔路段，且同时能够定位多种类型紧固件的方法。


技术实现要素：

5.本发明要解决技术问题是：提供一种能够精确、稳定地定位道岔和非道岔路段图像中紧固件的方法。
6.为了解决该技术问题，本发明提出的技术方案是：一种基于深度学习的道岔与非道岔轨道紧固件定位方法，包括以下步骤：
7.步骤一、通过巡检车携带的高清相机拍摄轨道进行图像数据样本采集，其中，拍摄时镜头需与轨道所在平面保持平行，采集完毕后，对采集到的图像数据集进行人工标注工作；
8.步骤二、构建改进的fasterr
‑
cnn模型，以resnet
‑
50网络作为特征提取网络，使用除去最高尺度的次三层特征图进行融合，并连接注意力模块来增强有意义的特征，使网络更关注待检测目标的区域；
9.步骤三、根据标注的待检测紧固件的实际尺寸，来针对性地调整改进的fasterr
‑
cnn模型中区域提案模块的预定义锚框大小；
10.步骤四、将标注好的数据集划分为训练集、验证集和测试集，对改进的fasterr
‑
cnn模型进行训练，并根据模型在验证集上的效果，选择性能最好的训练结果作为最终fasterr
‑
cnn模型；
11.步骤五、使用步骤四中的最终fasterr
‑
cnn模型，将设备所拍摄到的图像输入模型，并设置合理分类置信度阈值，即可准确获得模型预测的紧固件的定位边界框。
12.进一步地，所述步骤一中，图像数据集场景分为非道岔路段和道岔路段，其中非道岔路段标注了一种待检测紧固件，道岔路段标注了三种待检测紧固件。
13.进一步地，所述步骤三的具体方法是：对标注样本中每种类型的待检测紧固件计算其平均尺寸和长宽比，并根据实际待检测目标的尺寸和长宽比来设计区域提案模块中相似的预定义锚框；fasterr
‑
cnn的区域提案模块通过滑动窗口为输入的特征图的每一个像素预测多个锚框，并根据这些锚框生成待检测目标的区域推荐框，用于后续的预测，当预定义的锚框越接近实际大小，模型的预测也就越准确。
14.进一步地，步骤四中所述通过标注好的数据集对改进的fasterr
‑
cnn模型进行训练的过程中，区域提案模块在生成推荐框后，需要对其分别进行目标或背景的二分类任务和边界框的回归工作，因此在训练过程中的总体损失函数l(p
i
,t
i
)包括分类损失和回归损失公式如下：
[0015][0016]
其中，λ为权重参数，n
cls
为参与分类损失计算的样本数量，n
reg
为参与回归损失计算的样本数量；
[0017]
分类损失函数采用交叉熵函数
[0018][0019]
其中，表示样本锚点i处的标签，p
i
表示锚框被预测为目标的概率值；
[0020]
回归损失函数为smoothl1损失函数
[0021][0022][0023]
其中，t
i
＝{t
x
,t
y
,t
w
,t
h
}，为预测的边界框的4个参数，x、y、w、h为边界框的中心坐标、宽和高，表示样本锚点i处的边界框标签，t
i
表示预测出的边界框参数值。
[0024]
进一步地，步骤五中所设合理的分类置信度阈值取0.8
‑
0.85。
[0025]
本发明提供了一种基于深度学习的道岔与非道岔轨道紧固件定位方法，解决了现有技术中不能很好地应对道岔路段情况复杂下的紧固件检测问题。本发明可以很好的适应多种类型的紧固件，同时可以不受道岔部分多轨、多零件等复杂情况的干扰，对道岔和非道岔路段都具有较高精度和稳定的定位检测效果。
[0026]
本发明的创新点主要包括以下几点：
[0027]
1)本发明基于原始fasterr
‑
cnn进行改进，将特征提取网络不同尺度的输出特征图进行融合后送入预测模块，但考虑到待检测目标，即扣件、螺栓等，均具有尺度小，尺度变化单一，位置变化大的特点，因此未采用最高尺度的特征图进行预测，以避免预测出现较大位置误差。另一方面，仍将最高尺度特征图的信息保留并融合，为下层提供丰富的背景等语义信息，这样既可以有效抑制大尺度物体的误检情况，还可以提高定位精度。
[0028]
2)本发明在特征提取网络中添加了注意力模块，以进一步提高模型对紧固件区域目标特征的关注，并抑制背景和伪目标的复杂特征，进而提高模型的精度。
[0029]
3)本发明针对性地修改了区域提案模块中的预定义锚框大小，根据数据样本中的实际待检测目标的尺寸与长宽比，设计了相似的锚框，使得区域提案模块能够输出更准确的区域推荐框。
[0030]
4)本发明能够很好地适应道岔路段和非道岔路段的轨道图像，可以同时对多种类型的紧固件进行精确、稳定的定位检测。
附图说明
[0031]
下面结合附图对本发明作进一步说明。
[0032]
图1中(a)是典型的非道岔，(b)是典型的道岔路段轨道图像。
[0033]
图2是待检测的紧固件图像，其中(a)为非道岔路段待检测扣件，(b)为道岔路段的待检测扣件，(c)(d)分别为道岔路段的两种螺栓。
[0034]
图3是改进的faster r
‑
cnn模型结构框图。
[0035]
图4中(a)是典型非道岔图像紧固件的定位检测结果，(b)是道岔路段轨道图像紧固件的定位检测结果。
[0036]
图5是本发明的流程图。
具体实施方式
[0037]
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施方式是示例性的，仅用于解释说明本发明，而不用于限制本发明的范围，在阅读了本发明后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
[0038]
实施例
[0039]
本实施例使用的图像为通过巡检车携带的高清相机拍摄轨道所采集到的图像数据样本，其中，拍摄时镜头需与轨道所在平面保持平行。本例中检测的图像分别来自非道岔路段和道岔路段场景，如图1为典型的非道岔路段(a)和道岔路段图像(b)。
[0040]
本实施例以图1中所示的非道岔和道岔路段图像为例，这些图像由巡检车上的相机采集而来，图像数据集共包含1200张图像，其紧固件定位方法流程如图5所示。
[0041]
图像采集完毕后，对采集到的图像数据集进行人工标注工作，其中非道岔路段标注了一种待检测紧固件，道岔路段标注了三种待检测紧固件，具体如表1所示：
[0042]
表1
[0043]
[0044]
本实施例使用的图像数据集中共标注了待检测目标13142个，待检测的紧固件类型共有4种，如图2所示：(a)为非道岔路段待检测扣件，(b)为道岔路段的待检测扣件，(c)(d)为道岔路段的两种螺栓，本实施例将全部类型的紧固件统一标注为“fastener”。
[0045]
fasterr
‑
cnn的区域提案模块通过滑动窗口为输入的特征图的每一个像素预测多个锚框，并根据这些锚框生成待检测目标的区域推荐框，用于后续的预测。当预定义的锚框越接近实际大小，模型的预测也就越准确。
[0046]
因此根据待检测目标的实际尺寸，来针对性地调整改进的fasterr
‑
cnn模型中区域提案模块的预定义锚框大小，根据计算，数据集中的各个待检测目标的实际平均长宽比如表2所示：
[0047]
表2
[0048][0049][0050]
结合待检测物体的实际比例、实际目标尺寸和网络下采样率，将锚框尺寸设置为{8,16,32,64,128}，比例设置为{0.8,1.2,1.6},共15种锚框，来提高区域提案网络生成候选框的精确性与稳定性
[0051]
将标注好的数据集按照7：1：2划分为训练集、验证集和测试集，对改进的fasterr
‑
cnn模型进行训练，并根据模型在验证集上的效果，选择性能最好的作为最终模型文件。
[0052]
本实施例采用改进的fasterr
‑
cnn模型，除了在区域提案模块中对预定义锚框做了针对性改进，在模型结构上也做了调整。
[0053]
改进的fasterr
‑
cnn模型整体结构如图3所示，模型以resnet
‑
50网络作为特征提取网络，为了适应小尺度目标，未全部使用四层融合后的特征图，仅使用尺度较低的三层融合后的特征图作为输出，虽然不在顶层特征图上进行预测，但依然保留并融合了顶层特征图的信息，为下层提供丰富的背景等语义信息，这样既可以有效抑制大尺度物体的误检情况，还可以避免了高尺度引起的位置误差，提高定位精度。并且在每个融合后的输出特征图后添加了注意力模块，使网络更关注待检测目标位置的特征信息，使得模型具有更精确、更稳定的性能，将处理后的特征图输入区域提案模块获取其区域推荐框，最后进行预测工作。
[0054]
区域提案模块在生成推荐框后，需要对其分别进行目标或背景的二分类任务和边界框的回归工作，因此在训练过程中的总体损失函数包括分类损失l
cls
和回归损失l
reg
，公式如下：
[0055][0056]
分类损失函数采用交叉熵函数
[0057][0058]
其中，n为样本数量，λ为权重参数，表示样本锚点i处的标签，当其为正样本时，
为负样本时，p
i
表示锚框被预测为目标的概率
[0059]
回归损失函数为smoothl1损失函数
[0060][0061][0062]
其中t
i
＝{t
x
,t
y
,t
w
,t
h
}，为预测的边界框的4个参数，x、y、w、h为bbox的中心坐标、宽和高，为标签。
[0063]
本实施例在训练过程中，使用的配置和相关训练参数如表3所示，fasterr
‑
cnn模型中的部分网络参数，需经过多次训练测试来反复调试直至达到最好的效果。
[0064]
表3
[0065][0066]
本实施例使用训练好的最终模型参数文件装载至改进的fasterr
‑
cnn模型，将测试集图像输入模型进行测试，测试结果的精度均值(average precision，ap)达到98.9％。在测试过程中，通过设置合理的分类置信度阈值(根据实际情况取0.8
‑
0.85)，来进一步剔除置信度较低的定位边界框。最终得到准确的轨道紧固件的定位边界框，定位检测结果如图4所示。
[0067]
本发明提出了改进的fasterr
‑
cnn模型，用于非道岔和道岔路段的紧固件的定位检测。通过对模型进行多尺度特征融合，添加注意力模块，针对性的修改锚框，经过训练学习，模型能够同时对非道岔和道岔路段场景中的多种类型紧固件实现精确、稳定的定位检测，其定位结果是后续的轨道异常缺陷检测的重要基础。本发明对轨道缺陷检测技术的智能化和自动化有着重要作用，具有较大的应用前景。
[0068]
本发明不局限于上述实施例所述的具体技术方案，除上述实施例外，本发明还可有其他实施方式。对于本领域的技术人员来说，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等形成的技术方案，均应包含在本发明的保护范围之内。