轨道扣件检测方法、设备和可读存储介质与流程

1.本技术属于计算机技术领域，具体涉及一种轨道扣件检测方法、设备和可读存储介质。


背景技术：

2.铁路扣件是轨道系统的重要组成部件，作用是将钢轨固定在轨枕上，防止钢轨位移和倾斜。轨道扣件缺陷检测是铁路日常巡检的重要内容。
3.现有的基于图像或点云数据的轨道扣件检测方法，通过使用传感器搭建扣件检测设备,获取轨道扣件高分辨率图像或点云数据,通过与标准轨道扣件数据对比来识别判断轨道扣件缺陷种类，因此算法开发过程需要大量缺陷数据来训练算法。
4.现有获取轨道扣件缺陷数据的方式，依靠携带传感器前往轨道交通线路进行现场采集，再将轨道图像数据制作成轨道扣件缺陷数据用于缺陷检测。
5.轨道行业属于公共安全区域，获得现场采集允许不易；同时因为扣件需实时修理，缺陷样本不易保留；现场采集数据容易受人工和现场环境因素影响等原因使得扣件缺陷数据的获取十分不易。综上所述，通过现场采集轨道扣件缺陷数据来构建缺陷数据集的方式，不仅数据采集苦难，采集时间长，采集效率低；而且获取的数据样本种类较少。


技术实现要素：

6.(一)要解决的技术问题
7.鉴于现有技术的上述缺点、不足，本技术提供一种轨道扣件检测方法、设备和可读存储介质。
8.(二)技术方案
9.为达到上述目的，本技术采用如下技术方案：
10.第一方面，本技术实施例提供一种轨道扣件检测方法，该方法包括：
11.获取轨道扣件的待检测数据，所述待检测数据包括三维图像数据；
12.将所述待检测数据输入到训练好的扣件检测模型中，得到扣件缺陷类别；其中，训练所述扣件检测模型的缺陷数据集的构建步骤包括：
13.s10、针对预设型号的轨道扣件，分别建立具有不同类型缺陷的三维轨道扣件模型；
14.s20、基于gazebo软件建立轨道扣件使用的仿真环境和用于缺陷数据采集的数据采集装置，并将所述三维轨道扣件模型导入所述仿真环境中；所述数据采集装置基于所述gazebo软件中的机器人模型和传感器建立；
15.s30、通过所述数据采集装置仿真传感器扫描轨道采集所述三维轨道扣件模型的缺陷数据；
16.s40、基于采集的缺陷数据构建轨道扣件缺陷数据集。
17.可选地，步骤s10包括：
18.s11、针对预设型号的轨道扣件，确定要仿真的缺陷类型和每种缺陷类型中的多个缺陷参数；
19.s12、获取预设型号的轨道扣件的标准扣件模型；
20.s13、基于各缺陷参数和所述标准扣件模型，分别生成具有相应缺陷的三维轨道扣件模型。
21.可选地，步骤s20包括：
22.s21、在gazebo软件中，编写包含轨道扣件使用环境参数和预设的机器人模型参数的配置文件，基于所述配置文件生成传感器承载装置和仿真环境，所述仿真环境包括用于固定所述三维轨道扣件模型的轨道模型，所述传感器承载装置为待建立的图像采集传感器的依附物体；
23.s22、基于预先设定的图像采集传感器位置约束关系，在所述传感器承载装置上搭建图像采集传感器组合，得到数据采集装置；以及将所述三维轨道扣件模型导入所述仿真环境中；所述图像采集传感器组合中包括一个或多个图像采集传感器；
24.s23、通过滑动关节将用于表示所述轨道模型的物体base_link和用于表示所述传感器承载装置的物体sensor_link连接，以使所述数据采集装置沿所述轨道模型运动并通过图像采集传感器扫描所述轨道模型。
25.可选地，步骤s22包括：
26.建立用于表示所述轨道模型的物体base_link和用于表示所述传感器承载装置的物体sensor_link；
27.所述图像采集传感器组合通过laser1_link标签依附在sensor_link下，并通过修改sensor_link标签下的origin标签，对图像采集传感器的位置坐标xyz以及绕xyz的转角进行修改；
28.修改base_link标签下meshes标签中的模型为所述三维轨道扣件模型。
29.可选地，所述图像采集传感器包括线结构光传感器。
30.可选地，所述轨道扣件使用环境参数包括高斯噪声。
31.可选地，步骤s30中，包括：
32.s31、所述数据采集装置沿所述轨道模型运动并扫描所述轨道模型，采集所述三维轨道扣件模型的图像数据，将采集的图像数据作为传感器数据；
33.s32、通过第一插件在gazebo中读取所述传感器数据并进行消息通讯，输出所述传感器数据至机器人操作系统中；
34.s33、在所述机器人操作系统运行消息接收节点，接收并保存所述传感器数据，作为缺陷数据。
35.可选地，步骤s32还包括：
36.通过第二插件确定传感器参考系与世界坐标系间的动态转换关系，基于所述动态转换关系对所述传感器数据进行坐标转换。
37.第二方面，本技术实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上第一方面任一项所述的轨道扣件检测方法的步骤。
38.第三方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介
质上存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面任一项所述的轨道扣件检测方法的步骤。
39.(三)有益效果
40.本技术的有益效果是：本技术提出了一种轨道扣件检测方法、设备和可读存储介质，其中的方法包括：获取轨道扣件的待检测数据；将待检测数据输入到扣件检测模型中，得到扣件缺陷类别；其中，训练扣件检测模型的缺陷数据集的构建步骤包括：分别建立具有不同类型缺陷的三维轨道扣件模型；基于gazebo软件建立轨道扣件使用的仿真环境和用于缺陷数据采集的数据采集装置，并将三维轨道扣件模型导入仿真环境中；数据采集装置基于gazebo软件中的机器人模型和传感器建立；通过数据采集装置仿真传感器扫描轨道并采集缺陷数据；基于缺陷数据构建轨道扣件缺陷数据集。
41.通过本技术的轨道扣件检测方法，可以轻松获取轨道扣件的多种缺陷样本，大大提高了样本获取效率，而且成本低廉，精度较高。
附图说明
42.本技术借助于以下附图进行描述：
43.图1为本技术一个实施例中的轨道扣件检测方法流程示意图；
44.图2为本技术一个实施例中的缺陷数据集的构建步骤示意图；
45.图3为本技术另一个实施例中的缺陷数据集的构建步骤示意图；
46.图4为本技术另一个实施例中的标准wj
‑
7型轨道扣件模型示例图；
47.图5为本技术另一个实施例中的尾部发生断裂缺失的wj
‑
7型轨道扣件模型示例图；
48.图6为本技术另一个实施例中的尾部发生断裂缺失的wj
‑
7型单边轨道扣件模型示例图；
49.图7为本技术另一个实施例中的线结构光传感器扫描位置示意图；
50.图8为本技术又一实施例中的电子设备的架构示意图。
具体实施方式
51.为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。可以理解的是，以下所描述的具体的实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合；为了便于描述，附图中仅示出了与发明相关的部分。
52.实施例一
53.图1为本技术一个实施例中的轨道扣件检测方法流程示意图，图2为本技术一个实施例中的缺陷数据集的构建步骤示意图。如图1和图2所示，本实施例的轨道扣件检测方法包括：
54.s100、获取轨道扣件的待检测数据，待检测数据包括三维图像数据；
55.s200、将待检测数据输入到训练好的扣件检测模型中，得到扣件缺陷类别；其中，训练扣件检测模型的缺陷数据集的构建步骤包括：
56.s10、针对预设型号的轨道扣件，分别建立具有不同类型缺陷的三维轨道扣件模
型；
57.s20、基于gazebo软件建立轨道扣件使用的仿真环境和用于缺陷数据采集的数据采集装置，并将三维轨道扣件模型导入仿真环境中；数据采集装置基于gazebo软件中的机器人模型和传感器建立；
58.s30、通过数据采集装置仿真传感器扫描轨道采集三维轨道扣件模型的缺陷数据；
59.s40、基于采集的缺陷数据构建轨道扣件缺陷数据集。
60.本实施例的轨道扣件检测方法，可以轻松获取轨道扣件的多种缺陷样本，大大提高了样本获取效率，而且成本低廉，精度较高。
61.为了更好地理解本发明，以下对本实施例中的各步骤进行展开说明。
62.本实施例中，三维图像数据包括二维图像数据和点云数据。扣件检测模型为经过训练得到的机器学习模型也可以是神经网络模型，本实施例对扣件检测模型不作具体限定。
63.以下对扣件检测模型的缺陷数据集的各个构建步骤进行具体说明。
64.本实施例中，步骤s10包括：
65.s11、针对预设型号的轨道扣件，确定要仿真的缺陷类型和每种缺陷类型中的多个缺陷参数；
66.s12、获取预设型号的轨道扣件的标准扣件模型；
67.s13、基于各缺陷参数和标准扣件模型，分别生成具有相应缺陷的三维轨道扣件模型。
68.举例来说，轨道扣件的缺陷类型可以包括弹条尾部发生断裂、轨道扣件锚定螺栓松动，扣件弹条缺失，扣件弹条断裂，扣件弹条移位，扣件绝缘块缺失等。相应地，弹条尾部发生断裂的缺陷参数包括弹条断裂发生部位，裂纹深度，裂口类型与裂口宽度。其他缺陷类型的参数此处不再一一列举。
69.生成三维轨道扣件模型时可以采用三维绘图软件solidworks，根据缺陷参数对标准扣件模型进行修改，得到具有相应缺陷的三维轨道扣件模型。
70.需要说明的是，上述的三维绘图软件仅仅是示例性的说明，并不构成对信息采集设备的具体限定。
71.本实施例中，步骤s20包括：
72.s21、在gazebo软件中，编写包含轨道扣件使用环境参数和预设的机器人模型参数的配置文件，基于配置文件生成传感器承载装置和仿真环境，仿真环境包括用于固定三维轨道扣件模型的轨道模型，传感器承载装置为待建立的图像采集传感器的依附物体；
73.s22、基于预先设定的图像采集传感器位置约束关系，在传感器承载装置上搭建图像采集传感器组合，得到数据采集装置；以及将三维轨道扣件模型导入仿真环境中；图像采集传感器组合中包括一个或多个图像采集传感器；
74.s23、通过滑动关节将用于表示轨道模型的物体base_link和用于表示传感器承载装置的物体sensor_link连接，以使数据采集装置沿轨道模型运动并通过图像采集传感器扫描轨道模型。
75.具体地，针对轨道扣件的缺陷，可以采用线结构光传感器获取缺陷数据。在采集过程中，通过模拟激光线束扫描不同类型缺陷的三维轨道扣件模型，获取当前截面激光轮廓，
将二维激光截面根据里程依次排列，组合成物体三维轮廓，然后保存成点云图像，依次输出缺陷样本的三维点云图像，获得缺陷数据集。
76.本实施例中，步骤s30中，包括：
77.s31、数据采集装置沿轨道模型运动并扫描轨道模型，采集三维轨道扣件模型的图像数据，将采集的图像数据作为传感器数据；
78.s32、通过第一插件在gazebo中读取传感器数据并进行消息通讯，输出传感器数据至机器人操作系统中；
79.s33、在机器人操作系统运行消息接收节点，接收并保存传感器数据，作为缺陷数据。
80.具体地，采用插件sensorplugin中的激光接收节点gazebo_ros_laser、运动点接收节点gazebo_ros_openni_kinect、相机接收节点gazebo_ros_camera输出传感器数据至机器人操作系统(ros)中。
81.实施例二
82.图3为本技术另一个实施例中的缺陷数据集的构建步骤示意图。如图3所示，该构建步骤包括：
83.s1、根据缺陷类型需求，更改轨道扣件模型，获得缺陷样本；
84.s2、修改仿真环境描述文件，导入缺陷样本模型，修改传感器状态；
85.s3、运行仿真环境，仿真传感器扫描轨道的过程；
86.s4、运行消息接收节点，保存并输出缺陷样本的图像和点云数据集。
87.以下对各个步骤进行具体说明。
88.在步骤s1中，首先，根据对于带缺陷的轨道扣件的需求，明确轨道扣件型号与缺陷的类型和缺陷的具体参数要求。
89.其次，修改标准扣件模型，获得扣件缺陷样本。
90.例如：需要获取弹条尾部发生断裂的wj
‑
7型轨道扣件的缺陷样本数据。
91.图4为本技术另一个实施例中的标准wj
‑
7型轨道扣件模型示例图，图5为本技术另一个实施例中的尾部发生断裂缺失的wj
‑
7型轨道扣件模型示例图，图6为本技术另一个实施例中的尾部发生断裂缺失的wj
‑
7型单边轨道扣件模型示例图。
92.本步骤中先使用三维软件solidworks对如图4所示wj
‑
7型扣件进行模型修改，导入标准扣件模型后，对该型弹条进行切断处理，模拟如图5所示的弹条断裂的现象，再将扣件和标准轨道按标准间距排列，组合成如图6所示的标准单段轨道另保存为stl格式，以此模拟缺陷样本。
93.在步骤s2中，将该缺陷样本导入gazebo软件中，修改仿真环境描述文件和传感器参数完成仿真环境搭建。
94.具体流程为先编写gazebo的配置文件，即sdf或urdf文件，搭建仿真世界物理模型，以确定仿真环境和机器人模型。sdf文件包含model，即机器人模型。在该model中包含多个环节(link)以及节点(joint)，即零件的坐标系和关节。
95.例如：简易四轮小车由车身、轮子以及传感器组成，每一个零件就是一个link，每个零件之间需要建立joint。
96.坐标系搭建：本文需要建立link和joint以及下面的多个传感器位置约束，并通过
ros获取传感器运动状态以及数据。
97.本文中采用两个link：<base_link>和<sensor_link>，分别对应带缺陷样本的轨道以及传感器依附物体。
98.传感器搭建：传感器的状态可以根据所需的类型自由设定,多个传感器也可以通过<laser1_link>标签依附在<sensor_link>下，并可以通过修改<sensor_link>标签下的<origin>标签，对传感器的位置坐标xyz以及绕xyz的转角(rad)进行修改，以满足不同的拍摄视角。
99.图7为本技术另一个实施例中的线结构光传感器扫描位置示意图，如图7所示，需要采用两个线结构光传感器，位于轨道左右对称照射，结构光的视野和位置已知。
100.修改在<sensor_link>标签下的<laser1_link>标签，新增<laser2_link>标签可以增加仿真传感器的状态；为模仿线结构光相机，使用点激光排列模拟线激光，设定激光的长度和视野范围；修改<origin>标签，使两点激光发射位置位于设定高度，同时修改<base_link>标签下的<meshes>标签中的模型替换为缺陷样本，就完成了对仿真环境描述文件的修改。
101.步骤s3中，运行仿真环境，在软件中仿真传感器扫描轨道的过程。
102.仿真具体过程：运行仿真环境，两个link通过一个joint：<base_sensor_joint>连接在一起，其类型为prismatic，即滑动关节。使得传感器所在坐标可以沿着缺陷轨道所在坐标做相对直线运动，仿真真实传感器扫描轨道的过程，并使用插件(plug
‑
in)发布传感器运动状态以及所获取的数据到ros系统。
103.传感器数据的获取：采用<modelplugin>中的ros_control plugin获取<base_sensor_joint>的运动状态以及控制其运动，采用<sensorplugin>中gazebo_ros_laser、gazebo_ros_openni_kinect、gazebo_ros_camera输出传感器数据至ros中。同时利用插件(plug
‑
in)发布传感器参考系与世界坐标系间的动态tf(transform)，以获取世界视角下的数据。
104.现场环境的模拟：为了模拟现场的采集环境，将在环境中加入噪声<noice>，使用高斯噪声来使得数据接近现实采集数据。
105.因此进行仿真模拟传感器扫描轨道的过程，会近似于现场采集轨道扣件的过程，排除了人为因素和极端环境对采集数据带来得误差。
106.步骤s4中，运行消息接收节点，保存缺陷样本的图像和点云数据集。
107.数据的接受：编写ros的消息订阅节点，获取坐标系间的转换关系(transform，tf)以及传感器数据，由于激光和相机所得到的每一帧数据的坐标都是基于自己的坐标系(laser/camera frame)，要构成完整的点云数据集，需要转换至固定的世界坐标系(world frame)。转换过程中的外参由tf提供，用于在urdf中描述机器人各关节的运动，方便机器人运动的可视化。而tf须由gazebo中的ros_control plugin提供。
108.运行消息接收节点，获取目标坐标系下的缺陷样本的图像和点云数据集并保存至本地。
109.本实施例根据所需要采集的扣件缺陷种类，对所需扣件的标准三维模型进行修改，再使用gazebo软件搭建仿真世界的物理模型和相应的传感器状态，通过插件(plug
‑
in)在gazebo中读取传感器数据并进行消息通讯，在仿真对于扣件缺陷的采集过程中，利用ros
节点保存输出所需要的图像和点云数据集。
110.本发明所提供的方法可以根据对于带缺陷的轨道扣件的需求，输出不同输出带缺陷轨道扣件的图像和点云数据集。在保证样本数据较高精度和多种类的同时，还可以有效地提高样本数据获取效率，降低数据采集成本。缺陷样本可以根据需求调整，缺陷样本时效性长，不会受人工和现场环境影响，成本低廉，满足算法训练的精度要求。
111.实施例三
112.本技术第二方面通过实施例三提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上实施例中任意一项所述的轨道扣件检测方法的步骤。
113.图8为本技术又一实施例中的电子设备的架构示意图。
114.图8所示的电子设备可包括：至少一个处理器101、至少一个存储器102、至少一个网络接口104和其他的用户接口103。电子设备中的各个组件通过总线系统105耦合在一起。可理解，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统105。
115.其中，用户接口103可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等。
116.可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read
‑
onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledatarate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)和直接内存总线随机存取存储器(directrambusram，drram)。本文描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。
117.在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。
118.其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序622，包含各种应用程序，例如工业控制设备运行管理系统，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。
119.在本发明实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行第一方面所提供的方法步骤。
120.上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各
步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。
121.另外，结合上述实施例中的轨道扣件检测方法，本发明实施例可提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上方法实施例中的任意一种轨道扣件检测方法。
122.应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
123.此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
124.尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
125.显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。