一种煤矿井下无人机自主巡检的方法与流程

1.本发明涉及煤矿井下自主巡检技术领域，具体地，涉及一种煤矿井下无人机自主巡检的方法。


背景技术：

2.为了保证矿山安全、高效地生产运行，工人们每日需要对井下巷道进行安全巡视检查，及时发现事故隐患和险情，主要巡检任务包括：巷道变形监测，监测巷道顶板变形、冒顶、侧面变形等现象；排水管道大面积漏水现象监测；环境参数监测，包括高温点感知、瓦斯浓度、粉尘浓度等。
3.煤矿井下巡检工作劳动强度大且危险，针对上述工作现状，无人机巡检系统具有灵活多变、巡检速度快及监测范围广等优点，现被广泛用于变电站、桥梁管道等场景下的自主巡检任务。无人机可搭载高清摄像装置及激光雷达、温度、甲烷等多种传感器，执行诸多井下巡检任务。无人机的投入使用可以减轻劳作强度，减少工人数量，提高巡检效率，保障矿山区域的生成安全，帮助企业实现“高产高效、少人无人”的建设目标。
4.无人机在煤矿井下的自主巡检，主要包括初始巡检路径规划及巡检过程中的实时避障两个关键技术。初始巡检路径规划是指在三维点云地图的基础上，规划出一条涵盖待检测区域的连续性轨迹；实时避障是指当无人机按预设轨迹飞行时，由于环境变换、工人走动等因素，在巡检路径中出现未知障碍物，无人机利用机载电脑有限的计算资源完成实时的局部规划，调整待执行轨迹绕开障碍物并重新回到预设轨迹上。现有关于无人机自主巡检的专利和文献中，多将无人机用于输电线路、杆塔桥梁等室外环境，可通过gps传感器获取无人机的位置信息，且在开阔环境中未知障碍物出现的风险较小。
5.专利文献cn112306095a(申请号：202011206663.0)公开了一种煤矿井下用无人机巷道巡检系统，包括无人机巡检子系统、信息传输子系统和底面控制子系统，所述无人机巡检子系统包括飞控单元、外部负载仪器单元、避障及测距单元、图像采集单元、语音播报单元和瓦斯监测单元。实现了便于适应巷道复杂地形的目的，实现了便于对巷道进行更加有效地巡检的效果，保障了人员人身安全，达到了井下减人增效的目的，提高了矿井巷道巡检的智能化水平，实现了实时控制井下无人机对巷道进行巡检的效果，实现了井下无人机巡检数据图像的低延时传输的效果，为煤矿井下巷道的实时监测，提升了巡检效率，达到了便于全面排查巷道内安全隐患的效果，降低了巷道内的安全风险。
6.专利文献cn208576726u(申请号：201820973974.1)公开了一种无人机巡检设备以及无人机巡检系统，涉及桥梁巡检技术领域，该无人机巡检设备包括巡检控制器、图像成形装置以及无人机本体。图像成形装置包括防护外壳、智能图像识别处理器、光学摄像头、红外摄像头以及超声波成像仪，智能图像识别处理器设置在防护外壳内，光学摄像头、红外摄像头以及超声波成像仪依次设置在摄像头安装槽内。该类应用场景相对于煤矿井下环境更为简单，无需考虑狭窄巷道中的无人机的路径规划及自主避障问题。因此，为保证无人机在煤矿井下的安全、自主巡检，需要研发一种可以完成三维场景路径规划及自主避障的方法。


技术实现要素：

7.针对现有技术中的缺陷，本发明的目的是提供一种煤矿井下无人机自主巡检的方法。
8.根据本发明提供的一种煤矿井下无人机自主巡检的方法，包括：
9.步骤s1：人工巡检时采用传感器获得煤矿井下的三维点云地图；
10.步骤s2：将三维点云地图基于预设分辨率转化为占据栅格地图；
11.步骤s3：在栅格地图中选取待监测的目标区域，设置路标点集；
12.步骤s4：根据设置的路标点集，采用改进优化指标的rrt*算法生成空间离散的巡检路径点，并采用b
‑
样条对离散的巡检路径点进行优化，得到连续的全局巡检路径；
13.步骤s5：无人机按照全局巡检路径飞行，并根据传感器采集的点云数据构建局部地图并进行碰撞检测；
14.步骤s6：当存在碰撞时，则前方存在障碍物，通过光流法分辨障碍物的种类；
15.步骤s7：根据障碍物种类采取相应避障策略；
16.所述改进优化指标的rrt*算法是为了防止rrt*算法得到的路径点过于靠近障碍物，在rrt*算法的目标函数中添加与障碍物的距离函数，控制与障碍物之间的距离。
17.优选地，所述步骤s1包括：人工巡检时通过传感器结合slam技术得到煤矿井下的三维点云地图；
18.所述传感器包括激光雷达或深度相机。
19.优选地，所述步骤s2中占据栅格地图包括：占据栅格地图采用八叉树结构存储栅格节点。
20.优选地，所述步骤s3包括：在栅格地图中选取待监测的目标区域，包括煤矿井下的机器设备以及存在变形风险的巷道顶板、侧壁，根据无人机搭载传感器的视野及有效范围，选取路标点，最大化无人机巡检过程的检测范围。
21.优选地，所述步骤s4包括：通过改进优化指标的rrt*算法在选取的路标点集基础上规划路径，以相邻路标点为路径规划的起点和终点，得到连接相邻路标点的离散路径点；离散路径点采用b
‑
样条优化将离散的巡检路径点转化为平滑的连续轨迹，并根据连续轨迹的切线方向计算无人机在当前位置的偏航角。
22.优选地，所述改进优化指标的rrt*算法包括：目标函数j，计算公式如下：
[0023][0024]
其中，j表示改进优化指标的rrt*算法的优化指标；j
dis
表示路径长度优化指标；j
obs
表示障碍物间隙优化指标；λ
dis
表示路径长度优化指标对应的权重系数；λ
obs
表示障碍物间隙优化指标对应的权重系数；p
i
(i＝1,2,
…
,n)表示改进优化指标的rrt*算法得到的一系列三维路径点；n表示计算结果中离散路径点的个数；dis(p
i
,p
i 1
)表示路径点p
i
与路径点p
i 1
之间的距离；obs(p
i
)表示路径点p
i
与最近障碍物的距离；d0表示设定的安全阈值；α，r为比例因子，用于调节代表障碍物间隙代价的指数函数形状。
[0025]
优选地，所述步骤s5包括：获得局部地图后，对待执行轨迹进行采样，对采样的离散路径点进行最邻近点搜索，当路径点距局部地图中点云的最近距离小于设定安全阈值
时，则认为存在碰撞风险。
[0026]
优选地，所述步骤s5中局部地图包括：基于人工巡检时传感器采集得到的点云数据通过slam算法计算得到局部地图。
[0027]
优选地，所述步骤s6包括：根据最邻近点搜索得到的障碍物位置信息，通过光流法对连续帧进行匹配，计算障碍物所处位置对应的速度信息，进而将障碍物区分为静态障碍物和动态障碍物。
[0028]
优选地，所述步骤s7包括：当障碍物为动态障碍物时，控制无人机在当前位置悬停，直至障碍物运动至视野外；当障碍物为静态障碍物时，根据人工势场法规划局部巡检路径，使无人机避开前方障碍物，运动至巡检任务的目标位置。
[0029]
与现有技术相比，本发明具有如下的有益效果：
[0030]
1、本发明通过采用改进优化指标的rrt*算法，以路径长度代价函数与障碍物间隙代价函数的加权平均作为待优化指标，使规划后路径能够综衡路径长度、障碍物间隙等多因素的考量，在煤矿井下的环境中，实现了更优飞行安全性的技术效果。
[0031]
2、本发明通过采用光流法将传感器视野中的障碍物区分为动态障碍物和静态障碍物，并根据障碍物的不同种类采用悬停和局部路径规划两种不同的避障策略，防止了因煤矿井下工人走动导致的局部路径规划失效及相应的安全风险，实现了更好的动态避障技术效果。
附图说明
[0032]
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0033]
图1为本发明提出的煤矿井下自主巡检方法及系统的算法流程图。
具体实施方式
[0034]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
[0035]
实施例1
[0036]
根据本发明提供的一种煤矿井下无人机自主巡检的方法，包括：
[0037]
步骤s1：人工巡检时采用传感器获得煤矿井下的三维点云地图；
[0038]
步骤s2：将三维点云地图基于预设分辨率转化为占据栅格地图；
[0039]
步骤s3：在栅格地图中选取待监测的目标区域，设置路标点集；
[0040]
步骤s4：根据设置的路标点集，采用改进优化指标的rrt*算法生成空间离散的巡检路径点，并采用b
‑
样条对离散的巡检路径点进行优化，得到连续的全局巡检路径；
[0041]
步骤s5：无人机按照全局巡检路径飞行，并根据传感器采集的点云数据构建局部地图并进行碰撞检测；
[0042]
步骤s6：当存在碰撞时，则前方存在障碍物，通过光流法分辨障碍物的种类；
[0043]
步骤s7：根据障碍物种类采取相应避障策略；
[0044]
所述改进优化指标的rrt*算法是为了防止rrt*算法得到的路径点过于靠近障碍物，在rrt*算法的目标函数中添加与障碍物的距离函数，控制与障碍物之间的距离。
[0045]
具体地，所述步骤s1包括：人工巡检时通过手持传感器结合slam(同时定位与地图构建)技术得到煤矿井下的三维点云地图；
[0046]
所述传感器包括激光雷达或深度相机。
[0047]
具体地，所述步骤s2中占据栅格地图包括：占据栅格地图采用八叉树结构存储栅格节点，分辨率的选取与无人机尺寸相关，一般不超过无人机实际尺寸的十分之一。
[0048]
具体地，所述步骤s3包括：在栅格地图中选取待监测的目标区域，包括煤矿井下的重要机器设备以及存在变形风险的巷道顶板、侧壁，在这些目标区域，根据无人机搭载传感器的视野及有效范围，可人工选取一系列路标点，尽可能最大化无人机巡检过程的检测范围。
[0049]
具体地，所述步骤s4包括：通过改进优化指标的rrt*算法在选取的路标点集基础上规划路径，以相邻路标点为路径规划的起点和终点，得到连接相邻路标点的离散路径点；离散路径点采用b
‑
样条优化将离散的巡检路径点转化为平滑的连续轨迹，并根据连续轨迹的切线方向计算无人机在当前位置的偏航角，保证无人机可时刻获得最佳的观察视角。
[0050]
具体地，所述改进优化指标的rrt*算法包括：目标函数j，计算公式如下：
[0051][0052]
其中，j表示改进优化指标的rrt*算法的优化指标；j
dis
表示路径长度优化指标；j
obs
表示障碍物间隙优化指标；λ
dis
表示路径长度优化指标对应的权重系数；λ
obs
表示障碍物间隙优化指标对应的权重系数；p
i
(i＝1,2,
…
,n)表示改进优化指标的rrt*算法得到的一系列三维路径点；n表示计算结果中离散路径点的个数；dis(p
i
,p
i 1
)表示路径点p
i
与路径点p
i 1
之间的距离；obs(p
i
)表示路径点p
i
与最近障碍物的距离；d0表示设定的安全阈值；α，r为比例因子，用于调节代表障碍物间隙代价的指数函数形状。
[0053]
具体地，所述步骤s5包括：获得局部地图后，对待执行轨迹进行采样，对采样的离散路径点进行最邻近点搜索，当路径点距局部地图中点云的最近距离小于设定安全阈值时，则认为存在碰撞风险。
[0054]
具体地，所述步骤s5中局部地图包括：基于人工巡检时传感器采集得到的点云数据通过slam算法计算得到局部地图。
[0055]
具体地，所述步骤s6包括：根据最邻近点搜索得到的障碍物位置信息，通过光流法对连续帧进行匹配，计算障碍物所处位置对应的速度信息，进而将障碍物区分为静态障碍物和动态障碍物。
[0056]
具体地，所述步骤s7包括：当障碍物为动态障碍物时，控制无人机在当前位置悬停，直至障碍物运动至视野外；当障碍物为静态障碍物时，根据人工势场法规划局部巡检路径，使无人机避开前方障碍物，运动至巡检任务的目标位置。
[0057]
实施例2
[0058]
实施例2是实施例1的优选例
[0059]
图1为本发明实施例提出的煤矿井下自主巡检方法及系统的算法流程图。如图1所
示，本实施例可以包括如下步骤：
[0060]
slam建图与定位步骤，用于人工巡检获取煤矿井下的三维点云地图。
[0061]
本实施例中，建图时可采用的传感器类型为激光雷达或深度相机，通过手持传感器完成人工巡检，结合slam技术可得到煤矿井下的三维点云地图。
[0062]
无人机巡检全局路径规划步骤，根据上一步得到的三维点云地图，可规划处无人机巡检所需的全局路径。
[0063]
本实施例中，占据栅格地图采用把八叉树结构存储栅格节点，分辨率的选取与无人机尺寸相关，一般不超过无人机实际尺寸的十分之一。待检测目标区域主要包括煤矿井下的重要机器设备、存在变形风险的巷道顶板、侧壁，在这些目标区域，根据无人机搭载传感器的视野及有效范围，可人工选取一系列路标点，最大化无人机巡检过程的检测范围。
[0064]
通过rrt*算法在人工选取的路标点集基础上规划路径，以相邻路标点为路径规划的起点和终点，得到连接相邻路标点的离散路径点；之后采用b
‑
样条优化将离散的巡检路径点转化为平滑的连续轨迹，并根据轨迹的切线方向计算无人机在当前位置的偏航角，保证无人机可时刻获得最佳的观察视角。另外，为防止rrt*算法得到的路径点过于靠近障碍物，不利于无人机的平稳安全飞行，对传统rrt*算法做出适当改进，采用如下的优化指标代替rrt*算法常用的最短路径优化指标：
[0065][0066]
其中，j表示rrt*算法的优化指标，j
dis
表示路径长度优化指标，j
obs
表示障碍物间隙优化指标，λ
dis
表示路径长度优化指标对应的权重系数，λ
obs
表示障碍物间隙优化指标对应的权重系数，p
i
(i＝1,2,
…
,n)表示rrt*算法得到的一系列三维路径点，dis(p
i
,p
i 1
)表示路径点p
i
与路径点p
i 1
之间的距离，obs(p
i
)表示路径点p
i
与最近障碍物的距离，d0表示设定的安全阈值，α，r为比例因子，用于调节代表障碍物间隙代价的指数函数形状。
[0067]
无人机实时避障步骤，结合传感器获取的局部地图及slam获取的定位信息，当无人机前方存在未知障碍物时，采取合适的策略绕开障碍物，并重新回到预设全局路径上，完成巡检任务。
[0068]
本实施例中，局部地图通过激光雷达或深度相机采集的点云数据集合slam算法得到。在获得局部地图后，对待执行轨迹进行采样，对采样的离散路径点进行最邻近点搜索，当路径点距局部地图中点云的最近距离小于设定安全阈值时，认为存在碰撞风险；根据最邻近点搜索得到的障碍物位置信息，通过光流法对连续帧进行匹配，计算障碍物所处位置对应的速度信息，进而将障碍物区分为静态障碍物和动态障碍物。
[0069]
障碍物当前时刻的速度计算公式如下：
[0070][0071]
其中，v
obs
表示障碍物当前时刻的速度，t
i
表示无人机机体坐标系当前时刻相对于初始时刻的变换矩阵，t
i
‑1表示无人机机体坐标系上一时刻相对于初始时刻的变换矩阵，可通过slam算法得到；x
i
,y
i
,z
i
表示障碍物在当前时刻相对于无人机机体坐标系的三维坐标，
x
i
‑1,y
i
‑1,z
i
‑1表示障碍物在上一时刻相对于无人机机体坐标系的三维坐标，可通过深度相机或激光雷达得到；δt表示相邻帧之间的时间间隔，||
·
||2表示向量的欧几里得范数。
[0072]
当计算得到的障碍物速度小于设定的速度阈值时，即可认为障碍物为静态，反之可认为障碍物为动态。对于动态障碍物，控制无人机在当前位置悬停，直至障碍物运动至视野外；对于静态障碍物，根据人工势场法规划局部巡检路径，使无人机避开前方障碍物，运动至巡检任务的目标位置。
[0073]
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
[0074]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0075]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

技术特征：
1.一种煤矿井下无人机自主巡检的方法，其特征在于，包括：步骤s1：人工巡检时采用传感器获得煤矿井下的三维点云地图；步骤s2：将三维点云地图基于预设分辨率转化为占据栅格地图；步骤s3：在栅格地图中选取待监测的目标区域，设置路标点集；步骤s4：根据设置的路标点集，采用改进优化指标的rrt*算法生成空间离散的巡检路径点，并采用b
‑
样条对离散的巡检路径点进行优化，得到连续的全局巡检路径；步骤s5：无人机按照全局巡检路径飞行，并根据传感器采集的点云数据构建局部地图并进行碰撞检测；步骤s6：当存在碰撞时，则前方存在障碍物，通过光流法分辨障碍物的种类；步骤s7：根据障碍物种类采取相应避障策略；所述改进优化指标的rrt*算法是为了防止rrt*算法得到的路径点过于靠近障碍物，在rrt*算法的目标函数中添加与障碍物的距离函数，控制与障碍物之间的距离。2.根据权利要求1所述的煤矿井下无人机自主巡检的方法，其特征在于，所述步骤s1包括：人工巡检时通过传感器结合slam技术得到煤矿井下的三维点云地图；所述传感器包括激光雷达或深度相机。3.根据权利要求1所述的煤矿井下无人机自主巡检的方法，其特征在于，所述步骤s2中占据栅格地图包括：占据栅格地图采用八叉树结构存储栅格节点。4.根据权利要求1所述的煤矿井下无人机自主巡检的方法，其特征在于，所述步骤s3包括：在栅格地图中选取待监测的目标区域，包括煤矿井下的机器设备以及存在变形风险的巷道顶板、侧壁，根据无人机搭载传感器的视野及有效范围，选取路标点，最大化无人机巡检过程的检测范围。5.根据权利要求1所述的煤矿井下无人机自主巡检的方法，其特征在于，所述步骤s4包括：通过改进优化指标的rrt*算法在选取的路标点集基础上规划路径，以相邻路标点为路径规划的起点和终点，得到连接相邻路标点的离散路径点；离散路径点采用b
‑
样条优化将离散的巡检路径点转化为平滑的连续轨迹，并根据连续轨迹的切线方向计算无人机在当前位置的偏航角。6.根据权利要求1所述的煤矿井下无人机自主巡检的方法，其特征在于，所述改进优化指标的rrt*算法包括：目标函数j，计算公式如下：其中，j表示改进优化指标的rrt*算法的优化指标；j
dis
表示路径长度优化指标；j
obs
表示障碍物间隙优化指标；λ
dis
表示路径长度优化指标对应的权重系数；λ
obs
表示障碍物间隙优化指标对应的权重系数；p
i
(i＝1，2，
…
，n)表示改进优化指标的rrt*算法得到的一系列三维路径点；n表示计算结果中离散路径点的个数；dis(p
i
，p
i 1
)表示路径点p
i
与路径点p
i 1
之间的距离；obs(p
i
)表示路径点p
i
与最近障碍物的距离；d0表示设定的安全阈值；α，r为比例因子，用于调节代表障碍物间隙代价的指数函数形状。7.根据权利要求1所述的煤矿井下无人机自主巡检的方法，其特征在于，所述步骤s5包括：获得局部地图后，对待执行轨迹进行采样，对采样的离散路径点进行最邻近点搜索，当
路径点距局部地图中点云的最近距离小于设定安全阈值时，则认为存在碰撞风险。8.根据权利要求1所述的煤矿井下无人机自主巡检的方法，其特征在于，所述步骤s5中局部地图包括：基于人工巡检时传感器采集得到的点云数据通过slam算法计算得到局部地图。9.根据权利要求1所述的煤矿井下无人机自主巡检的方法，其特征在于，所述步骤s6包括：根据最邻近点搜索得到的障碍物位置信息，通过光流法对连续帧进行匹配，计算障碍物所处位置对应的速度信息，进而将障碍物区分为静态障碍物和动态障碍物。10.根据权利要求1所述的煤矿井下无人机自主巡检的方法，其特征在于，所述步骤s7包括：当障碍物为动态障碍物时，控制无人机在当前位置悬停，直至障碍物运动至视野外；当障碍物为静态障碍物时，根据人工势场法规划局部巡检路径，使无人机避开前方障碍物，运动至巡检任务的目标位置。
技术总结
本发明提供了一种煤矿井下无人机自主巡检的方法，包括：人工巡检时采用传感器获得煤矿井下的三维点云地图；将三维点云地图基于预设分辨率转化为占据栅格地图；在栅格地图中选取待监测的目标区域，设置路标点集；根据设置的路标点集，采用改进优化指标的RRT*算法生成空间离散的巡检路径点，并采用B


技术研发人员：赵明辉 夏文刚 缪杰 龙再萌
受保护的技术使用者：中煤科工集团上海有限公司
技术研发日：2021.03.18
技术公布日：2021/6/29