一种基于深度学习的输电线路悬挂异物目标检测方法与流程

1.本发明属于输电线路监测图像数据处理技术领域，具体涉及一种基于深度学习的输电线路悬挂异物目标检测方法。


背景技术：

2.输电线路分布跨度大，输电通道气象和地理环境非常复杂，部分线路邻近城市、建筑施工等地区，鸟巢、风筝等异物悬挂于线路上缩短放电距离而引发输电故障。由于地理环境、气象、维护难度大等原因，人工巡检已经很难满足输电线路运行状态安全监测的需求，所以国内输电线路巡检方法大量采用无人机、机器人等设备代替人工采集线路巡检图像，再结合计算机视觉、图像处理等技术，实现图像的分类识别、缺陷检测、目标测距等，为线路运行状态监测提供智能检测技术。
3.在输电线路异物检测领域中，图像识别的应用可概括为传统特征提取与深度学习两种。传统特征提取方法一般需要经过图像收集、预处理、特征提取、特征匹配等实现目标识别，过程繁杂且通用性较差。随着深度学习在输电线路异物检测中的应用不断增多，能实现避免人工操作且同时拥有较高的检测精度，为巡检人员检测输电线路上悬挂的异物提供理论参考。但目前深度学习在输电线路异物检测的研究中，大多数只关注如何提高模型的精度，却忽视了在巡检过程中对模型检测结果时效性的要求，必须缩短图像获取与检测的耗时，才能及时的反馈与处理，有效避免输电线路故障的发生。


技术实现要素：

4.鉴于此，本发明的目的在于提供一种基于深度学习的输电线路悬挂异物目标检测方法，用于准确且快速检测出输电线路上悬挂的异物，为电网巡检人员开展输电线路除障工作提供技术参考。
5.为实现上述目的，本发明提供如下技术方案：一种基于深度学习的输电线路悬挂异物目标检测方法，包括如下步骤：s1、悬挂异物图像预处理：针对输电线路巡检拍摄的悬挂异物图像，采用泊松融合算法将异物目标与输电线路真实背景进行融合，生成虚拟的异物合成悬挂异物图像，通过缩放、部分遮挡、镜像翻转等方法扩充悬挂异物图像样本，采用前馈降噪卷积神经网络（dncnn）对悬挂异物图像样本进行降噪处理，构建输电线路悬挂异物图像数据集，运用mrlabeler工具标注出每一幅悬挂异物图像所含异物的位置与类别，并按照一定比例划分为训练集、验证集与测试集；s2、构建轻量级yolov4目标检测模型：利用mobilenetv2替换yolov4中的cspdarknet53特征提取网络，在mobilenetv2网络的深度可分离卷积模块中引入senet注意力机制，并将yolov4中panet网络的3
×
3普通卷积替换为深度可分离卷积，构建轻量级yolov4目标检测模型；s3、训练轻量级yolov4目标检测模型：利用imagenet公共数据集对轻量级yolov4
目标检测模型进行预训练，得到预训练模型；利用mosaic数据增强将输电线路悬挂异物图像训练集中的每四幅悬挂异物图像拼凑为一幅悬挂异物图像，生成新的训练数据集对预训练模型进行重新训练；s4、利用重新训练后得到的轻量级yolov4目标检测模型对测试集图像进行检测。
6.进一步地，步骤s1中按9:1的比例将输电线路悬挂异物图像数据集分为训练验证集与测试集，在训练过程中按照9:1将训练验证集划分为训练集与验证集。
7.进一步地，轻量级yolov4目标检测模型结构由三部分组成，第一部分为se
‑
mobilenetv2特征提取网络，第二部分为spp panet空间金字塔池化网络，第三部分是yolohead预测网络；首先利用1
×
1逐点卷积、3
×
3深度卷积、1
×
1逐点卷积构建倒残差结构模块irb，然后通过普通卷积、正则化、relu6激活函数构建cbr模块， se
‑
mobilenetv2特征提取网络依次包括cbr模块、irb6倒残差结构模块、irb7倒残差结构模块、irb4倒残差结构模块，其中irb6倒残差结构模块表示包含6个倒残差结构模块irb、irb7倒残差结构模块表示包含7个倒残差结构模块irb、irb4倒残差结构模块表示包含4个倒残差结构模块irb；在所述倒残差结构模块irb引入senet注意力机制。
8.进一步地，spp panet空间金字塔池化网络通过cdc、spp、cdc模块提取irb4倒残差结构模块输出的深层特征f3的显著特征p1，其中cdc模块由cbr、dsc、cbr三个模块组成，dsc模块为3
×
3深度卷积与1
×
1逐点卷积，spp模块由5
×
5、9
×
9、13
×
13和1
×
1四种不同池化核大小的最大池化maxpool组成；panet网络包括由深到浅与由浅到深的特征融合，具体为：将提取出的显著特征p1经过cbr模块与1
×
1反卷积上采样，与irb7倒残差结构模块输出的中层特征f2经过cbr模块后进行融合，融合后的特征通过mfc模块进行特征增强，mfc模块由cbr、dsc、cbr、dsc、cbr五个模块组成，增强后的特征定义为p2；同样，将p2经过cbr与1
×
1反卷积上采样，与ibr6倒残差结构模块输出的浅层特征f1进行融合，获得增强后的特征p3，以上过程属于由深到浅的特征融合；除此之外，panet还需要经过一个由浅到深的特征融合，具体过程为：将p3通过深度可分离卷积进行下采样，再与p2进行特征融合，融合后的特征经过mfc模块获得特征p4，p4经过下采样之后与p1进行融合，经过mfc模块后获得特征p5；最终，通过spp与panet获得的p3、p4、p5经过cbr模块与conv卷积层之后分别对应yolohead预测网络中16
×
16
×
27、32
×
32
×
27、64
×
64
×
27三种不同尺寸的预测结果，实现对大、中、小异物目标的检测。
9.进一步地，倒残差结构模块irb引入senet注意力机制，具体为在倒残差结构模块irb中3
×
3深度卷积后获得的特征基础上，利用挤压和激励操作提取其权重系数，并与原始特征相乘。
10.进一步地，步骤s3中，重新训练时，分为各50轮的两个阶段，在第一个阶段训练中设置batchsize为8、学习率为1
×
10
‑3，第二个阶段训练中设置batchsize为2、学习率为1
×
10
‑4，同时按照余弦退火学习率衰减方式动态调整训练过程中的学习率；每一轮训练后采用验证集对轻量级yolov4目标检测模型训练效果进行评价，验证过程中通过标签平滑方法降低少量错误标签样本对轻量级yolov4目标检测模型的影响。
11.进一步地，步骤s4中，通过se
‑
mobilenetv2中cbr模块与6个irb模块提取输电线路异物图像的浅层特征f1，再通过7个irb模块提取出中层特征f2，最后4个irb6模块提取出深层特征f3；利用spp网络中5
×
5、9
×
9、13
×
13和1
×
1四种不同池化核大小的最大池化层
maxpool提取出f3中的显著特征，同时利用卷积、上采样与下采样将其与中层特征f2、浅层特征f1进行特征融合；最后，将融合后的三个特征分别输入至对应尺寸大小的yolohead预测网络中，通过三种尺度共同检测得到测试集图像中的异物目标类别、置信度与位置；而当异物图像的完成检测之后，异物目标周围获得大量检测框，再利用非极大值抑制进行筛选，得到最优的检测框。
12.与现有技术相比，本发明有益效果：采用前馈降噪卷积神经网络（dncnn）对图像样本进行降噪处理，构建输电线路悬挂异物图像数据集，运用mrlabeler工具标注异物，并划分为训练集、验证集与测试集，然后构建并训练轻量级yolov4目标检测模型，最后利用重新训练后得到的轻量级yolov4目标检测模型对测试集图像进行检测，能够在输电线路无人机航拍图像中定位并识别出线路上悬挂的异物，具有较高的异物检测精度与检测速度，且更有利于实际模型的部署，可为电网巡检人员开展输电线路除障工作提供技术参考。
附图说明
13.图1为本发明的方法流程图。
14.图2为本发明构建的轻量级yolov4算法模型网络结构。
具体实施方式
15.下面结合实施例对本发明做进一步的描述，有必要在此指出的是以下实施例只是用于对本发明进行进一步的说明，不能理解为对本发明保护范围的限制，该领域的技术熟练人员根据上述发明内容所做出的一些非本质的改进和调整，仍属于本发明保护范围。
16.一种基于深度学习的输电线路悬挂异物目标检测方法，其流程图如图1所示，包括以下步骤：s1、悬挂异物图像预处理：针对输电线路巡检拍摄的悬挂异物图像，采用泊松融合算法将异物目标与输电线路真实背景进行融合，生成虚拟的异物合成图像，通过缩放、部分遮挡、镜像翻转等方法扩充悬挂异物图像样本，采用前馈降噪卷积神经网络（dncnn）对悬挂异物图像样本进行降噪处理，构建输电线路悬挂异物图像数据集，运用mrlabeler工具标注出每一幅悬挂异物图像所含异物的位置与类别，并按照一定比例划分为训练集、验证集与测试集。
17.本实施例中输电线路巡检拍摄的悬挂异物图像包含266幅鸟巢图像、299幅风筝图像、335幅垃圾图像和332幅气球图像，共1232幅图像。但由于悬挂异物图像采集困难导致样本不足，因此针对样本数量不足与不平衡的问题，提出采用基于泊松融合的样本扩充方法，生成虚拟的悬挂异物合成图像，同时结合缩放、部分遮挡、镜像翻转方法对悬挂异物图像进行扩充，扩充后的输电线路悬挂异物图像总数为4517张；利用前馈降噪卷积神经网络（dncnn）对悬挂异物图像样本进行降噪处理（降噪处理模型包括但不限于dncnn），构建输电线路悬挂异物图像数据集；运用mrlabeler工具标注出每一幅悬挂异物图像所含异物的位置与类别，包括鸟巢、风筝、气球、垃圾四种异物，并定义其类别为nest、kite、balloon与trash，自动生成.xml和.txt标注文件，供下一步聚类分析和模型训练时调取数据。将输电线路悬挂异物图像数据集按照按9:1的比例划分为训练验证集和测试集，并且在训练验证集中随机选取10%的样本作为验证集，其余90%作为训练集，因此，训练集包含3658个样本，
验证集包含407个样本，测试集包含452个样本。
18.s2、构建轻量级yolov4目标检测模型：利用mobilenetv2替换yolov4中的cspdarknet53特征提取网络，在mobilenetv2网络的深度可分离卷积模块中引入senet注意力机制，并将yolov4中panet网络的3
×
3普通卷积替换为深度可分离卷积，构建轻量级yolov4目标检测模型。
19.本实施例中轻量级yolov4目标检测模型结构由三部分组成，如图2所示，第一部分为se
‑
mobilenetv2特征提取网络（backbone），第二部分为spp panet空间金字塔池化网络（neck），第三部分是yolohead预测网络。首先利用1
×
1逐点卷积、3
×
3深度卷积、1
×
1逐点卷积构建倒残差结构模块（irb），然后通过普通卷积、正则化、relu6激活函数构建cbr模块，按照图2所示构建se
‑
mobilenetv2特征提取网络（backbone）依次包括cbr模块、irb6倒残差结构模块、irb7倒残差结构模块、irb4倒残差结构模块，其中irb6倒残差结构模块表示包含6个倒残差结构模块（irb）、irb7倒残差结构模块表示包含7个倒残差结构模块（irb）、irb4倒残差结构模块表示包含4个倒残差结构模块（irb）；在所述倒残差结构模块（irb）引入senet注意力机制，具体为在倒残差结构模块（irb）中3
×
3深度卷积后获得的特征基础上，利用挤压（squeeze）和激励（excitation）操作提取其权重系数，并与原始特征相乘，从而构建se
‑
mobilenetv2特征提取网络，并将其替换原始yolov4中的cspdarknet53特征提取网络。
20.为进一步降低模型计算量，将yolov4中panet网络的3
×
3普通卷积替换为深度可分离卷积（dsc），spp panet空间金字塔池化网络主要是通过cdc、spp、cdc模块提取irb4倒残差结构模块输出的深层特征f3的显著特征p1，其中cdc模块由cbr（conv卷积层、bn正则化层、relu6激活函数）、dsc（3
×
3深度卷积与1
×
1逐点卷积）、cbr三个模块组成，spp模块由5
×
5、9
×
9、13
×
13和1
×
1四种不同池化核大小的最大池化maxpool组成。panet网络主要包括由深到浅与由浅到深的特征融合，具体为：将提取出的显著特征p1经过cbr模块与1
×
1反卷积上采样，与irb7倒残差结构模块输出的中层特征f2经过cbr模块后进行融合，融合后的特征通过mfc模块（cbr、dsc、cbr、dsc、cbr）进行特征增强，增强后的特征定义为p2；同样，将p2经过cbr与1
×
1反卷积上采样，与ibr6倒残差结构模块输出的浅层特征f1进行融合，获得增强后的特征p3，以上过程属于由深到浅的特征融合；除此之外，panet还需要经过一个由浅到深的特征融合，具体过程为：将p3通过深度可分离卷积进行下采样，再与p2进行特征融合，融合后的特征经过mfc模块获得特征p4，p4经过下采样之后与p1进行融合，经过mfc模块后获得特征p5。
21.最终，通过spp与panet获得的p3、p4、p5经过cbr模块与conv卷积层之后分别对应yolohead预测网络中16
×
16
×
27、32
×
32
×
27、64
×
64
×
27三种不同尺寸的预测结果，实现对大、中、小异物目标的检测。
22.s3、训练轻量级yolov4目标检测模型：利用imagenet公共数据集对轻量级yolov4目标检测模型进行预训练，得到预训练模型；利用mosaic数据增强将输电线路悬挂异物图像训练集中的每四幅悬挂异物图像经过随机裁减、色域变换等方式后拼凑为一幅悬挂异物图像，生成新的训练数据集对预训练模型进行重新训练。
23.重新训练时分为各50轮的两个阶段，在第一个阶段训练中设置batchsize为8、学习率为1
×
10
‑3，第二个阶段训练中设置batchsize为2、学习率为1
×
10
‑4，同时按照如式（1）
所示的余弦退火学习率衰减方法动态调整训练过程中的学习率。
24.ꢀꢀꢀꢀ
(1)式中，表示为t时刻的学习率，和分别为学习率的最大值和最小值，t
cur
和t
i
分别为训练过程中某一轮的迭代次数和总迭代次数，为圆周率。
25.每一轮训练后采用验证集对轻量级yolov4目标检测模型训练效果进行评价，验证过程中通过标签平滑方法降低少量错误标签样本对轻量级yolov4目标检测模型的影响，具体平滑处理公式如式（2）所示，采用标签平滑处理后的标签值ylsk替换原始one
‑
hot编码标签进行轻量级yolov4目标检测模型训练。
26.ꢀꢀꢀꢀꢀ
(2)式中，为one
‑
hot编码类别标签，为标签平滑处理后的标签值，k为总的类别数，为平滑值。
27.s4：利用重新训练后得到的轻量级yolov4目标检测模型对测试集图像进行检测。
28.本实施例中，通过se
‑
mobilenetv2中cbr模块与6个irb模块提取输电线路异物图像的浅层特征f1，再通过7个irb模块提取出中层特征f2，最后4个irb6模块提取出深层特征f3；利用spp网络中5
×
5、9
×
9、13
×
13和1
×
1四种不同池化核大小的最大池化层maxpool提取出f3中的显著特征，同时利用卷积、上采样与下采样将其与中层特征f2、浅层特征f1进行特征融合；最后，将融合后的三个特征分别输入至对应尺寸大小的yolohead预测网络中，通过三种尺度共同检测得到测试集图像中的异物目标类别、置信度与位置；而当异物图像的完成检测之后，异物目标周围获得大量检测框，再利用非极大值抑制进行筛选，得到最优的检测框。
29.本实施例中，借助平均准确率均值map与f
1 score评价指标来对比分析训练策略、模型优化前后的模型检测性能，利用输电线路悬挂异物图像测试集对模型进行测试，在不同训练方法下的结果如表1所示。
30.表1 不同训练方法下模型检测效果根据表1结果可知，本发明在采用以上三种训练策略下训练获得的轻量级yolov4
目标检测模型能够在测试集图像上的平均准确率均值map为95.29%。
31.以mobilenetv2作为特征提取网络，并在irb模块中添加senet注意力机制，利用深度可分离卷积替换panet网络中普通卷积，构建轻量级yolov4输电线路悬挂异物检测模型，对测试集异物图像的检测结果如表2所示，其中包含本发明提出的轻量级yolov4目标检测模型与原始yolov4进行对比。
32.表2 模型对比结果根据表2数据可知，本发明提出的轻量级yolov4目标检测模型在输电线路悬挂异物图像测试集上检测的平均准确率均值map为95.29%，相较于yolov4降低了0.51%；但是检测速度fps（即每秒检测图像数）为47，约为yolov4的2.47倍；并且，在本发明的轻量级yolov4目标检测模型的大小为yolov4模型大小的六分之一，在兼顾检测精度与检测速度的同时，大幅度降低了模型的参数量，使得其可以较为简易地部署到硬件设备中，以实现智能化输电线路异物检测，提高电网巡检工作的效率。
33.以上所述仅表达了本发明的优选实施方式，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的内容加以更改或改型为等同变化的等效实施例。但是，凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。