一种基于神经网络技术的电路设备缺陷识别方法与流程

1.本发明属于图片处理技术，尤其涉及一种基于神经网络技术的电路设备缺陷识别方法。


背景技术：

2.电力设备如电力线、杆塔长期在野外暴露，不断受到机械张力、材料老化、雷击、污秽等外界因素的侵害，容易导致断股、腐蚀、绝缘子破损、杆塔倾斜等故障的发生。虽然已有无人机等技术代替人工巡检，但拍摄的大量巡检图片依然需要经验丰富的管理人员通过肉眼进行手工识别，判断效率低且容易误判，导致图像处理难以及时进行。
3.近年来，随着信息技术、人工智能技术的发展，图像识别技术不断进步。智能图像识别技术可通过对缺陷图片的处理、提取、识别和分析，建立缺陷特性库，在训练达到一定程度后将可替代人工进行缺陷识别。传统的电力部件识别算法主要采用人工设计的特征，如sift、边缘检测符、hog等，不能很好地适用于电力部件，采用的分割算法主要基于部件外围轮廓骨架、自适应阈值等进行图像分割。但这些方法在设计原则上往往是基于特定类别来实现的，其准确率低，不具有可扩展性；而且方法结构松散，缺少对低层特征进行综合利用进而达到全局最优识别的目的。与之相比，malik团队的轮廓检测及层次图像分割方法和多尺度组合聚合方法，以及uijlings等提出的基于选择性搜索的目标识别方法给出了将多种低层次特征进行全局优化并构建层次结构模型的范式，提高了准确率，但这些方法尚不具备随样本数量增多提升识别准确率的能力。


技术实现要素：

4.本发明要解决的问题是：提供一种基于神经网络技术的电路设备缺陷识别方法，以解决现有技术对电路设备缺陷图片识别方法缺少对低层特征进行综合利用进而达到全局最优识别的目的或不具备随样本数量增多提升识别准确率的能力等技术问题。
5.本发明采用技术方案如下：
6.一种基于神经网络技术的电路设备缺陷识别方法，它包括：
7.步骤1、获取带有缺陷的电路设备图像和待测的电路设备图像，得到原始图像数据，进行筛选，得到清晰度达标的图像数据；
8.步骤2、对清晰度达标的图像数据进行预处理，得到标准图像数据；
9.步骤3、对标准图像进行标注，标注与标准图像一起组成训练集；
10.步骤4、将训练集导入darknet网络进行训练，得到模型网络；
11.步骤5、将待测图像导入模型网络，得到每个区域的各缺陷类型置信度，设置阈值，滤掉阈值以下的区域；对剩余区域进行nms处理得到检测结果。
12.步骤1中，对所述原始图像数据使用tenengrad梯度算法进行清晰度检测，从而获得筛选后的图像数据。
13.步骤2中，对清晰度达标的图像数据进行预处理，得到标准图像数据的方法为：将
清晰度达标的图像数据进行高斯滤波、直方图均衡化和缩放处理，从而获得所属标准图像数据。
14.所述tenengrad梯度算法包括：
15.tenengrad梯度算法的图像清晰度定义如下：
16.d(f)＝∑
y
∑
x
|g(x，y)|(g(x，y)＞t)，
17.g(x,y)的定义如下：
[0018][0019]
式中：t是给定的边缘检测阈值，gx和gy分别是像素点(x,y)处sobel水平和垂直方向边缘检测算子的卷积。
[0020]
所述高斯滤波的目的是为了对图像进行去噪，高斯滤波采用二维零均值离散高斯函数做平滑滤波器。
[0021]
所述直方图均衡化是为了增加图像的全局对比度。
[0022]
缩放处理时为了符合yolo v3对数据集的要求，所有图片全部缩放尺寸到416
×
416，对于长宽不相等的图片，等比例缩放会造成扭曲，因此按照min(w/img_w，h/img_h)，其中img_w和img_h为原图的宽高，w和h为目标尺寸即416
×
416；图片缩放后正方形的剩余部分用r,g,b＝(128,128,128)填充。
[0023]
步骤3所述对标准图像进行标注时，标注文件以.txt格式文件存储，与标注设备图像命名一致，保存为.txt格式文件，储存于标注数据文件夹内。
[0024]
所述nms处理的方法包括：
[0025]
步骤5.1、根据置信度得分进行排序；
[0026]
步骤5.2、选择置信度最高的边界框直接添加到结果列表中，并从候选框列表中删除；
[0027]
步骤5.3、计算所有候选框的面积；
[0028]
步骤5.4、计算置信度最高的边界框与其余候选框的iou；
[0029]
步骤5.5、设置iou阈值，删除掉iou大于阈值的边界；
[0030]
步骤5.5、重复上述过程，直到候选框列表为空。
[0031]
本发明的有益效果：
[0032]
本发明提供的基于神经网络技术的电路设备缺陷识别方法克服了传统的电力部件识别算法的不足，是通过对图像进行适当的预处理并进行人工标注，然后通过导入yolo v3算法所使用的darknet网络进行模型训练和识别，最后对模型的识别结果进行选择得到最终的设备缺陷检测结果；该方法自动化程度高，检测速度快，识别率高，工作稳定，实现智能诊断；解决了现有技术对电路设备缺陷图片识别方法缺少对低层特征进行综合利用进而达到全局最优识别的目的或不具备随样本数量增多提升识别准确率的能力等技术问题。
附图说明
[0033]
图1为本发明方法流程示意图。
具体实施方式
[0034]
一种基于神经网络技术的电路设备缺陷识别方法，它包括：
[0035]
步骤1、获取带有缺陷的电路设备图像和待测的电路设备图像，得到原始图像数据，进行筛选，得到清晰度达标的图像数据；
[0036]
步骤1所述的对原始图像的筛选方法为：使用tenengrad梯度算法进行清晰度检测，对清晰度不达标的图像做抛弃处理。
[0037]
tenengrad梯度算法的图像清晰度定义如下：
[0038]
d(f)＝∑
y
∑
x
|g(x，y)|(g(x，y)＞t)，
[0039]
g(x,y)的定义如下：
[0040][0041]
其中：t是给定的边缘检测阈值，g
x
和g
y
分别是像素点(x,y)处sobel水平和垂直方向边缘检测算子的卷积；g(x,y)是水平和垂直两方向的梯度差。
[0042]
步骤2、对清晰度达标的图像数据进行预处理，得到标准图像数据；
[0043]
在将图像数据导入darknet网络前清晰度达标的图像数据进行预处理，优选地，采用高斯滤波、直方图均衡化和缩放处理，从而获得所属标准图像数据。其中：
[0044]
高斯滤波的目的是为了对图像进行去噪，例如，高斯滤波采用二维零均值离散高斯函数做平滑滤波器。
[0045]
直方图均衡化是为了增加图像的全局对比度，尤其是当图像的有用数据的对比度相当接近的时候。通过这种方法，亮度可以更好地在直方图上分布。这样就可以用于增强局部的对比度而不影响整体的对比度，直方图均衡化通过有效地扩展常用的亮度来实现这种功能。
[0046]
缩放处理时为了符合yolo v3对数据集的要求，所有图片全部缩放尺寸到416
×
416，对于长宽不相等的图片，等比例缩放会造成扭曲，因此按照min(w/img_w,h/img_h)，其中img_w和img_h为原图的宽高，w和h为目标尺寸即416
×
416.这种图片缩放后，正方形的剩余部分用r,g,b＝(128,128,128)填充即可。
[0047]
步骤3、对标准图像进行标注，标注与标准图像一起组成训练集；
[0048]
优选地，标注文件以.txt格式文件存储，与标注设备图像命名一致，保存为.txt格式文件，储存于标注数据文件夹内。
[0049]
步骤4、将训练集导入darknet网络进行训练，得到模型。
[0050]
步骤5、将待测图像导入模型网络，得到每个区域的各缺陷类型置信度。设置阈值，滤掉得分低的区域。对其余区域进行nms(非极大值抑制处理)。得到检测结果。
[0051]
其中nms(非极大值抑制处理)的主要思想是搜索置信度得分的局部最大值，抑制极大值。具体的流程如下：
[0052]
a)根据置信度得分进行排序；
[0053]
b)选择置信度最高的边界框直接添加到结果列表中，并将其从候选框列表中删除
[0054]
c)计算所有候选框的面积
[0055]
d)计算置信度最高的边界框与其余候选框的iou
[0056]
e)设置一定的iou阈值，删除掉iou大于阈值的边界框。
[0057]
f)重复上述过程，直到候选框列表为空。
[0058]
其中，iou：intersection
‑
over
‑
union，即两个边界框的交集面积除以它们的并集面积。

技术特征：
1.一种基于神经网络技术的电路设备缺陷识别方法，它包括：步骤1、获取带有缺陷的电路设备图像和待测的电路设备图像，得到原始图像数据，进行筛选，得到清晰度达标的图像数据；步骤2、对清晰度达标的图像数据进行预处理，得到标准图像数据；步骤3、对标准图像进行标注，标注与标准图像一起组成训练集；步骤4、将训练集导入darknet网络进行训练，得到模型网络；步骤5、将待测图像导入模型网络，得到每个区域的各缺陷类型置信度，设置阈值，滤掉阈值以下的区域；对剩余区域进行nms处理得到检测结果。2.根据权利要求1所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：步骤1中，对所述原始图像数据使用tenengrad梯度算法进行清晰度检测，从而获得筛选后的图像数据。3.根据权利要求1所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：步骤2中，对清晰度达标的图像数据进行预处理，得到标准图像数据的方法为：将清晰度达标的图像数据进行高斯滤波、直方图均衡化和缩放处理，从而获得所属标准图像数据。4.根据权利要求2所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：所述tenengrad梯度算法包括：tenengrad梯度算法的图像清晰度定义如下：d(f)＝∑
y
∑
x
|g(x，y)|(g(x，y)＞t)，g(x,y)的定义如下：式中：t是给定的边缘检测阈值，gx和gy分别是像素点(x,y)处sobel水平和垂直方向边缘检测算子的卷积。5.根据权利要求3所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：所述高斯滤波的目的是为了对图像进行去噪，高斯滤波采用二维零均值离散高斯函数做平滑滤波器。6.根据权利要求3所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：所述直方图均衡化是为了增加图像的全局对比度。7.根据权利要求3所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：缩放处理时为了符合yolo v3对数据集的要求，所有图片全部缩放尺寸到416
×
416，对于长宽不相等的图片，等比例缩放会造成扭曲，因此按照min(w/img_w，h/img_h)，其中img_w和img_h为原图的宽高，w和h为目标尺寸即416
×
416；图片缩放后正方形的剩余部分用r,g,b＝(128,128,128)填充。8.根据权利要求1所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：步骤3所述对标准图像进行标注时，标注文件以.txt格式文件存储，与标注设备图像命名一致，保存为.txt格式文件，储存于标注数据文件夹内。9.根据权利要求1所述的一种基于神经网络技术的电路设备缺陷识别方法，其特征在于：所述nms处理的方法包括：
步骤5.1、根据置信度得分进行排序；步骤5.2、选择置信度最高的边界框直接添加到结果列表中，并从候选框列表中删除；步骤5.3、计算所有候选框的面积；步骤5.4、计算置信度最高的边界框与其余候选框的iou；步骤5.5、设置iou阈值，删除掉iou大于阈值的边界；步骤5.5、重复上述过程，直到候选框列表为空。
技术总结
本发明公开了一种基于神经网络技术的电路设备缺陷识别方法，它包括：步骤1、获取带有缺陷的电路设备图像和待测的电路设备图像，得到原始图像数据，进行筛选，得到清晰度达标的图像数据；步骤2、对清晰度达标的图像数据进行预处理，得到标准图像数据；步骤3、对标准图像进行标注，标注与标准图像一起组成训练集；步骤4、将训练集导入Darknet网络进行训练，得到模型网络；步骤5、将待测图像导入模型网络，得到每个区域的各缺陷类型置信度，设置阈值，滤掉阈值以下的区域；对剩余区域进行NMS处理得到检测结果；解决了现有技术对电路设备缺陷图片识别方法缺少对低层特征进行综合利用进而达到全局最优识别的目的或不具备随样本数量增多提升识别准确率的能力等技术问题。增多提升识别准确率的能力等技术问题。增多提升识别准确率的能力等技术问题。


技术研发人员：毛先胤 邹雕 黄欢 罗国强 殷蔚翎 杨旗
受保护的技术使用者：贵州电网有限责任公司
技术研发日：2021.03.25
技术公布日：2021/6/29