本申请涉及计算机视觉技术领域，尤其是涉及一种输电导线缺陷的视觉识别及定位方法。
背景技术：
输电线路主要承担电能输送任务，是国家电网的重要组成部分。由于输电线路架设面积广，途经地区的地形和气候复杂多变，因而在外界环境的长时间影响下，输电导线容易产生导线断股、导线破损等故障。如果这些故障不及时维修，容易引发线路断线和短路故障，进而造成大面积非计划停电。因此，定期开展巡检工作非常关键，定期开展巡检工作不仅可以保障输电线路平稳及可靠地运行，还能避免不必要的经济损失，对国民用电安全和经济稳定发展起着至关重要的作用。
早期的巡检工作主要由人工巡检方式来完成，即工作人员直接通过肉眼观察，查找并识别线路上的故障点，这种巡检方式效率低、难度大且可靠性较弱。随着科技的进步，新型的巡检方式逐步取代人工巡检，这种新型的巡检方式主要通过携带高清摄像机或者红外摄像机等图像采集工具来拍摄输电线路图像，再由工作人员查看并分析采集到的视频图像，观察输电线路典型部件的状况并找出故障点。
然而，采用这种新型的巡检方式，视频终端所采集到的图像数据庞大、重复性高，且海量的输电线路图像数据仍需要工作人员通过肉眼查看，因而工作量巨大，容易出现误判或漏判的情况，依然无法及时且准确地发现输电线路上的安全隐患。
技术实现要素：
为了克服现有技术的不足，本申请旨在提供一种输电导线缺陷的视觉识别及定位方法，可以提高输电线路巡检的自动化程度、数据化程度和实时性。
为了实现上述目的，一方面，本申请提供一种输电导线缺陷的视觉识别及定位方法，具体包括：
获取输电导线的高清图像。
利用改进的局部二值模式特征值对所述高清图像进行灰度化处理，获得灰度化图像；所述改进的局部二值模式特征值通过将像素点的对比范围扩展到任意半径的圆形区域，并根据拉普拉斯算子获得。
对所述灰度化图像进行去噪及增强处理，获得增强图像，再利用canny边缘检测算法对所述增强图像进行边缘检测，获得边缘图像。
利用hough直线检测算法从所述边缘图像中提取输电导线纹理后，再利用最小二乘法拟合所述输电导线纹理中心线，以及利用所述输电导线纹理中心线获取输电导线拟合图像，并将所述输电导线拟合图像作为感兴趣区域。
通过预先建立的缺陷识别模型对所述感兴趣区域进行自动识别，获得所述感兴趣区域的缺陷类型，并框定出所述缺陷类型所属感兴趣区域的位置信息。
所述缺陷识别模型包含输电导线缺陷类型数据库，并能够将感兴趣区域与输电导线缺陷类型数据库进行匹配，确定感兴趣区域是否存在缺陷以及缺陷所属的缺陷类型；所述缺陷识别模型通过改进的yolov3卷积神经网络训练获得，所述改进的yolov3卷积神经网络包括引入dropblock层和改进损失函数。
进一步的，所述利用改进的局部二值模式特征值对所述高清图像进行灰度化处理，具体方法包括：
步骤s21：获取所述高清图像的所有像素点。
步骤s22：选取任一像素点作为中心像素点，根据预设的半径确定所述中心像素点的圆形区域，并在圆形区域内选定设定个数的像素点作为邻域像素点。
步骤s23：根据所述中心像素点的灰度值，求得所述中心像素点的拉普拉斯算子；以及根据所述邻域像素点的灰度值，求得所述邻域像素点的拉普拉斯算子。
步骤s24：根据所述中心像素点的拉普拉斯算子和所述邻域像素点的拉普拉斯算子，计算所述中心像素点的局部二值模式特征值。
步骤s25：利用所有像素点的局部二值模式特征值对所述高清图像进行灰度归一化。
进一步的，建立所述缺陷识别模型的具体方法为：
步骤s31：获取输电导线缺陷类型数据库中的输电导线缺陷图像。
步骤s32：将所述输电导线缺陷图像分为训练集和测试集。
步骤s33：将所述训练集通过反向传播算法进行反复训练，建立初步神经网络模型。
步骤s34：利用所述测试集验证所述初步神经网络模型的精度，若所述初步神经网络模型的精度满足要求，则生成缺陷识别模型。
进一步的，所述改进损失函数的具体方法为：
步骤s41：计算预测框和标注框的交集面积和并集面积。
步骤s42：根据所述交集面积和所述并集面积，获得预测框和标注框的交并比，所述交并比为预测框和标注框的交集面积与并集面积的比值。
步骤s43：计算预测框和标注框的最小闭包区域面积，所述最小闭包区域面积为同时包含了预测框和标注框的最小框的面积。
步骤s44：根据所述最小闭包区域面积和所述并集面积，计算最小闭包区域中既不属于预测框也不属于标注框的区域占最小闭包区域的比重，获得非并比重。
步骤s45：根据所述交并比与所述非并比重，获得广义交并比，所述广义交并比为所述交并比与所述非并比重的差值，具体表示为：
式中，giou为广义交并比，iou为预测框和标注框的交并比，d为最小闭包区域面积，u为预测框和标注框的并集面积。
步骤s46：根据所述广义交并比，获得损失函数，所述损失函数为：lgiou＝1-giou。
进一步的，所述dropblock层包括两个参数，分别为需要丢弃的block的大小block_size和需要丢弃的激活单元数量γ，γ的计算公式如下：
式中，keep_prob为传统dropout层中激活单元被保留的概率，feat_size为特征图的尺寸大小。
进一步的，对所述灰度化图像进行去噪处理采用维纳滤波法。
进一步的，对所述灰度化图像进行增强处理采用直方图均衡化。
进一步的，所述canny边缘检测采用最大类间差法。
进一步的，所述输电导线缺陷类型数据库包括：单股导线断股、多股导线断股和导线破损。
第二方面，本申请还提供一种输电导线缺陷的视觉识别及定位系统，具体包括：
图像预处理单元，用于对高清图像进行预处理，包括灰度处理模块、图像去噪与增强模块和边缘检测模块；所述灰度处理模块利用改进的局部二值模式特征值对所述高清图像进行灰度化处理，获得灰度化图像；所述图像去噪与增强模块用于通过维纳滤波器对所述灰度化图像进行滤波处理，再利用直方图均衡化对滤波处理后的灰度化图像作进一步增强，获得增强图像；所述边缘检测模块用于通过canny边缘检测算法对所述增强图像进行边缘检测，获得边缘图像。
导线提取单元，用于提取出输电导线部分作为感兴趣区域，包括直线检测模块、拟合中心线模块和提取感兴趣区域模块；所述直线检测模块用于通过hough直线检测算法从所述边缘图像中提取输电导线纹理；所述拟合中心线模块用于通过最小二乘法拟合所述输电导线纹理中心线；所述提取感兴趣区域模块，用于根据所述输电导线纹理中心线获取输电导线拟合图像，并将所述输电导线拟合图像作为感兴趣区域。
分类与定位单元，用于通过预先建立的缺陷识别模型对所述感兴趣区域进行自动识别，获得所述感兴趣区域的缺陷类型，并框定出所述缺陷类型所属感兴趣区域的位置信息；所述缺陷识别模型包含输电导线缺陷类型数据库，并能够将感兴趣区域与输电导线缺陷类型数据库进行匹配，确定感兴趣区域是否存在缺陷以及缺陷所属的缺陷类型；所述缺陷识别模型通过改进的yolov3卷积神经网络训练获得，所述改进的yolov3卷积神经网络包括引入dropblock层和改进损失函数。
本申请提供一种输电导线缺陷的视觉识别及定位方法，通过图像处理技术与神经网络模型的结合应用，获取输电导线缺陷的类型，并框定出该缺陷在图像中的位置信息，同时将输电导线缺陷的识别精度和位置信息对应存储，能够实现输电导线缺陷的自动识别和定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率，进而保证电网的稳定运行。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种输电导线缺陷的视觉识别与定位方法流程示意图；
图2为本申请实施例提供的输电导线图像灰度化处理流程示意图；
图3为本申请实施例提供的建立缺陷识别模型流程示意图；
图4为本申请实施例提供的输电导线缺陷识别流程示意图；
图5为本申请实施例提供的聚类数与误差平方和关系变化示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行完整、清楚的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
近年来，随着计算机视觉技术与卷积神经网络的结合越来越紧密，研究者们越来越多地将计算机视觉技术运用到线路巡检工作中，实现自动识别和定位输电导线图像中的导线缺陷，从而代替工作人员检测视频图像，该方式不仅可以充分利用无人机、直升机及智能机器人等巡检装置所获取的图像数据信息，还可以提高输电线路巡检的自动化程度、数据化程度和实时性。
参见图1，为本申请实施例提供的一种输电导线缺陷的视觉识别与定位方法流程示意图。本申请实施例第一方面提供一种输电导线缺陷的视觉识别与定位方法，具体包括：
步骤s1：获取输电导线的高清图像。
步骤s2：本申请实施例利用改进的局部二值模式特征值对所述高清图像进行灰度化处理，获得灰度化图像；所述改进的局部二值模式特征值通过将像素点的对比范围扩展到任意半径的圆形区域，并根据拉普拉斯算子获得。
lbp(localbinarypatterns)，局部二值模式，是目前视觉检测领域中常用的图像局部纹理特征的描述算子，其原理是通过将每个像素点与其邻域像素点的灰度值进行比较，得到二进制数，再转化为十进制，得到此像素lbp值。
为了适应多种情况的纹理特征，并达到灰度和旋转不变性的要求，本申请实施例提出了改进的lbp算子。该方法先算出每个像素点的拉普拉斯算子，将像素点的对比范围由正方形的3×3邻域再进一步扩展到圆形的任意邻域，最后得到了任意半径的圆形区域内的p个采样点的lbp特征值。改进的lbp特征子求得的灰度图基本不受亮度影响，鲁棒性更强。
参见图2，为本申请实施例提供的输电导线图像灰度化处理流程示意图。本申请实施例中，所述利用改进的局部二值模式特征值对所述高清图像进行灰度化处理，具体方法包括：
步骤s201：获取所述高清图像的所有像素点。
步骤s202：选取任一像素点作为中心像素点，设中心像素点(xc,yc)的灰度值为ic，根据预设的半径确定所述中心像素点的圆形区域，并在圆形区域内选定设定个数的像素点作为邻域像素点，邻域像素点的灰度值为in(n＝0,1,...,p-1)。
步骤s203：根据中心像素点的灰度值ic，求得所述中心像素点的拉普拉斯算子lc；以及根据所述邻域像素点的灰度值in(n＝0,1,...,p-1)，求得所述邻域像素点的拉普拉斯算子ln(n＝0,1,...,p-1)。
拉普拉斯算子是较简单的具有旋转不变性的各向同性微分算子，一个二维图像函数f(x)的拉普拉斯算子定义如下：
为了更好地处理二维图像，其离散表达式如下：
步骤s204：根据所述中心像素点的拉普拉斯算子lc和所述邻域像素点的拉普拉斯算子ln(n＝0,1,...,p-1)，计算所述中心像素点的lbp特征值。
本申请实施例中，lbp值的计算原理为：判断所述中心像素点的拉普拉斯算子，若圆形区域内，任一邻域像素点的拉普拉斯算子小于所述中心像素点的拉普拉斯算子，则该邻域像素点被标记为0，否则标记为1。因此，圆形区域内的p-1个邻域像素点经标记获得p-1位二进制数，根据所述p-1位二进制数得到所述中心像素点的lbp特征值。
通过式(2)计算所有邻域像素点的拉普拉斯算子，这样中心像素点(xc,yc)的lbp特征值可由下式求得：
其中，
步骤s205：利用所有像素点的局部二值模式特征值对所述高清图像进行灰度归一化。
步骤s3：对所述灰度化图像进行去噪及增强处理，获得增强图像，再利用canny边缘检测算法对所述增强图像进行边缘检测，获得边缘图像。
进一步的，在本申请的部分实施例中，对所述灰度化图像进行去噪处理采用维纳滤波法。
维纳滤波器也叫最小均方误差滤波器，属于离散型fir滤波器，该滤波器主要是通过求解输入图像f(x,y)与输出图像
采用维纳滤波法能估计噪声强度，从而得到噪声的估计值，根据噪声自适应设计最优滤波器，既能保留图像边缘和其他高频部分，又能去除高斯白噪声。
进一步的，在本申请的部分实施例中，在采用维纳滤波法进行去噪处理后还包括：采用直方图均衡化对所述灰度化图像进行增强处理。
通过对图像中分布较密集的灰度级进行拓宽，对分布较为稀疏的灰度级进行压缩，从而使图像像素值均匀分布于整个灰度范围，扩展像素值的范围，提高图像对比度。令直方图均衡化的灰度映射变换如式(6)所示：
s＝t(r)，0≤r≤l-1(6)
式中，r为图像的输入灰度值，在灰度空间[0,l-1]内，s为图像的输出灰度值，t为输入和输出的映射。
图像的灰度级利用概率密度函数来描述随机变量。令pr(r)，ps(r)表示随机变量r和s的概率密度函数，即pr(r)为直方图均衡化前原始图灰度级的概率密度函数，ps(r)是待求得的输出图像灰度级的概率密度函数，可求得式(7)：
令：
那么得式(9)：
将式(9)带入式(7)可得：
进一步的，在本申请的部分实施例中，所述canny边缘检测采用最大类间差法。canny算子的思想如下：首先使用高斯方程的一阶方向导数对图像进行卷积过滤，然后在过滤后的图像中寻找图像梯度局部极大值，极大值点处即为图像的边缘点。由于采用阈值处理和连接分析来检测并连接边缘，因此阈值的设定决定了检测效果的好坏。
具体的，在本申请的部分实施例中，阈值的设定采用自适应阈值大津法。自适应阈值大津法也称最大类间差法，其原理是利用灰度直方图特性把背景和前景分割成两类，通过计算类间最大分差得到最优阈值。设图像像素点(x,y)的灰度值为i(x,y)，灰度值t为初始阈值。i(x,y)≤t为前景像素点，其占图像比例w0，灰度均值u0；i(x,y)>t为背景像素点，其占图像比例为w1，灰度均值为u1；整体图像灰度均值u计算如式(11)所示：
u＝w0(t)u0(t) w1(t)u1(t)(11)
背景与前景的类间误差σ计算如式(12)所示：
σ(t)＝w0(t)[u0(t)-u]2 w1(t)[u1(t)-u]2(12)
最佳阈值t计算公式如(13)所示：
t＝argmax(σ(t))t∈[0,255](13)
步骤s4：利用hough直线检测算法从所述边缘图像中提取输电导线纹理后，再利用最小二乘法拟合所述输电导线纹理中心线，以及利用所述输电导线纹理中心线获取输电导线拟合图像，并将所述输电导线拟合图像作为感兴趣区域，去除输电线路背景干扰。
输电线路背景环境复杂，为了提高检测准确率，需对感兴趣区域(roi)，即导线部分进行提取，具体步骤如下：
步骤s401：对边缘检测图做hough直线检测，并对直线设置约束条件，去除图像背景边缘直线，筛选导线纹理。
hough直线检测是图像处理技术中重要的几何形状特征提取技术，其原理是将图像空间的直线检测问题转化为到hough空间中点的投票问题。直角坐标系的每一条直线对应极坐标系中都有唯一的点(θ,ρ)，表达公式如(14)所示：
ρ＝xcosθ ysinθ(14)
hough空间以(θ,ρ)作为参数，故在图像空间中直线上的点在hough空间中均为正弦曲线，图像空间中的同一直线的点在hough空间都将相交于唯一的点(θ,ρ)。所以可以通过在hough空间中设置投票点的投票阈值来检测图像中的直线。
根据经验设计如下约束条件：
1)直线投票点的阈值范围为：65＜t＜90；
2)直线斜率范围为(0.2，0.5)，即直线与水平轴角度范围约为(11.4，28.7)；
由此筛选出导线纹理处的直线。
步骤s402：利用最小二乘法将纹理直线的中点进行直线拟合，得到导线中心线，具体计算过程如下：
设高压输电线中心线方程如(15)式所示：
x＝a0 a1y(15)
式中，a0、a1为方程参数。
最小化离散点(x)i,yi与中心线水平偏差的加权平方和，如式(16)所示：
求式(17)和式(18)：
可得式(19)和式(20)：
整理可得到a0和a1的估计值
利用式(21)和式(22)对导线纹理直线的中心点进行拟合，得到导线中心线。
步骤s403：以导线中心线上、下50个像素高度为高，原图像的宽度为宽，得到分辨率为704*100的roi矩形框，以此矩形框框定的区域影像作为输电导线拟合图像，并将该输电导线拟合图像作为感兴趣区域roi，由此输电导线提取完成。
步骤s5：通过预先建立的缺陷识别模型对所述感兴趣区域进行自动识别，获得所述感兴趣区域的缺陷类型，并框定出所述缺陷类型所属感兴趣区域的位置信息。
所述缺陷识别模型包含输电导线缺陷类型数据库，并能够将感兴趣区域与输电导线缺陷类型数据库进行匹配，确定感兴趣区域是否存在缺陷以及缺陷所属的缺陷类型；所述缺陷识别模型通过改进的yolov3卷积神经网络训练获得，所述改进的yolov3卷积神经网络包括引入dropblock层和改进损失函数。
进一步的，在本申请的部分实施例中，建立所述缺陷识别模型的方法参见图3，具体为：
步骤s501：获取输电导线缺陷类型数据库中的输电导线缺陷图像。
步骤s502：将所述输电导线缺陷图像分为训练集和测试集。
步骤s503：将所述训练集通过反向传播算法进行反复训练，建立初步神经网络模型。
步骤s504：利用所述测试集验证所述初步神经网络模型的精度，若所述初步神经网络模型的精度满足要求，则生成缺陷识别模型。
其中，训练之后，对训练集中的输电导线的缺陷图像进行测试，所述测试结果包括：1)所述输电导线缺陷类型数据库中的每种缺陷的类别与位置信息；2)计算所述测试结果的准确率，并判断所述测试结果的准确率是否大于预设的阈值。最后将训练集和测试集用于训练网络，查看训练误差和测试误差，如果训练误差和测试误差都下降，则表示合理收敛，得到最优的缺陷识别模型。
参加图4，为本申请实施例提供的输电导线缺陷识别流程示意图，本申请实施例基于改进yolov3卷积神经网络的导线缺陷自动识别与定位模型，具体包括：
步骤s51：建立输电导线缺陷数据库。
在使用yolov3卷积神经网络训练之前，因为网络上没有输电导线缺陷的数据库，所以需要我们自己构建一个输电导线缺陷数据库。样品集中的每个图像都有一个目标框和组件的等级标签。组件等级标签为
进一步的，在本申请的部分实施例中，选择了三种标志性的输电导线缺陷，分别为：单股导线断股、多股导线断股和导线破损。
步骤s52：利用k-means 算法对先验锚框的改进。
先验锚框机制通过引入不同尺寸、不同宽高的锚框作为先验框，从而使得训练过程不需要直接从零开始预测边界框，而是在一定锚框的基础上开始预测边界框，通过这样的方式可以加入极大的先验知识，使得训练过程变得容易，同时更容易地预测不同形状、不同尺寸的目标。由于本申请实施例针对输电导线缺陷数据库中的三种导线缺陷类别进行识别，需要对待测目标特性选取更适用的宽高比。为寻找样本的最佳默认框，本申请实施例将样本数据库的标注信息导出，计算每个标注框的宽高比，再利用k-means 算法获得最能代表目标特性的宽高比聚类中心。
k-means 是经典聚类算法k-means的改进方法，原始k-means算法的第一步是从数据库中随机选择个聚类中心，而k-means 算法则先随机挑选一个聚类中心，计算其余样本与该聚类中心间的距离，距离越远的样本被选为下一个聚类中心的概率越大。通过这个方式，生成的初始的聚类中心之间存在一定的距离，具有更好的效果，结果误差显著减小。具体算法过程如下：
步骤s521：随机选择一个样本作为初始聚类中心。
步骤s522：在选取初始聚类中心之后，计算n个样本与当前已有类聚中心最短距离(即与最近一个聚类中心的距离)，用d(x)表示(0＜n＜k)。
步骤s523：利用公式
步骤s524：将样本的pi按照顺序累加求和，获得多区间概率pi'，再使用轮盘法选取第n 1聚类中心。
步骤s525：重复步骤s522至s524，直至k个聚类中心选择完成。
步骤s526：计算每个样本与k个聚类中心之间的欧式距离，若样本与第n个聚类中心之间距离小于其他中心，则将样本分配到该聚类中心所属的类。
步骤s527：按照公式
步骤s528：重复步骤s526与s527，若聚类中心不再变化或变化幅度小于阈值，停止迭代，否则，继续迭代至最优聚类结果。
使用误差平方和(sse)作为衡量指标，确定最优聚类中心数。sse的数学表达如公式(23)所示：
式中：ai表第i簇，μi为第i簇中所有样本的均值，随着中心数k的增大，每个簇的分类更加精细，聚类效果更好，sse值随之变小，最终逐渐趋于稳定值。
当k小于最佳聚类数时，每增加一个聚类中心都会大幅的影响簇的聚合程度，导致sse的大幅下降；但当k大于最佳聚类数后，增加聚类中心也无法大幅提高聚合程度，see下降幅度减小，与k的关系曲线趋于平缓，呈手肘形状，所以该方法被称为手肘法，肘部对应的k值即为数据的最佳聚类数。参见图5，为本申请实施例提供的聚类数与误差平方和关系变化示意图。由图中可以看出，当达到k＝3后，sse降幅迅速缩小，最佳聚类数即为3，此时聚类中心为3.28053427，1.07720264和2.27266057，中心为1.07720264的簇所占百分比最大。综上所述，设置优化后的默认框宽高比为
步骤s53：构建改进的yolov3卷积神经网络。
yolov3卷积神经网络用独立的逻辑分类器代替softmax算法，使用空间金字塔结构预测边界框，并且设计了darknet-53神经网络结构。该系统将yolov3卷积神经网络应用于输电导线缺陷分类，从而有助于提高效率并降低成本。
1)引入dropblock层
由于输电导线缺陷数据库的图片相对于主体网络(darknet-53)来说，图片数量相比模型里的参数来说远远不够，这样训练出来的模型容易产生过拟合的现象。为了有效地解决这个问题，在本申请实施例的yolov3卷积神经网络中的卷积层后面加入具有结构化的dropblock层。dropblock层的原理是通过抛弃特征图中相邻区域，使得网络必须寻找其他的特征信息来拟合数据，能学习到更多的空间分布，从而提高模型的鲁棒性。
本申请实施例中，所述dropblock层包括两个参数，分别为需要丢弃的block的大小block_size和需要丢弃的激活单元数量γ，γ的计算公式如下：
式(24)中，keep_prob为传统dropout层中激活单元被保留的概率，在本申请实施例中取值为0.8。feat_size为特征图的尺寸大小。
本申请实施例中，dropblock层加在yolov3卷积神经网络里残差单元的后面。
2)改进损失函数
yolov3的损失函数主要包括坐标误差、confidence误差和分类误差。其中，confidence误差包括包含物体的边界框的confidence误差和不包含物体的边界框的confidence误差。在yolov3卷积神经网络中，采用sum-squarederror的方式来计算这些损失，并回归预测。对于坐标误差，其计算公式如下：
式(25)中，每层预测中网络单元格划分的个数s，分别为13、26、52；b为每个网络单元格预测的边界框个数，在本申请实施例中为3；
然而这种l2loss方式在进行边框回归时对目标的尺度变化比较敏感，它将坐标中四个值
当iou＝1时，预测框就完全贴合标注框，而当iou＝0时，预测框就完全不贴合标注框。然而当iou作为损失函数时，如果预测框与标注框没有相交即iou＝0，这不能反映出两个边界框的距离大小，同时loss＝0也不会有梯度回传。
针对这个问题，本申请实施例中引入giou(generalizedintersectionoverunion)来评估预测框与标注框的距离。即先计算预测框和标注框的最小闭包区域面积d，再计算预测框和标注框的交并比iou以及预测框和标注框的并集面积u，giou的计算公式如下：
giou不仅关注两个框的重叠区域，还关注其不重合的区域，当预测框与标注框完全贴合时，giou＝1，当预测框与标注框且相隔无限远，giou＝-1，因此可知giou能够很好的反映出两个边界框的距离大小，同时giou对目标尺度变化也不敏感。为了满足损失函数的要求，距离越大，误差越大，本申请实施例中的坐标损失函数为lgiou＝1-giou，而分类误差的损失函数保持不变。通过对坐标损失函数的改进，可以优化loss的收敛过程，并提高定位的准确性。
步骤s54：训练过程。
本申请实施例使用基于yolov3卷积神经网络的keras框架，将数据库中90％的导线缺陷图像作为训练集，10％的图像作为测试集。在测试过程中，将尚未标注的图像通过神经网络的正向传播直接传输，通过非最大抑制可以获得位置图像的检测结果。在训练过程中，本申请实施例采用adam优化算法提高网络的训练速度，训练迭代次数为150个epoch(将所有的样本训练150遍)，前100个epoch的批量样本训练数(batch_size)为16(即训练中每次16张图片同时进行训练和优化)，学习率是1e-3，后50个epoch的batch_size为8，学习率是1e-4。训练结束后，系统会自动保存电力设施检测到的神经网络的参数。
步骤s55：测试过程。
对所有预测帧执行非最大抑制，并根据置信度选择预测帧作为最终预测结果，用测试集中的1000张图片进行模型性能的测试。改进的yolov3目标检测模型可以准确地识别和定位输电线路图像中的单股导线断股、多股导线断股和导线破损处，并输出这些目标在图像中的坐标信息(即边界框的左上顶点坐标和右下顶点坐标)和类别信息。
与现有技术相比，本申请实施例能够明显提高输电导线缺陷的自动识别精度，且运用改进的yolov3卷积神经网络进行训练的系统，比其他神经网络的自动识别速度明显提高。
综上所述，本申请实施例通过图像处理技术与神经网络模型得到了输电导线缺陷在图像中的位置信息，同时将输电导线缺陷的识别精度和位置信息对应存储，自动实现了输电导线缺陷的识别过程，从而减轻了人工识别的工作量，提高了识别精度和效率，为输电线路状态建模和科学运维提供可靠的数据支持。
本申请实施例第二方面提供一种输电导线缺陷的视觉识别及定位系统，用于执行本申请实施例第一方面提供的一种输电导线缺陷的视觉识别及定位方法，对于本申请实施例第二方面提供的输电导线缺陷的视觉识别与定位系统中未公开的细节，请参见本申请实施例第一方面提供的输电导线缺陷的视觉识别与定位方法。
所述一种输电导线缺陷的视觉识别及定位系统，具体包括图像预处理单元、导线提取单元和分类与定位单元。
图像预处理单元，用于对高清图像进行预处理，包括灰度处理模块、图像去噪与增强模块和边缘检测模块；所述灰度处理模块利用改进的局部二值模式特征值对所述高清图像进行灰度化处理，获得灰度化图像；所述图像去噪与增强模块用于通过维纳滤波器对所述灰度化图像进行滤波处理，再利用直方图均衡化对滤波处理后的灰度化图像作进一步增强，获得增强图像；所述边缘检测模块用于通过canny边缘检测算法对所述增强图像进行边缘检测，获得边缘图像。
导线提取单元，用于提取出输电导线部分作为感兴趣区域，包括直线检测模块、拟合中心线模块和提取感兴趣区域模块；所述直线检测模块用于通过hough直线检测算法从所述边缘图像中提取输电导线纹理；所述拟合中心线模块用于通过最小二乘法拟合所述输电导线纹理中心线；所述提取感兴趣区域模块，用于根据所述输电导线纹理中心线获取输电导线拟合图像，并将所述输电导线拟合图像作为感兴趣区域。
分类与定位单元，用于通过预先建立的缺陷识别模型对所述感兴趣区域进行自动识别，获得所述感兴趣区域的缺陷类型，并框定出所述缺陷类型所属感兴趣区域的位置信息；所述缺陷识别模型包含输电导线缺陷类型数据库，并能够将感兴趣区域与输电导线缺陷类型数据库进行匹配，确定感兴趣区域是否存在缺陷以及缺陷所属的缺陷类型；所述缺陷识别模型通过改进的yolov3卷积神经网络训练获得，所述改进的yolov3卷积神经网络包括引入dropblock层和改进损失函数。
由上述技术方案可知，本申请提供一种基于卷积神经网络的输电导线缺陷视觉识别及定位方法，通过图像处理技术与神经网络模型的结合应用，获取输电导线缺陷的类型，并框定出该缺陷在图像中的位置信息，同时将输电导线缺陷的识别精度和位置信息对应存储，能够实现输电导线缺陷的自动识别和定位，有利于减少视觉识别的工作量，降低人工成本，提高自动识别准确率与效率，进而保证电网的稳定运行。
以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。
1.一种输电导线缺陷的视觉识别及定位方法，其特征在于，所述视觉识别与定位方法包括：
获取输电导线的高清图像；
利用改进的局部二值模式特征值对所述高清图像进行灰度化处理，获得灰度化图像；所述改进的局部二值模式特征值通过将像素点的对比范围扩展到任意半径的圆形区域，并根据拉普拉斯算子获得；
对所述灰度化图像进行去噪及增强处理，获得增强图像，再利用canny边缘检测算法对所述增强图像进行边缘检测，获得边缘图像；
利用hough直线检测算法从所述边缘图像中提取输电导线纹理后，再利用最小二乘法拟合所述输电导线纹理中心线，以及利用所述输电导线纹理中心线获取输电导线拟合图像，并将所述输电导线拟合图像作为感兴趣区域；
通过预先建立的缺陷识别模型对所述感兴趣区域进行自动识别，获得所述感兴趣区域的缺陷类型，并框定出所述缺陷类型所属感兴趣区域的位置信息；
所述缺陷识别模型包含输电导线缺陷类型数据库，并能够将感兴趣区域与输电导线缺陷类型数据库进行匹配，确定感兴趣区域是否存在缺陷以及缺陷所属的缺陷类型；所述缺陷识别模型通过改进的yolov3卷积神经网络训练获得，所述改进的yolov3卷积神经网络包括引入dropblock层和改进损失函数。
2.根据权利要求1所述的一种输电导线缺陷的视觉识别及定位方法，其特征在于，所述利用改进的局部二值模式特征值对所述高清图像进行灰度化处理，具体方法包括：
步骤s21：获取所述高清图像的所有像素点；
步骤s22：选取任一像素点作为中心像素点，根据预设的半径确定所述中心像素点的圆形区域，并在圆形区域内选定设定个数的像素点作为邻域像素点；
步骤s23：根据所述中心像素点的灰度值，求得所述中心像素点的拉普拉斯算子；以及根据所述邻域像素点的灰度值，求得所述邻域像素点的拉普拉斯算子；
步骤s24：根据所述中心像素点的拉普拉斯算子和所述邻域像素点的拉普拉斯算子，计算所述中心像素点的局部二值模式特征值；
步骤s25：利用所有像素点的局部二值模式特征值对所述高清图像进行灰度归一化。
3.根据权利要求1所述的一种输电导线缺陷的视觉识别及定位方法，其特征在于，建立所述缺陷识别模型的具体方法为：
步骤s31：获取输电导线缺陷类型数据库中的输电导线缺陷图像；
步骤s32：将所述输电导线缺陷图像分为训练集和测试集；
步骤s33：将所述训练集通过反向传播算法进行反复训练，建立初步神经网络模型；
步骤s34：利用所述测试集验证所述初步神经网络模型的精度，若所述初步神经网络模型的精度满足要求，则生成缺陷识别模型。
4.根据权利要求1所述的一种输电导线缺陷的视觉识别及定位方法，其特征在于，所述改进损失函数的具体方法为：
步骤s41：计算预测框和标注框的交集面积和并集面积；
步骤s42：根据所述交集面积和所述并集面积，获得预测框和标注框的交并比，所述交并比为预测框和标注框的交集面积与并集面积的比值；
步骤s43：计算预测框和标注框的最小闭包区域面积，所述最小闭包区域面积为同时包含了预测框和标注框的最小框的面积；
步骤s44：根据所述最小闭包区域面积和所述并集面积，计算最小闭包区域中既不属于预测框也不属于标注框的区域占最小闭包区域的比重，获得非并比重；
步骤s45：根据所述交并比与所述非并比重，获得广义交并比，所述广义交并比为所述交并比与所述非并比重的差值，具体表示为：
式中，giou为广义交并比，iou为预测框和标注框的交并比，d为最小闭包区域面积，u为预测框和标注框的并集面积；
步骤s46：根据所述广义交并比，获得损失函数，所述损失函数为：lgiou＝1-giou。
5.根据权利要求1所述的一种输电导线缺陷的视觉识别及定位方法，其特征在于，所述dropblock层包括两个参数，分别为需要丢弃的block的大小block_size和需要丢弃的激活单元数量γ，γ的计算公式如下：
式中，keep_prob为传统dropout层中激活单元被保留的概率，feat_size为特征图的尺寸大小。
6.根据权利要求1所述的一种输电导线缺陷的视觉识别及定位方法，其特征在于，对所述灰度化图像进行去噪处理采用维纳滤波法。
7.根据权利要求1所述的一种输电导线缺陷的视觉识别及定位方法，其特征在于，对所述灰度化图像进行增强处理采用直方图均衡化。
8.根据权利要求1所述的一种输电导线缺陷的视觉识别及定位方法，其特征在于，所述canny边缘检测采用最大类间差法。
9.根据权利要求1所述的一种输电导线缺陷的视觉识别及定位方法，其特征在于，所述输电导线缺陷类型数据库包括：单股导线断股、多股导线断股和导线破损。
10.一种输电导线缺陷的视觉识别及定位系统，其特征在于，所述视觉识别及定位系统用于执行权利要求1-9任一项所述的一种输电导线缺陷的视觉识别及定位方法，包括：
图像预处理单元，用于对高清图像进行预处理，包括灰度处理模块、图像去噪与增强模块和边缘检测模块；所述灰度处理模块利用改进的局部二值模式特征值对所述高清图像进行灰度化处理，获得灰度化图像；所述图像去噪与增强模块用于通过维纳滤波器对所述灰度化图像进行滤波处理，再利用直方图均衡化对滤波处理后的灰度化图像作进一步增强，获得增强图像；所述边缘检测模块用于通过canny边缘检测算法对所述增强图像进行边缘检测，获得边缘图像；
导线提取单元，用于提取出输电导线部分作为感兴趣区域，包括直线检测模块、拟合中心线模块和提取感兴趣区域模块；所述直线检测模块用于通过hough直线检测算法从所述边缘图像中提取输电导线纹理；所述拟合中心线模块用于通过最小二乘法拟合所述输电导线纹理中心线；所述提取感兴趣区域模块，用于根据所述输电导线纹理中心线获取输电导线拟合图像，并将所述输电导线拟合图像作为感兴趣区域；
分类与定位单元，用于通过预先建立的缺陷识别模型对所述感兴趣区域进行自动识别，获得所述感兴趣区域的缺陷类型，并框定出所述缺陷类型所属感兴趣区域的位置信息；所述缺陷识别模型包含输电导线缺陷类型数据库，并能够将感兴趣区域与输电导线缺陷类型数据库进行匹配，确定感兴趣区域是否存在缺陷以及缺陷所属的缺陷类型；所述缺陷识别模型通过改进的yolov3卷积神经网络训练获得，所述改进的yolov3卷积神经网络包括引入dropblock层和改进损失函数。
技术总结