本发明涉及电力灾害现场监控图像信息处理技术领域，具体地指一种基于多dcnn(深度卷积神经网络)网络的电力设备故障图像识别勘灾系统及方法。
背景技术：
在电力应急抢修指挥领域，利用智能感知和移动互联等技术实现对灾害现场的综合监视和多维度管控，对提高应急抢修效率和电网安全稳定运行具有重要意义。目前，在输电线路或变电站等固定位置上部署监控摄像头、利用无人机技术来对灾害现场进行巡检、利用红外热成像仪对现场配电设备进行状态分析，已成为电力灾害现场监控和巡检的重要手段。然而，传统的灾害现场设备状态分析和故障诊断，仍然需要运维人员或专家结合现场监控图像数据进行人工诊断，做出诊断结论并给出诊断意见，导致整个检测过程实时性低，人力资源耗费大，诊断结果极具主观性。
近年来，随着人工智能的兴起，利用智能化手段自动完成监控图像数据的分析和挖掘，进一步指导应急指挥中心决策，已得到国内外学者的广泛研究。然而，现有的基于人工智能的图像识别技术大多数是基于全监督学习或弱监督学习的，其中，基于全监督学习的识别技术需要大量的人工标注，耗时长，开销大；基于弱监督学习的技术一般采用的是全图像特征提取，这样很难发现较为隐蔽的设备故障，导致故障准确度低。因此，研究针对电力灾害现场环境的图像识别技术，挖掘图像中电力设备关键部位的故障诊断信息，提高故障诊断实时性、准确性和智能化，是电力应急抢修领域亟需解决的问题。
技术实现要素：
本发明的目的就是要提供一种基于多dcnn网络的电力设备故障图像识别勘灾系统及方法，本发明能克服现有技术在灾后现场电力设备关键部件故障检测速度慢、准确度低的问题。
为实现此目的，本发明所设计的一种基于多dcnn网络的电力设备故障图像识别勘灾系统，它包括数据集准备模块、图像特征提取模块、特征融合模块和分类网络训练模块；
所述数据集准备模块用于对灾害现场受损伤的各个电力设备进行多角度多次拍摄，得到受损伤电力设备的图像数据集，将所述图像数据集中的图像按预设比例随机划分为训练集和测试集，对训练集和测试集使用高斯去噪算法进行去噪处理，然后对去噪后的训练集和测试集使用自适应直方图均值化算法进行质量增强处理，使得训练集和测试集中的各个图像尺寸一致；
所述图像特征提取模块用于采用基于多层卷积神经网络的特征提取算法，来提取预处理后训练集的全局特征和局部特征；
所述特征融合模块用于将所述全局特征和局部特征进行基于判别相关分析法的特征转换，对经过基于判别相关分析法特征转换后得到的全局特征和局部特征，采用全连接方式，进行特征融合，得到联合特征；
分类网络训练模块用于利用联合特征和训练集中的图像故障标签数据采用基于dcnn的电力设备关键部位故障诊断算法，构建基于dcnn的卷积神经网络，根据联合特征和训练集对基于dcnn的卷积神经网络进行训练从而确定基于dcnn的卷积神经网络的卷积层、全连接层、池化层的层次结构，利用测试集和确定了卷积层、全连接层、池化层的层次结构的dcnn的卷积神经网络对测试集中的图像进行诊断，确认测试集中的各个图像的图像故障标签。
本发明利用多层卷积神经网络来进行特征提取，对提取出的全局特征和局部特征进行深度融合，并利用深度卷积神经网络来进行故障预测，提高了故障诊断效率和准确度(现有的图像识别大多仅仅提取图像的全局特征，而忽略了局部特征，本发明引入局部特征可以有效地提高故障诊断的准确度)，进一步指导现场应急指挥决策，提高了灾后现场电力设备关键部件的故障检测速度和准确度。
本发明能实现电力设备故障的自动检测和诊断，具有较强的准确度，对实现灾害现场监控图像数据分析和挖掘具有重要意义。
附图说明
图1为本发明的结构示意图；
图2为本发明实施例中的异物入侵数据集；
图3为本发明实施例中的基于dcnn卷积神经网络的全局特征提取示意图，其中conv代表卷积层、relu代表非线性激活函数、maxpooling代表全局最大池化层；
图4为本发明实施例中的基于dcnn卷积神经网络的局部特征提取示意图，其中conv代表卷积层、relu代表非线性激活函数、avepooling代表平均池化层；
图5为本发明实施例中的基于判别相关分析法的特征融合方法流程图；
图6为本发明实施例中的异物入侵图像数据集特征提取、转换及融合示意图；
其中，1—数据集准备模块、2—图像特征提取模块、3—特征融合模块、4—分类网络训练模块。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明：
如图1所示基于多dcnn网络的电力设备故障图像识别勘灾系统，其特征在于：它包括数据集准备模块1、图像特征提取模块2、特征融合模块3和分类网络训练模块4；
所述数据集准备模块1用于对灾害现场受损伤的各个电力设备进行多角度多次拍摄，得到受损伤电力设备的图像数据集，将所述图像数据集中的图像按预设比例随机划分为训练集和测试集，对训练集和测试集使用高斯去噪算法进行去噪处理，然后对去噪后的训练集和测试集使用自适应直方图均值化算法进行质量增强处理，使得训练集和测试集中的各个图像尺寸一致，图像预处理直接影响训练出卷积神经网络的质量，在不失真的前提下，保证图像尺寸大小一致，可以加快后面网络训练的速度和准确度；
所述图像特征提取模块2用于采用基于多层卷积神经网络的特征提取算法，来提取预处理后训练集的全局特征和局部特征，全局特征可以提取出整张图像的特征点，有效把握图像的整体特征；局部特征可以放大，图像的细节特征，将两者有机融合形成联合特征，可以更加准确的找出图像的所有特征点；
所述特征融合模块3用于将所述全局特征和局部特征进行基于判别相关分析法(discriminantcorrelationanalysis,dca法)的特征转换，对经过基于判别相关分析法特征转换后得到的全局特征和局部特征，采用全连接方式，进行特征融合，得到联合特征，相关分析有助于减少特征点的冗余，加快训练网络的处理速度；
分类网络训练模块4用于利用联合特征和训练集中的图像故障标签数据采用基于dcnn的电力设备关键部位故障诊断算法，构建基于dcnn的卷积神经网络，根据联合特征和训练集对基于dcnn的卷积神经网络进行训练从而确定基于dcnn的卷积神经网络的卷积层、全连接层、池化层的层次结构，利用测试集和确定了卷积层、全连接层、池化层的层次结构的dcnn的卷积神经网络对测试集中的图像进行诊断，确认测试集中的各个图像的图像故障标签，由前面得到的联合特征来对训练集中图像进行分类网络的训练，分类网络模型越准确，后面的预测准确度越高。
上述技术方案中，所述图像特征提取模块2采用基于多层卷积神经网络的特征提取算法，来提取预处理后训练集的全局特征和局部特征的具体方法为：
首先，采用多层卷积神经网络对训练集进行全局性的特征提取，即集中对训练集的图像整体进行特征提取，得到全局特征图维度；
然后，采用不同的卷积神经网络对训练数据集进行局部特征提取，即根据不同电力设备特点，围绕其可能发生的故障点周围区域，作为其局部特征点采集数据集，并利用多层卷积神经网络进行局部特征提取，得到局部特征图维度，如果设备具有n个不同的故障点，记为spot1，spot2，…，spotn，则需训练n个卷积神经网络来提取其局部特征，分别记为cnn1，cnn2，…，cnnn，可得到n个具有不同维度的局部特征图。
上述技术方案中，所述特征融合模块3将所述全局特征和局部特征进行基于判别相关分析法的特征转换最大化同类特征的相关性，最小化不同类样本间的冗余相关性。
上述技术方案中，分类网络训练模块4在确定了卷积层、全连接层、池化层的层次结构的dcnn的卷积神经网络中选择使用全局最大池化、1*1卷积层和逻辑回归的分类器对测试集中的图像进行诊断。
一种基于多dcnn网络的电力设备故障图像识别勘灾系统，它包括如下步骤；
步骤1：对灾害现场受损伤的各个电力设备进行多角度多次拍摄，得到受损伤电力设备的图像数据集，将所述图像数据集中的图像按预设比例随机划分为训练集和测试集，对训练集和测试集使用高斯去噪算法进行去噪处理，然后对去噪后的训练集和测试集使用自适应直方图均值化算法进行质量增强处理，使得训练集和测试集中的各个图像尺寸一致；
步骤2：采用基于多层卷积神经网络的特征提取算法，来提取预处理后训练集的全局特征和局部特征；
步骤3：将所述全局特征和局部特征进行基于判别相关分析法的特征转换，对经过基于判别相关分析法特征转换后得到的全局特征和局部特征，采用全连接方式，进行特征融合，得到联合特征；
步骤4：利用联合特征和训练集中的图像故障标签数据采用基于dcnn的电力设备关键部位故障诊断算法，构建基于dcnn的卷积神经网络，根据联合特征和训练集对基于dcnn的卷积神经网络进行训练从而确定基于dcnn的卷积神经网络的卷积层、全连接层、池化层的层次结构，形成卷积神经分类网络，利用测试集和确定了卷积层、全连接层、池化层的层次结构的dcnn的卷积神经网络(即卷积神经分类网络)对测试集中的图像进行诊断，确认测试集中的各个图像的图像故障标签(图像标签代表这个图像里是否有故障(0代表无故障，1代表有故障))。
参照附图1所示，本实施例按照以下步骤完成，即：
1、收集灾害现场图像，组成数据集。以电力系统中常见灾害异物入侵为例，收集5000张图像组成典型案例，并依次编号为1.jpg、2.jpg，依次类推，并保存到一个文件夹，部分图像如图2所示；
图像预处理，首先，进行人工标注，对于收集到的所有图像进行人工标注，包括图像主体物体(包括输电线路、杆塔、绝缘子等)、图像局部异物(风筝、鸟窝、树枝等)的位置坐标信息，形成标签，用于模型的训练；其次，使用高斯去噪法对图像进行去噪，使用自适应性直方图均值化法增强图像质量；然后，对图像对应的故障数据进行人工标注，正常图像标记为0，故障图像标记为1；最后，进行图像填充，使得数据集中所有图像均为大小统一的正方形图片，其中70％的数据集作为训练集，剩下30％作为测试集。
2、全局特征提取，参照图3，对训练集中图像，采用基于多层卷积神经网络的特征提取算法，具体采用的是4层卷积神经网络，卷积层依次以9x9，7x7，5x5和3x3作为卷积核，relu函数作为其激活函数，采用全局最大池化来进行池化，最终得到其全局特征。
3、局部特征提取，在图像标注过程中，已完成了局部异物的标注工作，局部特征提取仍采用基于多层卷积神经网络的特征提取算法，其网络结构如图4所示，不同于全局特征提取的网络，在局部特征提取过程中采用的是5x5，3x3两种规格的卷积核，仍采用relu函数作为其激活函数，采用平均池化来进行池化，最终得到图像的局部特征。
4、特征融合，参照图5-6，采用基于判别相关分析法(dca)的特征转换方法对图像全局特征和局部特征进行特征转换，最大化同类特征的相关性，最小化不同类样本间的冗余相关性。对经过dca特征转换后得到的全局特征和局部特征，采用全连接方式，进行特征融合，得到新的联合特征。
5、电力设备关键部位故障诊断。采用基于dcnn的电力设备关键部位故障诊断算法，构建基于dcnn卷积神经网络来训练分类网络，选择使用全局最大池化、1*1卷积层和逻辑回归的分类器，交叉熵损失函数可作为目标优化函数，经过训练得到网络参数，用于测试样本集的故障诊断预测。
综上所述，建立一种基于多dcnn网络的电力设备故障图像识别智能勘灾方法，通过采用利用卷积神经网络来提取图像数据的全局特征和局部特征，并进行融合形成联合特征，然后输入到分类网络中实现对电力设备关键部件故障的自动检测和诊断，具有较强的鲁棒性和准确度，对实现灾害现场监控图像数据分析和挖掘具有重要意义。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
1.一种基于多dcnn网络的电力设备故障图像识别勘灾系统，其特征在于：它包括数据集准备模块(1)、图像特征提取模块(2)、特征融合模块(3)和分类网络训练模块(4)；
所述数据集准备模块(1)用于对灾害现场受损伤的各个电力设备进行多角度多次拍摄，得到受损伤电力设备的图像数据集，将所述图像数据集中的图像按预设比例随机划分为训练集和测试集，对训练集和测试集使用高斯去噪算法进行去噪处理，然后对去噪后的训练集和测试集使用自适应直方图均值化算法进行质量增强处理，使得训练集和测试集中的各个图像尺寸一致；
所述图像特征提取模块(2)用于采用基于多层卷积神经网络的特征提取算法，来提取预处理后训练集的全局特征和局部特征；
所述特征融合模块(3)用于将所述全局特征和局部特征进行基于判别相关分析法的特征转换，对经过基于判别相关分析法特征转换后得到的全局特征和局部特征，采用全连接方式，进行特征融合，得到联合特征；
分类网络训练模块(4)用于利用联合特征和训练集中的图像故障标签数据采用基于dcnn的电力设备关键部位故障诊断算法，构建基于dcnn的卷积神经网络，根据联合特征和训练集对基于dcnn的卷积神经网络进行训练从而确定基于dcnn的卷积神经网络的卷积层、全连接层、池化层的层次结构，利用测试集和确定了卷积层、全连接层、池化层的层次结构的dcnn的卷积神经网络对测试集中的图像进行诊断，确认测试集中的各个图像的图像故障标签。
2.根据权利要求1所述的基于多dcnn网络的电力设备故障图像识别勘灾系统，其特征在于：所述图像特征提取模块(2)采用基于多层卷积神经网络的特征提取算法，来提取预处理后训练集的全局特征和局部特征的具体方法为：
首先，采用多层卷积神经网络对训练集进行全局性的特征提取，即集中对训练集的图像整体进行特征提取，得到全局特征图维度；
然后，采用不同的卷积神经网络对训练数据集进行局部特征提取，即根据不同电力设备特点，围绕其可能发生的故障点周围区域，作为其局部特征点采集数据集，并利用多层卷积神经网络进行局部特征提取，得到局部特征图维度，如果设备具有n个不同的故障点，记为spot1，spot2，…，spotn，则需训练n个卷积神经网络来提取其局部特征，分别记为cnn1，cnn2，…，cnnn，可得到n个具有不同维度的局部特征图。
3.根据权利要求1所述的基于多dcnn网络的电力设备故障图像识别勘灾系统，其特征在于：所述特征融合模块(3)将所述全局特征和局部特征进行基于判别相关分析法的特征转换最大化同类特征的相关性，最小化不同类样本间的冗余相关性。
4.根据权利要求1所述的基于多dcnn网络的电力设备故障图像识别勘灾系统，其特征在于：分类网络训练模块(4)在确定了卷积层、全连接层、池化层的层次结构的dcnn的卷积神经网络中选择使用全局最大池化、1*1卷积层和逻辑回归的分类器对测试集中的图像进行诊断。
5.一种基于多dcnn网络的电力设备故障图像识别勘灾系统，其特征在于，它包括如下步骤；
步骤1：对灾害现场受损伤的各个电力设备进行多角度多次拍摄，得到受损伤电力设备的图像数据集，将所述图像数据集中的图像按预设比例随机划分为训练集和测试集，对训练集和测试集使用高斯去噪算法进行去噪处理，然后对去噪后的训练集和测试集使用自适应直方图均值化算法进行质量增强处理，使得训练集和测试集中的各个图像尺寸一致；
步骤2：采用基于多层卷积神经网络的特征提取算法，来提取预处理后训练集的全局特征和局部特征；
步骤3：将所述全局特征和局部特征进行基于判别相关分析法的特征转换，对经过基于判别相关分析法特征转换后得到的全局特征和局部特征，采用全连接方式，进行特征融合，得到联合特征；
步骤4：利用联合特征和训练集中的图像故障标签数据采用基于dcnn的电力设备关键部位故障诊断算法，构建基于dcnn的卷积神经网络，根据联合特征和训练集对基于dcnn的卷积神经网络进行训练从而确定基于dcnn的卷积神经网络的卷积层、全连接层、池化层的层次结构，利用测试集和确定了卷积层、全连接层、池化层的层次结构的dcnn的卷积神经网络对测试集中的图像进行诊断，确认测试集中的各个图像的图像故障标签。
技术总结