本发明属于配电网电力设备识别，具体提供了一种基于多模态数据融合的配电网电力设备识别方法。
背景技术：
1、电力设备的精确识别以及基于此评估的电力设备故障诊断是海量状态图像自动处理和分析的核心问题。难点在于如何有效区分目标设备和背景环境。电力设备的特点是设备颜色、类型繁多，应用环境复杂。同一设备的外观因光线强度、距离和拍摄角度的不同而存在很大差异。
2、当前大多数电力设备识别依赖于单一信息，即图像。随着多源异构数据的增加，单一数据源的数据信息越来越不能满足数据可靠性、准确性和实时性的需求。多源异构数据之间存在不同程度的数据相关性或数据冲突，这就需要数据融合技术按照一定的规则对数据进行预处理、分析和融合，充分利用数据之间的相关性和独特特征的数据。
技术实现思路
1、为了解决上述现有技术存在的问题，本发明提供一种基于多模态数据融合的配电网电力设备识别方法，基于多模态数据融合技术，提高电力设备的识别效果。
2、为了达到上述目的，本发明采用如下技术方案：
3、一种基于多模态数据融合的配电网电力设备识别方法，包括以下步骤：
4、步骤1：文本数据特征提取：对语料库中的电力文本数据进行预处理，然后将文本数据转换为词嵌入的形式，使用正余弦位置编码表示序列的位置信息，然后使用transformer进行文本数据的特征提取；
5、步骤2：图像数据特征提取：获取配电网巡检以及视频监控渠道的图像数据，包括设备颜色、类型，应用环境特征，对图像数据进行预处理，进一步使用vit模型进行图像数据特征提取；
6、步骤3：多模态数据融合：融合来自图像数据和文本数据特征，形成包含有图像和文本的信息的融合特征；
7、步骤4：配电网电力设备识别：根据提取到的图像数据和文本数据的融合特征实现配电网电力设备的识别分类。
8、在步骤1中，使用正余弦位置编码表示序列的位置信息，正余弦位置编码通过使用不同频率的正弦、余弦函数生成单词的位置向量，如下公式所示：
9、
10、
11、其中pos表示对应输入的位置，pe(pos,2i)、pe(pos,2i+1)表示对应的奇数偶数位置编码输出，i表示向量维度，dmodel表示模型维度。
12、在步骤1中，使用transformer模型进行文本数据的特征提取，具体如下：
13、transformer模型的自注意力机制使每个单词都能获取其他单词的含义，称为相似性学习。电力设备文本类型输入数据经过位置编码，获得了文本数据中每个词的位置编码输出；将每个词与其位置编码输入到transformer模型，即将文本数据转换为词嵌入的形式输入；接下来使用线性层将输入通过矩阵的方式变换为三个不同维度的附加矩阵：查询矩阵q、键矩阵k和值矩阵v；该附加矩阵是可学习的，并且能够通过梯度下降算法不断更新线性层的参数，然后根据如下公式计算注意力向量：
14、
15、将注意力机制描述为查询矩阵和键值对之间的映射关系，其中查询矩阵q和键矩阵k的输入维度都是dk维，值矩阵v是dv维，首先计算查询矩阵q和键矩阵k的点积，然后除以√dk防止太大，进一步使用softmax归一化将结果转化为权重，得到每个词嵌入相对于其他词嵌入的概率，最后乘以值矩阵v得到注意力向量值，即提取到的文本数据的特征。
16、在步骤2中，使用vit模型提取图像数据特征前，对图像进行分块化处理：
17、图像的数据格式为[h,j,c]是三维矩阵，对图像进行分块化处理，将h×j×c的图像分为p×p×c的图像块，共有n＝hj/p2个这样的图像块，其维度写成n×p×p×c，将其展平，维度写成n×(p2×c)，即变成了形状为(n,p2×c)的二维矩阵，而这正是transformer需要的；
18、其中h、j、c为图像的高、宽和通道数，p为图像块的大小，n为图像块数量。
19、在步骤3中，使用相互注意力模块融合图片数据和文本数据的特征：
20、使用transformer模型提取文本数据的特征向量，记为t，vit模型提取的图像数据特征记为i；
21、相互注意力模块对文本特征和图像特征的融合过程表示为如下：
22、
23、
24、其中i为图像数据提取后的特征表示，t为文本数据提取后的特征表示t，i和t的维度分别为di和dt；是线性变换矩阵，在训练过程中由梯度下降法得到；为图像数据特征的进一步表示；为文本数据的进一步表示；n指相互注意力模块中的第n个头；
25、之后将两组表示中的和交换位置完成图像数据特征和文本数据特征“交叉”操作，作为一组，作为一组，分别输入到两个多头交叉注意力模块中融合，每组多头交叉注意力模块的输入用qn、kn、vn表示；多头交叉注意力模块对“交叉”特征的融合过程描述如下：
26、
27、fmh_att(qn，kn，vn)＝concat(head1，...，headn)wo
28、其中headn表示多头交叉注意力模块的第n个头；d为qn的维度，wo是线性变换矩阵，维度为nd×d；fmh_att(qn，kn，vn)表示输入为qn，kn，vn的多头交叉注意力模块的输出，即“交叉”特征的高度抽象表示；
29、最后，将两个多头交叉注意力模块的表示连接成为输出，公式描述如下：
30、o＝concat(i+fmh_att(q2，k1，v1)，t+fmh_att(q1，k2，v2))
31、其中concat表示将矩阵连接；i为图像数据提取后的特征表示；t为文本数据提取后的特征表示；o表示相互注意力模块的输出，维度是di+dt。
32、在步骤4中，根据提取到的图像数据和文本数据的融合特征使用最小二乘支持向量机分类器实现配电网电力设备的识别分类，具体如下：
33、给定一个训练集(xj，yj，zj)，j＝1，2，3…m，其中xj∈rn和yj∈rn分别是待识别配电网电力设备对象的文本输入和图像输入，zj是设备类别的数学表示，即输出；m是训练集样本数量；
34、首先将xj、yj经过特征提取与特征融合，得到相互注意力模块的输出表示oj；通过非线性变化将oj映射到高维空间；
35、
36、其中ω＝[ω1,…,ωm]为权重向量，b为偏置向量，是oj的空间变换函数，f(oj)为oj的高维表示；
37、将目标函数定义为：
38、
39、
40、其中ej是f(oj)和zj的差值，即误差；j(ω,e)是损失函数，表示特定ω和ej时的损失大小；γ是正则化参数；构造拉格朗日函数如下：
41、
42、其中l(ω,b,e,α)为拉格朗日函数，αj是拉格朗日乘子；
43、分别计算l对ω,b,ej,αj的偏导数，令偏导数均等于0，最终得到最小二乘支持向量机数学模型；
44、
45、其中k(o,oj)是核函数，它是解决非线性分类和回归问题的关键，核函数将非线性问题映射到高维特征空间，然后在高维特征空间中进行线性划分，从而得到配电网电力设备的识别分类结果。
46、和现有技术相比较，本发明具备如下优点：
47、1、本发明所述的基于多模态数据融合的配电网电力设备识别方法，将识别分类任务分割为数个子过程。通过综合图像数据和文本数据，更全面和准确地获取配电网电力设备信息，同时结合特征提取和特征融合方法，最后进行整体优化。提高了识别模型的表现，提升了识别准确性。
48、2、本发明所述的基于多模态数据融合的配电网电力设备识别方法可以用于电力设备的精确识别以及基于此评估的电力设备故障诊断，使用transformer模型对图片数据和文本数据进行特征提取，并用相互注意力模块将多模态特征进行融合，最后用最小二乘支持向量机进行分类识别。其优点在于避免了长时间人工识别带来的判断结果的准确性低、客观性差；充分考虑了多源、多模态数据的信息，从而拥有更好的识别效果。
1.一种基于多模态数据融合的配电网电力设备识别方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的基于多模态数据融合的配电网电力设备识别方法，其特征在于：在步骤1中，使用正余弦位置编码表示序列的位置信息，正余弦位置编码通过使用不同频率的正弦、余弦函数生成单词的位置向量，如下公式所示：
3.根据权利要求1所述的基于多模态数据融合的配电网电力设备识别方法，其特征在于：在步骤1中，使用transformer模型进行文本数据的特征提取，具体如下：
4.根据权利要求1所述的基于多模态数据融合的配电网电力设备识别方法，其特征在于：在步骤2中，使用vit模型提取图像数据特征前，对图像进行分块化处理：
5.根据权利要求1所述的基于多模态数据融合的配电网电力设备识别方法，其特征在于：在步骤3中，使用相互注意力模块融合图片数据和文本数据的特征：
6.根据权利要求1所述的基于多模态数据融合的配电网电力设备识别方法，其特征在于：在步骤4中，根据提取到的图像数据和文本数据的融合特征使用最小二乘支持向量机分类器实现配电网电力设备的识别分类，具体如下：
