本发明属于知识图谱，具体涉及融合机器视觉与知识图谱的设备故障风险监测方法及系统。
背景技术：
1、随着电力系统规模的不断扩大和复杂度的增加，变电站作为电力系统中重要的组成部分，其运行状态直接关系到电力供应的稳定性和可靠性，因此对于变电站设备故障的监测至关重要。
2、传统的设备故障监测方法主要依赖于设备运行参数的实时监控和周期性检查，这些方法虽然在一定程度上能够实现故障的预测和诊断，但存在着监测盲点多、诊断准确率低和反应速度慢等问题。随着人工智能技术的快速发展，机器视觉和知识图谱技术因其在信息处理和智能决策方面的显著优势，被视为解决上述问题的有力工具。
3、例如公开号为“cn108918168a”的中国专利申请，公开了一种基于机器视觉技术实现设备故障检测的方法及系统，该方法包括车底故障检测系统和控制中心，所述控制中心包括第一通讯模块、分析处理模块和数据库，所述车底故障检测系统包括视觉识别装置和故障检测装置；所述视觉识别装置用于识别列车号信息，并根据识别的列车号信息获取该列车预设的底部模型图像信息；所述故障检测装置用于采集列车底部的图像，获得该列车底部的故障信息；该发明通过图像配合rfid进行识别提高了识别准确率，通过前后两组对应的识别标识可以准确确定车辆的前后位置，便于与数据库中的模型图像前后对应，提高了故障检测准确率和检测效率。又例如公开号为“cn112596495b”的中国专利申请，公开了一种基于知识图谱的工业设备故障诊断方法及系统，该方法包括：采集工业设备的维护数据以及对应的故障信息，根据该工业设备的维护数据以及对应的故障数据构建知识图谱；获取待诊断工业设备当前运行数据，通过知识图谱对当前运行数据进行相似度度量，获取相似程度值；设定相似程度阈值，将相似程度值与相似程度阈值进行比较，根据比较结果，生成对应的故障信息。该发明通过收集各种工业设备维护数据以及故障信息结合本领域其他知识信息构建全面完整的知识图谱，然后根据知识图谱对待诊断工业设备的状态进行判断，不仅能够及时对设备故障进行判断，避免出现危险事故，同时能够对设备故障进行溯源，增强设备管理安全性。
4、然而，上述现有技术仅利用机器视觉或知识图谱技术来实现设备故障的监测，无法有效的融合两种技术，存在设备故障监测效率不高的问题。
技术实现思路
1、为解决上述问题，本发明提供了融合机器视觉与知识图谱的设备故障风险监测方法及系统，以解决现有技术中的问题。
2、为了达到上述的发明目的，本发明提出融合机器视觉与知识图谱的设备故障风险监测方法，该方法包括：
3、定义设备故障的实体类型和关系类型；
4、获取第一文本数据，基于bert模型对所述第一文本数据进行编码生成第一输出向量，基于模态增强注意力机制对所述第一输出向量进行处理，获得第二输出向量，采用span指针网络方法提取所述第二输出向量的头实体以及在特定关系下的尾实体，构建形成知识图谱；
5、基于yolov7目标检测算法对发生所述设备故障的实体进行实时检测，获得第一故障信息；
6、将所述第一故障信息与所述知识图谱中的设备故障进行检索匹配，返回所述第一故障信息对应的故障处理方法。
7、进一步地，基于bert模型对所述第一文本数据进行编码生成第一输出向量包括以下步骤：
8、在所述bert模型对所述第一文本数据进行编码前，将所述第一文本数据转换为第一文本序列，所述第一文本序列由多个分词构成，在所述第一文本序列的开始位置添加[cls]标记，末尾位置添加[sep]标记，若所述第一文本序列为成对文本，则在两个文本之间添加所述[sep]标记，基于所有标记信息获得第二文本序列；
9、所述bert模型将所述第二文本序列中的每个所述分词转换为分词嵌入向量，添加位置嵌入对所述分词所在的位置信息进行编码，以及段落嵌入区分所述成对文本，三种嵌入向量之和形成第一输入向量，将所述第一输入向量输入多层transformer编码层，生成所述bert模型的第一输出向量，基于第一公式计算第l层的所述第一输出向量，所述第一公式为：。
10、进一步地，基于模态增强注意力机制对所述第一输出向量进行处理包括以下步骤：
11、获取第二输入向量，所述第二输入向量是与所述第一输出向量具有相同形状但代表不同模态特征的向量，将所述第二输入向量和所述第一输出向量融合形成多序列向量，基于所述模态增强注意力机制处理所述多序列向量，所述多序列向量包括句子的语义特征序列、单词的标签特征序列以及语义信息与标签信息的交互特征序列；
12、所述模态增强注意力机制计算所述多序列向量之间的缩放点积注意力得分，基于softmax函数将所述缩放点积注意力得分转换为概率表示，基于所述概率确定序列中每个元素的重要性，每个头将序列内所述缩放点积注意力得分所对应的概率与所述元素的值进行加权求和，生成多个加权后的特征向量，基于线性变换层将所述加权后的特征向量转换为统一向量序列，双向bilstm将所述统一向量序列在双方向上进行聚合，并设置残差连接和层归一化，对所述统一向量序列进行处理，获得融合多种模态特征的所述第二输出向量。
13、进一步地，提取所述第二输出向量的头实体包括以下步骤：
14、基于所述span指针网络方法，对所述第二输出向量进行span解码，获得多个span，每个span由多个token位构成，构建一个二元分类器，用于预测在所述bert模型训练阶段每个span中的每个所述token位是否作为所述头实体的起始位置或结束位置，基于第二公式和第三公式计算每个所述token位作为头实体的起始位置和结束位置的第一标准化评分和，所述第二公式为：，所述第三公式为：，其中，和为训练得到token位作为头实体起始位置和终止位置的权重值，为第个token位的编码，和为偏置值，基于第四公式和第五公式将所述第一标准化评分转换为第一概率和，所述第四公式为：，所述第五公式为：；
15、在所述bert模型预测阶段，将新的文本信息输入所述bert模型，对所述新的文本信息所对应的span进行预测，计算每个span中每个token位作为头实体起始位置和结束位置的所述第一概率，基于所述第一概率生成所述span的置信度，将所述置信度大于第一阈值的所述实体作为所述头实体进行提取。
16、进一步地，提取所述第二输出向量在特定关系下的尾实体包括以下步骤：
17、将所述第二输出向量与所述头实体的平均编码向量进行拼接，形成所述头实体与所述尾实体在特定关系下的综合向量，构建两个二元分类器，分别用于预测所述综合向量中的每个span的每个token位是否作为所述尾实体的起始位置和结束位置，基于第六公式和第七公式计算每个span中的每个token位作为尾实体起始位置和结束位置的第二标准化评分和，所述第六公式为：，所述第七公式为：，其中，和为训练得到token位作为尾实体起始位置和结束位置的权重值，和为偏置值，基于第八公式和第九公式将所述第二标准化评分转换为第二概率和，所述第八公式为：，所述第九公式为，将大于第二阈值的所述第二概率所对应的所述token位作为所述尾实体的起始位置和结束位置，并对所述尾实体进行提取。
18、进一步地，基于yolov7目标检测算法对发生所述设备故障的实体进行实时检测包括以下步骤：
19、获取所述设备故障的图像信息，将所述图像信息输入所述yolov7目标检测算法的backbone主干网络，获得多个特征信息，并经由head层，以生成在不同尺寸下的特征图，设置cbam注意力机制对所述特征图进行处理，获得多维度融合的实体特征图，对所述实体特征图进行分类，生成预测边界框和对应的类别标签，利用mpdiou损失函数对所述预测边界框进行调整，基于所述预测边界框和所述类别标签，确定所述图像信息中发生故障的目标实体以及对应的所述第一故障信息。
20、进一步地，基于mpdiou损失函数对所述预测边界框进行调整包括以下步骤：
21、所述mpdiou损失函数基于所述预测边界框与预先标注的实际边界框的差异值对所述预测边界框进行调整，若所述差异值大于第三阈值，则调整所述yolov7目标检测算法的参数，获取新的所述预测边界框，基于第十公式计算所述差异值，所述第十公式为：，其中，为所述预测边界框与所述实际边界框的重叠程度，w与h分别为所述图像信息的长和宽，和分别为所述预测边界框与所述实际边界框的左上角点之间的距离、右下角点之间的距离，基于第十一公式和第十二公式计算和，所述第十一公式为：，所述第十二公式为：，其中，、为所述预测边界框左上角点与右下角点的坐标值，、为所述实际边界框左上角点与右下角点的坐标值。
22、进一步地，设置cbam注意力机制对所述特征图进行处理包括以下步骤：
23、所述cbam注意力机制包括通道注意力模块和空间注意力模块，将yolov7目标检测算法提取的所述特征图输入至所述通道注意力模块，基于所述特征图所在的通道维度，对每个通道内的所述特征图进行全局最大池化和全局平均池化操作，分别生成每个通道所对应的第一特征向量和第二特征向量，利用多层感知机合并两个特征向量并通过元素加法进行融合，将融合后的所述特征向量输入sigmoid函数进行激活，形成融合通道权重的第一加权特征图；
24、将所述第一加权特征图输入所述空间注意力模块，进行全局最大池化与全局平均池化操作，获得新的特征向量，对所述新的特征向量进行合并和卷积操作，利用sigmoid函数进行激活得到融合空间权重的第二加权特征图，所述第二加权特征图即为最终的实体特征图。
25、进一步地，获取所述第一加权特征图和所述第二加权特征图包括以下步骤：
26、基于第十三公式和第十四公式获得所述第一加权特征图和所述第二加权特征图，所述第十三公式为：，所述第十四公式为：，其中，f是输入的所述特征图，代表所述sigmoid函数，表示的卷积操作，表示全局平均池化操作，表示全局最大池化操作，表示多层感知机合并操作。
27、本发明还提供了融合机器视觉与知识图谱的设备故障风险监测系统，该系统用于实现上述所述的方法，该系统主要包括：
28、定义模块，定义设备故障的实体类型和关系类型；
29、构建模块，获取第一文本数据，基于bert模型对所述第一文本数据进行编码生成第一输出向量，基于模态增强注意力机制对所述第一输出向量进行处理，获得第二输出向量，采用span指针网络方法提取所述第二输出向量的头实体以及在特定关系下的尾实体，构建形成知识图谱；
30、生成模块，基于yolov7目标检测算法对发生所述设备故障的实体进行实时检测，获得第一故障信息；
31、检索模块，将所述第一故障信息与所述知识图谱中的设备故障进行检索匹配，返回所述第一故障信息对应的故障处理方法。
32、与现有技术相比，本发明的有益效果至少如下：
33、本发明通过机器视觉领域的图像识别技术，自动识别变电站设备的典型故障特征，并基于故障特征定义知识图谱的实体类型和关系类型，相比传统基于参数监测设备故障的方法，可以减少误报和漏报的情况，提高故障检测的准确性和效率；在构建知识图谱的过程中，利用bert模型对数据进行训练，并设置模态增强注意力机制融合多种模态下的数据特征，增强了模型对实体和关系抽取任务的处理能力；采用span指针网络方法有效地从复杂的文本数据中提取设备故障及其处理方法的相关知识，提升了实体识别的效率和灵活性，并与图像识别技术相结合，预测设备故障实体目标，基于所建立的知识图谱，实时提出对应的故障诊断和处理建议，显著提高了故障处理的效率和准确性，实现了变电站典型设备故障监测与诊断的自动化和智能化，有助于提升变电站设备的运维水平和电力系统的稳定性。
1.一种融合机器视觉与知识图谱的设备故障风险监测方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，基于bert模型对所述第一文本数据进行编码生成第一输出向量包括以下步骤：
3.根据权利要求2所述的方法，其特征在于，基于模态增强注意力机制对所述第一输出向量进行处理包括以下步骤：
4.根据权利要求3所述的方法，其特征在于，提取所述第二输出向量的头实体包括以下步骤：
5.根据权利要求4所述的方法，其特征在于，提取所述第二输出向量在特定关系下的尾实体包括以下步骤：
6.根据权利要求5所述的方法，其特征在于，基于yolov7目标检测算法对发生所述设备故障的实体进行实时检测包括以下步骤：
7.根据权利要求6所述的方法，其特征在于，基于mpdiou损失函数对所述预测边界框进行调整包括以下步骤：
8.根据权利要求7所述的方法，其特征在于，设置cbam注意力机制对所述特征图进行处理包括以下步骤：
9.根据权利要求8所述的方法，其特征在于，获取所述第一加权特征图和所述第二加权特征图包括以下步骤：
10.一种融合机器视觉与知识图谱的设备故障风险监测系统，用于实现如权利要求1-9任一项所述的方法，其特征在于，所述系统包括如下模块：
