基于图注意力网络与LSTM自动编码模型的工业系统异常检测方法与流程

基于图注意力网络与lstm自动编码模型的工业系统异常检测方法
技术领域
1.本发明涉及机器学习技术，具体涉及一种工业系统异常检测方法。


背景技术：

2.随着工业互联网的快速发展，实现了工业系统的更敏锐、更高效的自动化控制和资源分配。然而，由于工业互联网打破了网络世界和物理世界的边界，使得工业制造系统更容易受到外部恶意行为的侵袭。此外，工业制造系统中不可避免的存在设备故障、性能下降、质量缺陷等生产问题。如果工业生产中的入侵、故障等异常情况不能被及时检测出来，将可能给整个制造体系带来严重的损失。因此，异常检测是工业互联网的基本要求，对智能制造企业具有十分重要的意义。
3.现代化工业制造系统通过传感器、控制器、智能仪表等监测设备，实现了对生产运行状态、环境和过程的感知和记录，积累了大量的工业数据。因此，数据驱动模型是当前异常检测的主流手段。当前主流的数据驱动异常检测模型一般具有两个特点：1)以无监督的方式进行训练。这是由于工业系统的运行过程和监测数据均十分复杂，导致理解其异常状态需要深入的领域知识，异常样本标注工作代价巨大，所以通常无法从真实工业系统中获取足够的异常样本用于训练。2)以深度学习作为底层模型。这是由于工业系统数据通常是由大量监测设备持续不断地采集得到，是一种高维时序数据，导致依赖人工的特征工程十分困难。
4.现有基于深度学习的无监督异常检测模型大多基于“循环神经网络 自动编码机”：首先基于编码器将原始工业系统数据映射到一个低维的特征空间(编码器通常基于循环神经网络进行设计)，并将原始数据在该空间中的特征看成是其潜在模式，然后基于解码器从低维特征空间中重构原始数据，如果重构数据与原始数据差异较大，则认为原始数据不符合潜在模式，即发生了异常。
5.然而，现有基于“循环神经网络 自动编码机”的异常检测模型仍然存在不足：首先，现有方法将多维时序工业系统数据视为一个整体输入异常检测模型，但实际上工业系统的不同监测设备之间并不是完全独立的，使得工业系统数据的不同维度之间存在潜在关联。其次，现有方法同等对待多维时序工业系统数据的不同维度(通常为不同监测设备)，但实际上不同维度在不同场景下对异常状态的影响程度是不一致的。


技术实现要素：

6.为了克服已有技术的不足，本发明提供本发明提出了一种基于图注意力网络与lstm自动编码模型的工业系统异常检测方法，采用自动编码机、以无监督的方式训练异常检测模型，无需提供异常标注样本；采用图注意力网络挖掘工业系统不同维度之间的关联，提升在复杂工业系统中的异常检测准确率。
7.本发明解决其技术问题所采用的技术方案是：
8.一种基于图注意力网络与lstm自动编码模型的工业系统异常检测方法，包括以下步骤：
9.1)样本划分和标准化：采用滑动窗口将原始工业系统数据划分为样本；
10.2)异常检测模型构建：采用图注意力网络和lstm自动编码机构建异常检测模型；
11.3)实时异常检测：基于重构误差计算异常程度分数，在此基础上进行异常状态判定。
12.进一步，所述步骤1)中，给定原始多维时序的工业系统数据其中，t是数据容量，f是数据维度，样本划分和标准化的步骤如下：
13.(1
‑
1)样本划分：基于宽度为w、步长为s的滑动窗口将x划分成由多个样本组成的样本集xs，其中，划分后样本的个数为n，每个样本
14.(1
‑
2)标准化：基于z
‑
score方法对数据进行标准化操作，使得每个窗口中每个维度上的数据的均值为0、标准差为1；
15.所述步骤2)中，异常检测模型构建的步骤如下：
16.(2
‑
1)关联图构建：将每个样本x转化为关联图的形式g
x
＝(v,e,a)。其中，v、e、a分别为节点集合、边集合、属性集合，描述如下：首先，v中每个节点v
i
代表样本数据的一个维度，一个维度对应工业系统中的一个监测设备；其次，e中每条边e
ij
代表节点v
i
和v
j
之间存在关联，为每一对节点都设置一条边，即g
x
是一个全连接图；再次，a中每个元素a
i
为v
i
所指示的维度上的样本数据向量，代表v
i
的属性；
17.(2
‑
2)模型构建：异常检测模型为一个深度神经网络，包含交互层、编码层、解码层和重构层；
18.(2
‑
3)模型训练：为实现无监督的模型训练，将解码器产生的重构样本y和原始样本x之间的均方误差作为模型的损失函数，在此基础上采用梯度下降方式对模型进行优化训练。
19.所述交互层使用图注意力网络来处理模型的输入，交互层的输入为步骤(2
‑
1)中得到的关联图形式的样本g
x
，处理步骤为：step1对于g
x
中任意一条边e
ij
设置一个可学习的权重w
ij
，其计算方法如式(1)所示，其中，q为可学习的参数向量，σ()为一个非线性激活函数，
⊕
用于拼接多个向量，l为v
i
的邻居节点个数；step2针对每个节点v
i
，计算其与所有邻居节点的加权平均向量作为v
i
的表征向量g
i
，如式(3)所示；step3将所有节点的表征向量拼接为一个矩阵作为交互层的输出，其中z的行是节点表征向量的维度，列是节点的个数；
[0020][0021][0022][0023]
所述编码层使用lstm网络处理连续n个样本的交互层输出z1、z2、
…
、z
n
，处理过程如式(4)所示，即当前隐状态矩阵h
t
由其前一个隐状态矩阵h
t
‑1和当前输入状态矩阵z
t
共同
生成；
[0024]
h
t
＝lstm(h
t
‑1,z
t
)
ꢀꢀꢀ
(4)
[0025]
所述解码层使用lstm网络处理编码层的输出h1、h2、
…
、h
n
，处理策略与编码层一致，输出特征矩阵序列r1、r2、
…
、r
n
；
[0026]
所述重构层使用神经元数量为f的全联接层处理解码层的输出r1、r2、
…
、r
n
，得到与原始样本的维度一致的重构样本
[0027]
更进一步，所述步骤(3)中，实时异常检测的步骤如下：
[0028]
(3
‑
1)异常程度打分：给定实时样本x，首先将其输入训练好的异常检测模型，得到重构样本y；然后，计算x和y的均方误差，作为x的异常程度分数p
x
；
[0029]
(3
‑
2)异常判定：如果p
x
大于指定阈值，则判定x为异常。
[0030]
本发明的有益效果主要表现在：1、采用自动编码机、以无监督的方式训练异常检测模型，无需提供异常标注样本；2、采用图注意力网络挖掘工业系统不同维度之间的关联，提升在复杂工业系统中的异常检测准确率。
附图说明
[0031]
图1为一种基于图注意力网络与lstm自动编码模型的工业系统异常检测方法流程图；
[0032]
图2为异常检测模型的网络结构图；
[0033]
图3为基于图注意力网络的维度表征方法示意图；
[0034]
图4为编码
‑
解码网络结构图。
具体实施方式
[0035]
下面结合附图对本发明作进一步描述。
[0036]
参照图1～图4，一种基于图注意力网络与lstm自动编码模型的工业系统异常检测方法，包括以下步骤：
[0037]
1)样本划分和标准化：采用滑动窗口将原始工业系统数据划分为样本；
[0038]
2)异常检测模型构建：采用图注意力网络和lstm自动编码机构建异常检测模型；
[0039]
3)实时异常检测：基于重构误差计算异常程度分数，在此基础上进行异常状态判定。
[0040]
进一步，所述步骤1)中，给定原始多维时序的工业系统数据其中，t是数据容量，f是数据维度，样本划分和标准化的步骤如下：
[0041]
(1
‑
1)样本划分：基于宽度为w、步长为s的滑动窗口将x划分成由多个样本组成的样本集xs，其中，划分后样本的个数为n，每个样本
[0042]
(1
‑
2)标准化：基于z
‑
score方法对数据进行标准化操作，使得每个窗口中每个维度上的数据的均值为0、标准差为1；
[0043]
所述步骤2)中，异常检测模型构建的步骤如下：
[0044]
(2
‑
1)关联图构建：将每个样本x转化为关联图的形式g
x
＝(v,e,a)。其中，v、e、a分别为节点集合、边集合、属性集合，描述如下：首先，v中每个节点v
i
代表样本数据的一个维
度，一个维度对应工业系统中的一个监测设备；其次，e中每条边e
ij
代表节点v
i
和v
j
之间存在关联；由于一般情况下无法预先知道哪些维度之间存在关联，因此为每一对节点都设置一条边，即g
x
是一个全连接图；再次，a中每个元素a
i
为v
i
所指示的维度上的样本数据向量，代表v
i
的属性；
[0045]
(2
‑
2)模型构建：参照图2，异常检测模型为一个深度神经网络，包含交互层、编码层、解码层和重构层；
[0046]
(2
‑
3)模型训练：为实现无监督的模型训练，将解码器产生的重构样本y和原始样本x之间的均方误差作为模型的损失函数，在此基础上采用梯度下降方式对模型进行优化训练。
[0047]
参照图3，所述交互层使用图注意力网络来处理模型的输入，交互层的输入为步骤(2
‑
1)中得到的关联图形式的样本g
x
，处理步骤为：step1对于g
x
中任意一条边e
ij
设置一个可学习的权重w
ij
，其计算方法如式(1)所示，其中，q为可学习的参数向量，σ()为一个非线性激活函数，
⊕
用于拼接多个向量，l为v
i
的邻居节点个数；step2针对每个节点v
i
，计算其与所有邻居节点的加权平均向量作为v
i
的表征向量g
i
，如式(3)所示；step3将所有节点的表征向量拼接为一个矩阵作为交互层的输出，其中z的行是节点表征向量的维度，列是节点的个数；
[0048][0049][0050][0051]
参照图4，所述编码层使用lstm网络处理连续n个样本的交互层输出z1、z2、
…
、z
n
，处理过程如式(4)所示，即当前隐状态矩阵h
t
由其前一个隐状态矩阵h
t
‑1和当前输入状态矩阵z
t
共同生成；
[0052]
h
t
＝lstm(h
t
‑1,z
t
)
ꢀꢀꢀ
(4)
[0053]
所述解码层使用lstm网络处理编码层的输出h1、h2、
…
、h
n
，处理策略与编码层一致，输出特征矩阵序列r1、r2、
…
、r
n
；
[0054]
所述重构层使用神经元数量为f的全联接层处理解码层的输出r1、r2、
…
、r
n
，得到与原始样本的维度一致的重构样本
[0055]
更进一步，所述步骤(3)中，实时异常检测的步骤如下：
[0056]
(3
‑
1)异常程度打分：给定实时样本x，首先将其输入训练好的异常检测模型，得到重构样本y；然后，计算x和y的均方误差，作为x的异常程度分数p
x
；
[0057]
(3
‑
2)异常判定：如果p
x
大于指定阈值，则判定x为异常。
[0058]
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。

技术特征：
1.一种基于图注意力网络与lstm自动编码模型的工业系统异常检测方法，其特征在于，所述方法包括以下步骤：1)样本划分和标准化：采用滑动窗口将原始工业系统数据划分为样本；2)异常检测模型构建：采用图注意力网络和lstm自动编码机构建异常检测模型；3)实时异常检测：基于重构误差计算异常程度分数，在此基础上进行异常状态判定。2.如权利要求1所述的基于图注意力网络与lstm自动编码模型的工业系统异常检测方法，其特征在于，所述步骤1)中，给定原始多维时序的工业系统数据其中，t是数据容量，f是数据维度，样本划分和标准化的步骤如下：(1
‑
1)样本划分：基于宽度为w、步长为s的滑动窗口将x划分成由多个样本组成的样本集xs，其中，划分后样本的个数为n，每个样本(1
‑
2)标准化：基于z
‑
score方法对数据进行标准化操作，使得每个窗口中每个维度上的数据的均值为0、标准差为1。3.如权利要求1或2所述的基于图注意力网络与lstm自动编码模型的工业系统异常检测方法，其特征在于，所述步骤2)中，异常检测模型构建的步骤如下：(2
‑
1)关联图构建：将每个样本x转化为关联图的形式g
x
＝(v,e,a)，其中，v、e、a分别为节点集合、边集合、属性集合，描述如下：首先，v中每个节点v
i
代表样本数据的一个维度，一个维度对应工业系统中的一个监测设备；其次，e中每条边e
ij
代表节点v
i
和v
j
之间存在关联，为每一对节点都设置一条边，即g
x
是一个全连接图；再次，a中每个元素a
i
为v
i
所指示的维度上的样本数据向量，代表v
i
的属性；(2
‑
2)模型构建：异常检测模型为一个深度神经网络，包含交互层、编码层、解码层和重构层；(2
‑
3)模型训练：为实现无监督的模型训练，将解码器产生的重构样本y和原始样本x之间的均方误差作为模型的损失函数，在此基础上采用梯度下降方式对模型进行优化训练。4.如权利要求3所述的基于图注意力网络与lstm自动编码模型的工业系统异常检测方法，其特征在于，所述交互层使用图注意力网络来处理模型的输入，交互层的输入为步骤(2
‑
1)中得到的关联图形式的样本g
x
，处理步骤为：step1对于g
x
中任意一条边e
ij
设置一个可学习的权重w
ij
，其计算方法如式(1)所示，其中，q为可学习的参数向量，σ()为一个非线性激活函数，
⊕
用于拼接多个向量，l为v
i
的邻居节点个数；step2针对每个节点v
i
，计算其与所有邻居节点的加权平均向量作为v
i
的表征向量g
i
，如式(3)所示；step3将所有节点的表征向量拼接为一个矩阵作为交互层的输出，其中z的行是节点表征向量的维度，列是节点的个数；节点的个数；节点的个数；所述编码层使用lstm网络处理连续n个样本的交互层输出z1、z2、
…
、z
n
，处理过程如式
(4)所示，即当前隐状态矩阵h
t
由其前一个隐状态矩阵h
t
‑1和当前输入状态矩阵z
t
共同生成；h
t
＝lstm(h
t
‑1,z
t
)
ꢀꢀꢀꢀꢀꢀꢀ
(4)所述解码层使用lstm网络处理编码层的输出h1、h2、
…
、h
n
，处理策略与编码层一致，输出特征矩阵序列r1、r2、
…
、r
n
；所述重构层使用神经元数量为f的全联接层处理解码层的输出r1、r2、
…
、r
n
，得到与原始样本的维度一致的重构样本5.如权利要求1或2所述的基于图注意力网络与lstm自动编码模型的工业系统异常检测方法，其特征在于，所述步骤(3)中，实时异常检测的步骤如下：(3
‑
1)异常程度打分：给定实时样本x，首先将其输入训练好的异常检测模型，得到重构样本y；然后，计算x和y的均方误差，作为x的异常程度分数p
x
；(3
‑
2)异常判定：如果p
x
大于指定阈值，则判定x为异常。
技术总结
一种基于图注意力网络与LSTM自动编码模型的工业系统异常检测方法，包括以下步骤：1)样本划分和标准化：采用滑动窗口将原始工业系统数据划分为样本；2)异常检测模型构建：采用图注意力网络和LSTM自动编码机构建异常检测模型；3)实时异常检测：基于重构误差计算异常程度分数，在此基础上进行异常状态判定。本发明采用自动编码机、以无监督的方式训练异常检测模型，无需提供异常标注样本；采用图注意力网络挖掘工业系统不同维度之间的关联，提升在复杂工业系统中的异常检测准确率。复杂工业系统中的异常检测准确率。复杂工业系统中的异常检测准确率。


技术研发人员：吕明琪 葛亚男 陈铁明 朱添田
受保护的技术使用者：浙江工业大学
技术研发日：2021.03.25
技术公布日：2021/6/29