一种聚合反应过程质量预测模型构建方法与流程

1.本发明属于化工过程中的软测量建模技术领域，具体涉及一种聚合反应过程质量预测模型构建方法。


背景技术：

2.在化工过程工业中，过程数据之间存在很强的相关性与非线性，即过程数据是具有高度非线性与高度动态性的时间序列。递归神经网络(recurrent neural network，rnn)通过将时序的概念引入到网络结构设计中，在时序数据分析中表现出更强的适应性，为提取时间序列特征提供了更好的解决方案。随着处理时间序列长度的增加，会使得网络训练期间容易产生梯度消失与梯度爆炸等问题，从而导致rnn网络预测精度不足。另外在开放环境下，由于数据采集环境的复杂性、采集设备性能的限制以及人为因素的影响，使得收集到的数据中含有大量的不确定性，如数据存在各种噪声与异常点等，极大地降低了数据的可用性。在回归建模中，常用的损失函数为最小二乘损失(mse)。随着误差的增大，相应的损失呈平方增加。当训练数据中存在异常点时，异常点处的回归误差将主导整个损失函数值的增加或减小，从而导致此时训练得到的模型偏向于异常样本。
3.长短期记忆(long
‑
short
‑
term memory，lstm)神经网络是在rnn结构的基础上，引入门控单元替代rnn隐层中的神经元，使其对较长时间序列上的信息能够选择性地通过和剔除，改善rnn在长时间序列上记忆能力不足、梯度消失和梯度爆炸的问题。
4.最大相关熵准则(maximum correntropy criterion，mcc)最早用在信号的噪声处理领域，后经证明了在回归问题中，mcc在处理包含非高斯噪声或离群点的数据时表现出良好的性能。
5.本发明将mcc与lstm进行结合，提出一种稳健mcc
‑
lstm质量预测方法。


技术实现要素：

6.针对现有技术中存在的上述问题，本发明的目的在于提供一种能够解决时间序列的梯度消失和梯度爆炸问题，且在参数求解过程中对异常点与噪声不敏感，使得模型更加精确可靠的聚合反应过程质量预测方法。
7.本发明提供如下技术方案：一种聚合反应过程质量预测模型构建方法，包括以下步骤：
8.(1)获取聚乙烯工业生产过程变量数据集：
9.获取聚乙烯工业生产过程变量，取聚乙烯生产过程中的一个反应器内的一组变量为输入变量，该反应器的产品质量变量记为mi，所述mi为输出变量，所述过程变量数据集包括输入变量和输出变量；
10.(2)数据集的预处理以及数据集划分：
11.对步骤(1)中获取的聚乙烯工业生产过程变量数据集进行数据标准化处理，使其变成无量纲数据集，然后，将标准化处理后的无量纲数据集按设定比例划分为训练集和测
试集；
12.(3)建立mcc
‑
lstm神经网络模型并训练：
13.建立基于最大相关熵准则mcc的长短期记忆lstm神经网络，将训练集输入到建立的mcc
‑
lstm神经网络中进行训练；
14.(4)对mcc
‑
lstm神经网络训练所建立的模型进行性能评估：
15.采用均方根误差rmse与最大相关熵误差ce评价指标对模型进行评估，验证mcc
‑
lstm神经网络的性能。
16.所述的一种聚合反应过程质量预测模型构建方法，其特征在于，所述步骤(2)的具体过程如下：
17.步骤2.1：为消除过程变量之间因量纲带来的差异性，对数据进行归一化处理，公式如下：
[0018][0019]
其中：x
′
为标准化处理后的数据集，x为所采集的原始数据集；x
min
为原始过程变量数据的最小值，x
max
为原始过程变量数据的最大值；
[0020]
步骤2.2：归一化处理后将数据集划分为测试集与训练集，其中测试集占样本总数的25％，训练集占总数的75％；
[0021]
所述的一种聚合反应过程质量预测模型构建方法，其特征在于，所述步骤(3)的具体过程如下：
[0022]
步骤3.1：建立基于最大相关熵准则mcc的长短期记忆lstm神经网络：
[0023]
3.1.1、构建长短期记忆lstm神经网络模型，然后基于最大相关熵准则mcc构建以高斯核函数为核心的损失函数，来提高长短期记忆lstm神经网络模型的鲁棒性，并通过adam优化算法进行模型参数求解，整个网络采用最大相关熵准则mcc作为损失函数进行训练；
[0024]
3.1.2、对步骤(2)中标准化处理后的数据集进行重构，然后将重构后的训练集数据输入步骤3.1.1中构建的mcc
‑
lstm神经网络模型，其中，数据重构公式如下所示：
[0025]
x
t
＝[[a
t
‑
n
,b
t
‑
n
,
···
,l
t
‑
n
],
···
,[a
t
‑1,b
t
‑1,
···
,l
t
‑1],[a
t
,b
t
,
···
,l
t
]]
[0026]
其中：a、b
···
l分别表示聚乙烯工业生产的过程变量，t表示时刻，n表示时间滑动窗口；
[0027]
步骤3.2：网络参数设置：
[0028]
在mcc
‑
lstm神经网络中，通过网格选择的方式设置需要的超参数，并采用自适应矩估计算法优化器对网络参数进行训练，为防止模型过拟合，在mcc
‑
lstm神经网络中添加dropout层；
[0029]
步骤3.3：利用自适应矩估计算法训练模型：
[0030]
利用自适应矩估计算法优化模型参数，首先定义α表示初始学习率、定义β1表示一阶矩估计指数衰减率、定义β2表示二阶矩估计指数衰减率、定义m表示梯度的一阶矩、定义n表示梯度的二阶矩、定义t表示时间步，自适应矩估计算法的优化流程如下：
[0031]
s1)初始化相关参数，不断优化θ，直到目标函数f(θ)满足求解要求；
[0032]
s2)更新一阶矩和二阶矩：在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，具体公式如下：
[0033][0034][0035]
通过上面两个公式分别对一阶矩和二阶矩进行偏差校正，其中：和分别是校正后的一阶矩和二阶矩，m
t
、v
t
分别表示更新前的一阶矩和二阶矩，m
t
、v
t
的具体公式如下：
[0036]
m
t
＝β1·
m
t
‑1 (1
‑
β1)
·
g
t
[0037][0038]
其中，g
t
是t时刻权值的梯度，是t时刻权值的梯度，是求梯度符号，θ
t
‑1是t
‑
1时刻的权值矩阵；
[0039]
s3)更新网络参数，具体公式如下所示：
[0040][0041]
其中：θ
t
是t时刻更新后的权值矩阵，θ
t
‑1是t
‑
1时刻待更新的权值矩阵，ε为经验参数；若θ
t
满足求解要求，则停止优化并输出结果，否则返回至步骤s2)中继续优化；
[0042]
所述的一种聚合反应过程质量预测模型构建方法，其特征在于所述最大相关熵准则mcc的推导过程如下：
[0043]
首先定义相关熵为描述两个随机变量q和r之间的局部相似度，其表示公式如下：
[0044][0045]
其中：为两个随机变量q和r之间的局部相似度，是一个核函数，e(
·
)是一个求期望运算；
[0046]
则基于定义的相关熵进一步推导出的最大相关熵准则mcc公式如下：
[0047][0048]
其中：代表最大相关熵准则，代表高斯核函数，与y
i
分别代表预测值与真实值，e
i
表示预测值与真实值之间的误差。
[0049]
所述的一种聚合反应过程质量预测模型构建方法，其特征在于，通过adam优化算法进行模型参数求解的过程中，需对最大相关熵准则mcc进行等效转化为求最小值问题，即目标函数f(θ)，f(θ)的公式如下：
[0050]
[0051]
其中：f(θ)代表目标函数，σ1代表内核参数，n代表样本数，e
i
表示预测值与真实值之间的误差，θ代表模型需要优化的参数。
[0052]
所述的一种聚合反应过程质量预测模型构建方法，其特征在于所述步骤(4)中，采用均方根误差(rmse)与最大相关熵误差(ce)作为评估指标，计算公式如下：
[0053][0054][0055]
其中：为软测量模型预测值，y
i
为目标域测试集真实值，即为步骤(2)中划分的测试集数据，n
test
为测试集的样本数；rmse值越小、ce值越大表示模型的抗干扰能力更强，更加可靠。
[0056]
通过采用上述技术，与现有技术相比，本发明的有益效果如下：
[0057]
本发明是基于稳健长短期记忆网络的聚合反应过程质量预测模型构建方法，利用信号除噪场景中的最大相关熵准则mcc作为损失函数，通过mcc对噪声或离群点表现得不敏感的特性，使得lstm模型更加稳健精确。
附图说明
[0058]
图1为本发明模型构建方法的流程图；
[0059]
图2为本发明实施例中，聚乙烯工业生产测试集中mse
‑
lstm与mcc
‑
lstm模型的预测误差图。
具体实施方式
[0060]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合说明书附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0061]
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
[0062]
请参阅图1
‑
2，一种聚合反应过程质量预测模型构建方法，包括以下步骤：
[0063]
(1)获取聚乙烯工业生产过程变量数据集
[0064]
获取聚乙烯工业生产过程变量，该聚乙烯生产过程中有三个主要反应器。三个反应器的产品质量变量(熔融指数)分别记为mi1，mi2，mi3。总共选择了与产品质量相关的29个过程变量。第一反应器中有12个变量，第二反应器中有8个变量，第三反应器中有9个变量。这里选取第一个反应器的12个变量为输入变量，相应的mi1为输出变量。
[0065]
获取聚乙烯工业生产过程变量数据集，共211个样本，每个样本包括12个输入变
量，1个预测变量；
[0066]
(2)聚乙烯工业生产数据集的预处理以及数据集划分
[0067]
步骤2.1：为消除过程变量之间因量纲带来的差异性，对数据进行最大最小归一化处理处理，公式如下：
[0068][0069]
其中：x
′
为标准化处理后的数据集，x为所采集的原始数据集；x
min
为原始过程变量数据的最小值，x
max
为原始过程变量数据的最大值；
[0070]
步骤2.2：归一化处理后将数据集划分为测试集与训练集，其中测试集占样本总数的25％，训练集占总数的75％；
[0071]
(3)建立mcc
‑
lstm神经网络模型并训练
[0072]
步骤3.1：建立基于mcc的lstm神经网络
[0073]
所获取的数据集为时间序列数据，对数据进行重构，如下所示：
[0074]
x
t
＝[[a
t
‑
n
,b
t
‑
n
,
···
,l
t
‑
n
],
···
,[a
t
‑1,b
t
‑1,
···
,l
t
‑1],[a
t
,b
t
,
···
,l
t
]]
[0075]
式中：a、b
···
l分别表示聚乙烯工业生产的过程变量，t表示时刻，n表示时间滑动窗口。
[0076]
在lstm神经网络单元中，三个门和记忆单元的具体计算公式如下：
[0077][0078][0079][0080][0081][0082][0083]
式中：σ2和tanh分别是sigmoid激活函数和切线激活函数，x
t
为t时刻的外部输入向量；i
t
为t时刻输入门的输出；a
t
为t时刻状态单元的输出；f
t
为t时刻遗忘门的输出；c
t
为t时刻状态单元更新的输出；o
t
为t时刻输出门的输出；h
t
和h
t
‑1分别是t时刻和t
‑
1时刻的隐藏层状态；w
i
、u
i
、b
i
分别为输入层和隐层到输入门的权值向量以及输入门的偏移量；w
c
、u
c
、b
c
分别为输入层和隐层到状态单元的权值向量以及状态单元的偏移量；w
f
、u
f
、b
f
分别为输入层和隐层到遗忘门的权值向量以及遗忘门的偏移量；w
o
、u
o
、b
o
分别为输入层和隐层到输出层的权值向量以及输出层的偏移量；表示x
t
、h
t
‑1与其各自w、u、b的加权和；为hadamard乘积，表示矩阵对应位置元素相乘。
[0084]
相关熵一般用于信号除噪场景，其可以处理非高斯噪声和脉冲噪声。相关熵定义为描述两个随机变量q和r之间的局部相似度，可以表示为：
[0085][0086]
其中：为两个随机变量q和r之间的局部相似度，k
σ1
(
·
)是一个核函数，e(
·
)是一个求期望运算；
[0087]
基于相关熵定义进一步推导出的最大相关熵准则(mcc)则：
[0088][0089][0090]
其中：代表最大相关熵准则，代表高斯核函数，与y
i
分别代表预测值与真实值，e
i
表示预测值与真实值之间的误差；
[0091]
在lstm的模型优化策略中，mcc构建以高斯核函数为核心的损失函数，取代常用的损失函数(mse)来增加模型的鲁棒性，并通过自适应矩估计优化算法进行模型参数求解。自适应矩估计优化算法一般处理最小化问题，而mcc属于最大化问题，所以需对mcc进行等效转化为求最小值问题，即目标函数f(θ)，如下所示：
[0092][0093]
其中：f(θ)代表目标函数，σ1代表内核参数，n代表样本数，e
i
表示预测值与真实值之间的误差，θ代表模型需要优化的参数；
[0094]
过程构建了lstm神经网络，整个网络采用mcc作为损失函数进行训练；
[0095]
步骤3.2：网络参数设置
[0096]
在mcc
‑
lstm神经网络中主要设置的超参数包括时间窗口大小、网络结构、训练次数和内核参数宽度等。通过网格选择的方式确定时间窗口大小设置为5，内核参数宽度为0.8，隐藏层神经元个数为20，并采用自适应矩估计算法优化器对网络参数进行训练，epoch为300，batch_size为10。为防止模型过拟合，在mcc
‑
lstm神经网络中添加dropout层，dropout值设定为0.2。
[0097]
步骤3.3：利用自适应矩估计算法训练模型
[0098]
自适应矩估计算法在参数更新过程中通过对梯度的一阶矩估计和二阶矩估计，自适应的为每一个参数设置不同的学习率进行更新。在概率论中，如果一个随机变量x服从某个分布，x的一阶矩定义为e(x)，也就是样本均值；x的二阶矩定义为e(x2)，也就是样本平方的均值。
[0099]
利用自适应矩估计算法优化模型参数，首先定义α表示初始学习率，它控制参数的更新比率，定义较大的值在更新过程中会有更快的更新速度，网络会更快的收敛，而定义较小的值时参数的更新速度会相应变慢，但网络会收敛到更好的性能；定义β1表示一阶矩估计指数衰减率；定义β2表示二阶矩估计指数衰减率；定义m表示梯度的一阶矩；定义n表示梯度的二阶矩；定义t表示时间步。自适应矩估计算法的优化流程可归纳如下：
[0100]
1)初始化相关参数。在0时刻，令α＝0.001，β1＝0.9，β2＝0.999，m＝0，n＝0。不断优
化θ，直到目标函数f(θ)满足求解要求。
[0101]
2)更新一阶矩和二阶矩。在任意时刻，只要目标函数f(θ)不满足求解要求，就会在下一时刻更新一阶矩和二阶矩，具体过程如下：
[0102][0103]
其中：g
t
是t时刻权值的梯度，是求梯度符号，θ
t
‑1是t
‑
1时刻的权值矩阵；
[0104]
m
t
＝β1·
m
t
‑1 (1
‑
β1)
·
g
t
[0105][0106]
上面两个式子分别对一阶矩和二阶矩进行更新。
[0107][0108][0109]
上面两个式子分别对一阶矩和二阶矩进行偏差校正。其中：和分别是校正后的一阶矩和二阶矩；
[0110]
3)更新网络参数。具体过程如下所示：
[0111][0112]
其中：θ
t
是t时刻更新后的权值矩阵，θ
t
‑1是t
‑
1时刻待更新的权值矩阵，同时为了避免分母为零，令参数ε＝10
‑8；
[0113]
若θ
t
满足求解要求，则停止优化并输出结果，否则跳回2)继续优化。
[0114]
(4)对mcc
‑
lstm神经网络训练所建立的模型进行性能评估
[0115]
mcc
‑
lstm网络模型经训练后对其进行性能评估，满足要求后才能使用。本发明采用的评估指标为均方根误差(rmse)与最大相关熵误差(ce)，计算公式如下：
[0116][0117][0118]
其中：为软测量模型预测值，y
i
为目标域测试集真实值，n
test
为测试集的样本数；
[0119]
将本实施例方法mcc
‑
lstm和mse
‑
lstm进行实验比较，用预测均方根误差(rmse)与最大相关熵误差(ce)作为评价标准，rmse其值越小越好，而ce值越大越好。其比较结果如表1所示，表中列出mcc
‑
lstm和mse
‑
lstm在测试集中的结果。从结果可知，本发明方法的mcc
‑
lstm模型比传统mse
‑
lstm模型的rmse更小，ce更大，mcc
‑
lstm模型的抗干扰能力更强，更加可靠。
[0120]
表1为本方法与传统mse
‑
lstm模型预测结果比较
[0121][0122][0123]
本发明方法提出的基于稳健长短期记忆网络的聚合反应过程质量预测方法，能够很好的抵抗数据噪声与离群点带来的影响，提高长短期记忆神经网络模型的可靠性。
[0124]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。