基于ODE和GRUD的急性病症发生几率的评估方法与流程

基于ode和grud的急性病症发生几率的评估方法
技术领域
1.本发明属于时序信号处理领域，涉及一种急性病症发生几率的评估方法，具体涉及一种基于ode和grud的急性病症发生几率的评估方法，可用于对存在缺失值和采样时间间隔不均匀的多临床指标时序数据的分析处理。


背景技术：

2.临床环境中，来自各个传感器的数据以及检查检验结果构成的时序数据对于患者的急性病症发生的几率的评估具有重要意义。目前，医护人员一般通过关注若干个重要的临床指标以及通过计算评分来对数据表示的状态进行评估，并判断是否出现某种急性病症。因为各类传感器和检查检验结果庞杂密集且具有一定的冗余性，很难从海量的数据中准确高效地分析出数据包含的状况以及出现各类急性病症的概率。此外，急性病症发生概率的判断需要相关从业人员的经验以及长时间的观察总结，这在一定程度上导致在判断是否出现某种异常状况具有一定的主观性。因此，需要一种客观准确的方法对海量且不均匀的医学时序数据进行分析处理，并估计发生急性病症的概率，从而提升估计的准确性。
3.近年来，深度学习在医学多临床指标时序数据处理领域表现良好。在自然语言处理、语音识别和天气预测到市场分析等任务中均有涉及。在这些任务中，被广泛应用的模型主要是循环神经网络(recurrent neural network,rnn)及其变种，如门控递归单元(gated recurrent units，gru)和长短时记忆网络(long short
‑
term memory，lstm)等。这些模型专注于处理序列数据，对于时序数据的分析十分有效。目前已经有研究将这些模型应用于存在缺失值和时间间隔不均匀的时序数据处理，并取得了较好的效果。
4.例如，che z等人2018年在scientific reports卷8发表的论文recurrent neural networks for multivariate time series with missing values中，公开了一种能够对缺失值进行处理进而对病症发生几率进行估计的方法，该方法以gru为基本模型，并考虑医学多临床指标时序数据中的缺失值问题，将模型的输入变量中加入各个特征的采样时间间隔并对其进行编码，从而能够处理不均匀采样或者存在缺失值的时序数据。又如，de brouwer e等人2019年在neurips会议发表的论文gru
‑
ode
‑
bayes:continuous modeling of sporadically
‑
observed time series中，公开了一种能够对多变量时序数据两次采样时间间隔进程处理进而进行时序数据预测的方法，该方法同样以gru为基本模型，考虑两次采样之间的时间间隔，计算gru每次处理一个时刻数据后隐藏态变量关于时间变量的常微分方程(ordinary differential equation,ode)的值，并以其与时间间隔的乘积，作为为gru隐藏态变量的更新量。
5.综上所述，现有技术中没有兼顾时序数据的临床指标缺失和采样的时间间隔不均匀两个特性，导致所提取的特征无法同时包含时序数据的临床指标缺失和时间间隔不均匀带来的影响，进而影响了评估的准确性。


技术实现要素：

6.本发明的目的在于针对上述现有技术的不足，提出一种基于ode和grud的急性病症发生几率的评估方法，用于解决现有技术中存在的因为没有同时考虑时序数据的临床指标缺失和采样的时间间隔不均匀导致的评估准确性较低的技术问题。
7.为实现上述目的，本发明所采用的技术方案包括如下步骤：
8.(1)获取多临床指标的时序数据集s、时间戳序列集t和急性病症标签集l：
9.(1a)采集n
s
个患者的17个临床指标，包括glucose、systolic blood pressure、glascow coma scale verbal response、temperature、weight、diastolic blood pressure、fraction inspired oxygen、glascow coma scale total、capillary refill rate、mean blood pressure、heart rate、oxygen saturation、ph、height、glascow coma scale eye opening、respiratory rate和glascow coma scale motor response，每个临床指标至少被采集一次，每个患者共采集不少于n
r
次，且每次采集的数据至少包括17个临床指标中的一个，即每次采集的数据中可能存在缺失的临床指标，并按照采集时间由前到后的顺序对每个患者采集的n
r
次临床指标进行排序，得到包括n
s
个患者的多临床指标的时序数据集同时按照每个患者每次采集临床指标由前到后的顺序记录采集的时间戳，得到时间戳序列集其中，n
s
≥3000，n
r
≥10，表示第n
s
个患者的多临床指标时序数据，表示对应的时间戳序列；
10.(1b)对每个患者的多临床指标时序数据对应的肾衰竭、心肌梗塞、肺衰竭、肺炎、呼吸衰竭、败血症和休克7种急性病症进行标注，得到急性病症标签集其中，表示与对应的急性病症标签集合其中，表示第l个急性病症标签，表示该急性病症发生，表示该急性病症未发生；
11.(2)获取信息衰减表征训练样本集d
train
、信息衰减表征验证集样本d
val
和信息衰减表征测试样本集d
test
：
12.(2a)对多临床指标的时序数据集s中所有多临床指标的时序数据的17个临床指标的最大值、最小值和平均值进行统计，得到临床指标最大值集合临床指标最小值集合和临床指标平均值集合并对s中的每个多临床指标时序数据中每次采集中的每个临床指标的值按照v
max
中对应于该临床指标的最大值、v
min
中对应于该临床指标的最小值和v
mean
中对应于该临床指标的平均值进行归一化，得到归一化后的时序数据集其中，表示与第n
s
个患者的多临床指标时序数据对应的归一化后的时序数据，和分别表示第n
c
个临床指标的最大值、最小值和平均值；
13.(2b)将归一化后时序数据集s1中每个归一化后的时序数据复制为和并将中每次采集的时序数据所缺失临床指标的位置填充0，同时将每次采集的时序数据中的临床指标的值修改为1，得到掩模序列集将中首次采集的各个
临床指标的值设置为1，第二的到第n
r
次每次采集的每一个临床指标的值填充为距离该临床指标上一次被采集的时间间隔，得到间隔序列集将中首次采集的所缺失临床指标的位置填充为该临床指标对应于v
mean
中的该临床指标平均值，第二的到第n
r
次每次采集的时序数据所缺失临床指标的位置填充该临床指标之前最近一次被采集的值，得到填充序列集其中和分别表示对应于的包括n
r
个掩模向量的掩模序列、包括n
r
个间隔向量的间隔序列和包括n
r
个填充向量的填充序列；
14.(2c)将对应的掩模序列间隔序列填充序列和时间戳序列组合成输入序列得到输入序列集并将d中半数以上的输入序列作为信息衰减表征训练样本集d
train
，将剩余的输入序列平分为信息衰减表征验证样本集d
val
和信息衰减表征测试样本集d
test
，其中表示对应的输入序列；
15.(3)构建基于ode和grud的门控递归单元网络k：
16.构建包括顺次连接的衰减门控递归单元网络grud、常微分模块ode和全连接层的门控递归单元网络k，其中grud包含顺次连接的并行排列的输入衰减处理全连接层和隐藏态衰减处理全连接层、并行排列的更新门计算单元和重置门计算单元，以及隐藏态计算单元，ode包含顺次连接的常微分方程计算模块和隐藏态更新模块；
17.(4)对基于ode和grud的门控递归单元网络k进行迭代训练：
18.(4a)初始化迭代次数为e，最大迭代次数为e，200≤e≤500，初始学习率为η＝0.0001，第e次迭代的学习率为η
e
，提升停滞次数为c，最优平均绝对误差为bce
best
，初始化k的所有偏置参数均数值为0，初始化第e次迭代grud的初始隐藏态为符合正态分布，并令e＝1，c＝0，bce
best
＝9223372036854775807，η
e
＝η；
19.(4b)将信息衰减表征训练样本集d
train
作为基于ode和grud的门控递归单元网络k的输入进行前向传播，实现步骤为：
20.(4b1)按照信息衰减表征训练样本包含的时间戳序列中时间戳由前到后的顺序选择第t个时间戳并以信息衰减表征训练样本中对应的掩模向量时间间隔向量填充向量和作为k中grud的输入，计算时间戳为t时衰减门控递归单元网络grud的中间隐藏态计算公式为：
[0021][0022][0023][0024][0025][0026]
[0027][0028][0029]
其中，和分别表示grud中输入衰减处理全连接层的权重参数和偏置参数，和分别表示grud中隐藏态衰减处理全连接层的权重参数和偏置参数，w
g
、u
g
和e
g
表示grud的重置门计算单元的权重参数，b
g
表示grud的重置门计算单元的偏置参数，w
z
、u
z
和e
z
表示grud的更新门计算单元的权重参数，b
z
表示grud的更新门计算单元的偏置参数，w
q
、u
q
和e
q
表示grud的隐藏态计算单元的权重参数，b
q
表示grud的隐藏态计算单元的偏置参数，σ(
·
)表示sigmoid函数，tanh(
·
)表示tanh函数，
⊙
表示元素乘；
[0030]
(4b2)常微分模块ode的常微分方程计算模块判断时间戳是否为中最后一个时间戳，若是，执行步骤(4b3)，否则，执行步骤(4b4)；
[0031]
(4b3)常微分模块ode的常微分方程计算模块计算中间隐藏态的梯度隐藏态更新模块通过对进行更新，得到信息衰减表征训练样本对应的grud的最后隐藏态h
last
，其中：
[0032][0033][0034]
其中，
△
t表示与之间的时间间隔，h
last
表示信息衰减表征训练样本对应的grud的最终隐藏态；
[0035]
(4b4)常微分模块ode的常微分方程计算模块计算中间隐藏态的梯度隐藏态更新模块通过对进行更新，并执行步骤(4b1)，其中：
[0036][0037][0038]
其中，当t＝1时
△
t＝1，表示时间戳为时grud的更新前隐藏态；
[0039]
(4c)将h
last
作为基于ode和grud的门控递归单元网络k的全连接层的输入进行编码，得到信息衰减表征训练样本对应的7种急性病症发生几率的评估结果
[0040]
(4d)采用平均二值交叉熵函数计算信息衰减表征训练样本集d
train
中所有信息衰减表征训练样本对应的7种急性病症发生几率的评估结果与其对应的急性病症标签的平均二值交熵值并以η
e
为学习率，采用自适应学习率优化算法adam，通过对基于ode和grud的门控递归单元网络k的所有权重参数w和所有偏置参数b进行更新，得到第e次迭代的基于ode和grud的门控递归单元网络k
e
；
[0041]
(4e)将验证集d
val
中所有信息衰减表征验证样本和grud的初始隐藏态作为k
e
的输入进行前向传播，以k
e
包含的grud计算grud的中间隐藏态以ode计算grud的中间
pressure、glascow coma scale verbal response、temperature、weight、diastolic blood pressure、fraction inspired oxygen、glascow coma scale total、capillary refill rate、mean blood pressure、heart rate、oxygen saturation、ph、height、glascow coma scale eye opening、respiratory rate和glascow coma scale motor response，每个临床指标至少被采集一次，每个患者共采集不少于n
r
次，且每次采集的数据至少包括17个临床指标中的一个，即每次采集的数据中可能存在缺失的临床指标，并按照采集时间由前到后的顺序对每个患者采集的n
r
次临床指标进行排序，得到包括n
s
个患者的多临床指标的时序数据集同时按照每个患者每次采集临床指标由前到后的顺序记录采集的时间戳，得到时间戳序列集本实施例中，n
s
＝41900，n
r
＝10，表示第n
s
个患者的多临床指标时序数据，表示对应的时间戳序列；
[0056]
步骤1b)对每个患者的多临床指标时序数据对应的肾衰竭、心肌梗塞、肺衰竭、肺炎、呼吸衰竭、败血症和休克7种急性病症进行标注，得到急性病症标签集其中，表示与对应的急性病症标签集合其中，表示第l个急性病症标签，因为在标注时已经确定患者是否发生某种病症，故表示该急性病症发生，即发生的几率为100％，表示该急性病症未发生，即发生的几率为0％；
[0057]
步骤2)获取信息衰减表征训练样本集d
train
、信息衰减表征验证集样本d
val
和信息衰减表征测试样本集d
test
：
[0058]
步骤2a)对多临床指标的时序数据集s中所有多临床指标的时序数据的17个临床指标的最大值、最小值和平均值进行统计，得到临床指标最大值集合临床指标最小值集合和临床指标平均值集合同时，考虑到各个临床指标量纲不一致的影响，对s中的每个多临床指标时序数据中每次采集中的每个临床指标的值按照v
max
中对应于该临床指标的最大值、v
min
中对应于该临床指标的最小值和v
mean
中对应于该临床指标的平均值进行归一化，得到归一化后的时序数据集化，得到归一化后的时序数据集表示与第n
s
个患者的多临床指标时序数据对应的归一化后的时序数据，对于中每个临床指标的执行归一化的方式为：
[0059][0060]
其中，和分别表示第n
c
个临床指标的最大值、最小值和平均值；
[0061]
步骤2b)将归一化后时序数据集s1中每个归一化后的时序数据复制为和并将中每次采集的时序数据所缺失临床指标的位置填充0，同时将每次采集的时序数据中的临床指标的值修改为1，得到掩模序列集将中首次采集的各个临床指标的值设置为1，第二的到第n
r
次每次采集的每一个临床指标的值填充为距离该
临床指标上一次被采集的时间间隔，得到间隔序列集将中首次采集的所缺失临床指标的位置填充为该临床指标对应于v
mean
中的该临床指标平均值，第二的到第n
r
次每次采集的时序数据所缺失临床指标的位置填充该临床指标之前最近一次被采集的值，得到填充序列集其中和分别表示对应于的包括n
r
个掩模向量的掩模序列、包括n
r
个间隔向量的间隔序列和包括n
r
个填充向量的填充序列；
[0062]
步骤2c)将对应的掩模序列间隔序列填充序列和时间戳序列组合成如图2所示的输入序列得到输入序列集并将d中半数以上的输入序列作为信息衰减表征训练样本集d
train
，将剩余的输入序列平分为信息衰减表征验证样本集d
val
和信息衰减表征测试样本集d
test
，其中表示对应的输入序列，本实施例中信息衰减表征训练样本集d
train
中信息衰减表征训练样本的数量为29250，信息衰减表征验证样本集d
val
中信息衰减表征验证样本的个数为6375，信息衰减表征测试样本集d
test
中信息衰减表征测试样本的个数为6275。
[0063]
参照图2，为使模型的输入序列中包含临床指标的缺失和时间间隔信息，对输入序列为掩模序列间隔序列填充序列和时间戳序列的拼接，作为网络的输入，其中掩模序列用于指示每次采集的每个临床指标是否缺失，若未缺失，则掩模序列中对应该位置的值为1，否则为0，间隔序列通过时间戳序列计算得到，用于体现每次采集每个临床指标的时效性，填充序列由多临床指标时序数据对每次采集缺失的指标按照该指标对应的之前最近一次采集的数据填充得到，从而使数据不存在缺失值，符合网络对于每次采集的临床指标的数量一致的要求，并且掩模序列间隔序列和填充序列均由对应与每个时间戳的向量组成，每个向量都对应17个临床指标，即输入序列能够按照时间戳切分为若干个输入向量，图2中标示了输入序列的第一个输入向量。
[0064]
步骤3)构建基于ode和grud的门控递归单元网络k：
[0065]
参照图3，构建包括顺次连接的衰减门控递归单元网络grud、常微分模块ode和全连接层的门控递归单元网络k，其中grud包含顺次连接的并行排列的输入衰减处理全连接层和隐藏态衰减处理全连接层、并行排列的更新门计算单元和重置门计算单元，以及隐藏态计算单元，ode包含顺次连接的常微分方程计算模块和隐藏态更新模块；
[0066]
如图3所示，基于ode和grud的门控递归单元网络中的衰减门控递归单元网络grud和常微分模块ode每次以一个时间戳对应的输入序列的向量作为输入，迭代完成整个序列所有的时间戳对应的输入序列后得到最终隐藏态作为全连接层的输入进行编码，得到基于整个输入序列的急性病症发生几率估计结果。
[0067]
步骤4)对基于ode和grud的门控递归单元网络k进行迭代训练：
[0068]
步骤4a)初始化迭代次数为e，最大迭代次数为e，e＝200，初始学习率为η＝0.0001，第e次迭代的学习率为η
e
，提升停滞次数为c，最优平均绝对误差为bce
best
，初始化k的所有偏置参数均数值为0，初始化第e次迭代grud的初始隐藏态为符合正态分布，并令e＝1，c＝0，bce
best
＝9223372036854775807，η
e
＝η；
[0069]
步骤4b)将信息衰减表征训练样本集d
train
作为基于ode和grud的门控递归单元网
络k的输入进行前向传播，实现步骤为：
[0070]
步骤4b1)如图3所示，按照信息衰减表征训练样本包含的时间戳序列中时间戳由前到后的顺序选择第t个时间戳并以信息衰减表征训练样本中对应的掩模向量时间间隔向量填充向量和作为k中grud的输入，计算时间戳为t时包含缺失信息的衰减门控递归单元网络grud的中间隐藏态图3中所示的整个grud的计算公式为：
[0071][0072][0073][0074][0075][0076][0077][0078][0079]
其中，和的计算过程分别图3中所示的输入衰减处理全连接层和隐藏态衰减处理全连接层完成，z
t
和q
t
的计算过程分别由图3中所示的更新门计算单元和重置门计算单元完成，的计算过程由图3中所示隐藏态计算单元完成，和分别表示grud中输入衰减处理全连接层的权重参数和偏置参数，和分别表示grud中隐藏态衰减处理全连接层的权重参数和偏置参数，w
g
、u
g
和f
g
表示grud的重置门计算单元的权重参数，b
g
表示grud的重置门计算单元的偏置参数，w
z
、u
z
和f
z
表示grud的更新门计算单元的权重参数，b
z
表示grud的更新门计算单元的偏置参数，w
q
、u
q
和f
q
表示grud的隐藏态计算单元的权重参数，b
q
表示grud的隐藏态计算单元的偏置参数，σ(
·
)表示sigmoid函数，tanh(
·
)表示tanh函数，
⊙
表示元素乘；
[0080]
步骤4b2)常微分模块ode的常微分方程计算模块判断时间戳是否为中最后一个时间戳，若是，执行步骤4b3)，否则，执行步骤4b4)；
[0081]
步骤4b3)常微分模块ode的常微分方程计算模块计算包含了该时间戳对应的输入向量更丰富特征的中间隐藏态的梯度隐藏态更新模块通过对进行更新，得到信息衰减表征训练样本对应的grud的最后隐藏态h
last
，结束图3中所示的迭代结构，其中：
[0082][0083]
[0084]
其中，
△
t表示与之间的时间间隔，h
last
表示信息衰减表征训练样本对应的grud的最终隐藏态；
[0085]
步骤4b4)常微分模块ode的常微分方程计算模块计算包含了该时间戳对应的输入向量更丰富特征的中间隐藏态的梯度隐藏态更新模块通过对进行更新得到下一时刻grud模块的更新隐藏态，并执行步骤4b1)构成如图3所示的迭代结构，其中：
[0086][0087][0088]
其中，当t＝1时
△
t＝1，表示时间戳为时grud的更新前隐藏态；
[0089]
步骤4c)如图3所示，将h
last
作为基于ode和grud的门控递归单元网络k的全连接层的输入进行编码，得到信息衰减表征训练样本对应的7种急性病症发生几率的评估结果
[0090]
步骤4d)由于急性病症发生几率的评估结果和对应的标签均为概率值，故本实施例采用平均二值交叉熵函数计算信息衰减表征训练样本集d
train
中所有信息衰减表征训练样本对应的7种急性病症发生几率的评估结果与其对应的急性病症标签的平均二值交熵值并以η
e
为学习率，采用自适应学习率优化算法adam，通过对基于ode和grud的门控递归单元网络k的所有权重参数w和所有偏置参数b进行更新，得到第e次迭代的基于ode和grud的门控递归单元网络k
e
，计算和更新公式为：
[0091][0092][0093][0094]
其中，表示与对应的第n
l
个病症的标签值，表示第n
l
个病症发生几率的评估结果值，η
e
表示第e次迭代的学习率，w
′
和b
′
分别表示所有权重参数w和所有偏置参数b的更新结果，表示关于w的梯度，表示关于b的梯度，
·
表示点乘；
[0095]
步骤4e)为验证当前迭代后的基于ode和grud的门控递归单元网络k
e
的性能，将验证集d
val
中所有信息衰减表征验证样本和grud的初始隐藏态作为k
e
的输入进行前向传播，以k
e
包含的grud计算grud的中间隐藏态以ode计算grud的中间隐藏态的梯度并对grud的初始隐藏态进行更新得到grud的最终隐藏态，并将grud的最终隐藏态作为k
e
中全连接层的输入进行编码，得到d
val
中所有信息衰减表征验证样本对应的7种急性病症发生几率的评估结果并计算中每个信息衰减表征验证样本对应的7种急性病症发生几率的评估结果与其对应的7种急性病症发生几率的标签的平均二值交叉熵值的平均值bce
val
，计算公式为：
[0096][0097]
其中表示验证集d
val
中第n
val
个信息衰减表征验证样本对应的第n
l
个病症的标签，本实施例中全连接层采用的激活函数为sigmoid函数，故所得到的每个急性病症发生几率的估计结果的值域为(0,1)，表示验证集d
val
中第n
val
个信息衰减表征样本对应的第n
l
个病症发生几率的评估结果值，n
val
表示验证信息衰减表征样本集d
val
的信息衰减表征验证样本的数量；
[0098]
步骤4f)判断bce
val
<bce
best
是否成立，若是，令bce
best
＝bce
m
，c＝0，并执行步骤4g)，否则令c＝c 1，并执行步骤4g)；
[0099]
步骤4g)判断e＝e或者c＝3是否成立，若是，表示对网络训练迭代次数达到最大迭代次数或者网络的性能连续3次性能未提升，达到训练停止条件，得到训练好的基于ode和grud的门控递归单元网络k
best
，否则令e＝e 1，并执行步骤4b)；
[0100]
步骤5)获取急性病症发生几率的评估结果：
[0101]
将信息衰减表征测试样本集d
test
中每个信息衰减表征测试样本和grud的初始隐藏态作为作为训练好的基于ode和grud的门控递归单元网络k
best
的输入进行前向传播，以k
best
包含的grud计算grud的中间隐藏态以ode计算中间隐藏态的梯度并对初始隐藏态进行更新得到最终隐藏态h
last
，并将h
last
作为k
best
中全连接层的输入进行编码得到d
test
中所有输入序列对应的7种急性病症发生几率的评估结果为。
[0102]
本实施例所得到的信息衰减表征测试样本集中所有信息衰减表征测试样本的7种急性病症发生几率预期与对应的7种急性病症标签的平均二至交叉熵值的平均值为0.33。
[0103]
以上描述仅是本发明的一个具体实例，不构成对本发明的任何限制，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

技术特征：
1.一种基于ode和grud的急性病症发生几率的评估方法，其特征在于，包括如下步骤：(1)获取多临床指标的时序数据集s、时间戳序列集t和急性病症标签集l：(1a)采集n
s
个患者的17个临床指标，包括glucose、systolic blood pressure、glascow coma scale verbal response、temperature、weight、diastolic blood pressure、fraction inspired oxygen、glascow coma scale total、capillary refill rate、mean blood pressure、heart rate、oxygen saturation、ph、height、glascow coma scale eye opening、respiratory rate和glascow coma scale motor response，每个临床指标至少被采集一次，每个患者共采集不少于n
r
次，且每次采集的数据至少包括17个临床指标中的一个，即每次采集的数据中可能存在缺失的临床指标，并按照采集时间由前到后的顺序对每个患者采集的n
r
次临床指标进行排序，得到包括n
s
个患者的多临床指标的时序数据集同时按照每个患者每次采集临床指标由前到后的顺序记录采集的时间戳，得到时间戳序列集其中，n
s
≥3000，n
r
≥10，表示第n
s
个患者的多临床指标时序数据，表示对应的时间戳序列；(1b)对每个患者的多临床指标时序数据对应的肾衰竭、心肌梗塞、肺衰竭、肺炎、呼吸衰竭、败血症和休克7种急性病症进行标注，得到急性病症标签集其中，表示与对应的急性病症标签集合其中，表示第l个急性病症标签，症标签，表示该急性病症发生，表示该急性病症未发生；(2)获取信息衰减表征训练样本集d
train
、信息衰减表征验证集样本d
val
和信息衰减表征测试样本集d
test
：(2a)对多临床指标的时序数据集s中所有多临床指标的时序数据的17个临床指标的最大值、最小值和平均值进行统计，得到临床指标最大值集合临床指标最小值集合和临床指标平均值集合并对s中的每个多临床指标时序数据中每次采集中的每个临床指标的值按照v
max
中对应于该临床指标的最大值、v
min
中对应于该临床指标的最小值和v
mean
中对应于该临床指标的平均值进行归一化，得到归一化后的时序数据集其中，表示与第n
s
个患者的多临床指标时序数据对应的归一化后的时序数据，和分别表示第n
c
个临床指标的最大值、最小值和平均值；(2b)将归一化后时序数据集s1中每个归一化后的时序数据复制为和并将中每次采集的时序数据所缺失临床指标的位置填充0，同时将每次采集的时序数据中的临床指标的值修改为1，得到掩模序列集将中首次采集的各个临床指标的值设置为1，第二的到第n
r
次每次采集的每一个临床指标的值填充为距离该临床指标上一次被采集的时间间隔，得到间隔序列集将中首次采集的所缺失临床指标的位置填充为该临床指标对应于v
mean
中的该临床指标平均值，第二的到第n
r
次每
次采集的时序数据所缺失临床指标的位置填充该临床指标之前最近一次被采集的值，得到填充序列集其中和分别表示对应于的包括n
r
个掩模向量的掩模序列、包括n
r
个间隔向量的间隔序列和包括n
r
个填充向量的填充序列；(2c)将对应的掩模序列间隔序列填充序列和时间戳序列组合成输入序列得到输入序列集并将d中半数以上的输入序列作为信息衰减表征训练样本集d
train
，将剩余的输入序列平分为信息衰减表征验证样本集d
val
和信息衰减表征测试样本集d
test
，其中表示对应的输入序列；(3)构建基于ode和grud的门控递归单元网络k：构建包括顺次连接的衰减门控递归单元网络grud、常微分模块ode和全连接层的门控递归单元网络k，其中grud包含顺次连接的并行排列的隐藏态衰减处理全连接层和输入衰减处理全连接层、并行排列的更新门计算单元和重置门计算单元，以及隐藏态计算单元，ode包含顺次连接的常微分方程计算模块和隐藏态更新模块；(4)对基于ode和grud的门控递归单元网络k进行迭代训练：(4a)初始化迭代次数为e，最大迭代次数为e，200≤e≤500，初始学习率为η＝0.0001，第e次迭代的学习率为η
e
，提升停滞次数为c，最优平均绝对误差为bce
best
，初始化k的所有偏置参数均数值为0，初始化第e次迭代grud的初始隐藏态为符合正态分布，并令e＝1，c＝0，bce
best
＝9223372036854775807，η
e
＝η；(4b)将信息衰减表征训练样本集d
train
作为基于ode和grud的门控递归单元网络k的输入进行前向传播，实现步骤为：(4b1)按照信息衰减表征训练样本包含的时间戳序列中时间戳由前到后的顺序选择第t个时间戳并以信息衰减表征训练样本中对应的掩模向量时间间隔向量填充向量和作为k中grud的输入，计算时间戳为t时衰减门控递归单元网络grud的中间隐藏态计算公式为：计算公式为：计算公式为：计算公式为：计算公式为：计算公式为：计算公式为：计算公式为：其中，和分别表示grud中输入衰减处理全连接层的权重参数和偏置参数，和
分别表示grud中隐藏态衰减处理全连接层的权重参数和偏置参数，w
g
、u
g
和f
g
表示grud的重置门计算单元的权重参数，b
g
表示grud的重置门计算单元的偏置参数，w
z
、u
z
和f
z
表示grud的更新门计算单元的权重参数，b
z
表示grud的更新门计算单元的偏置参数，w
q
、u
q
和f
q
表示grud的隐藏态计算单元的权重参数，b
q
表示grud的隐藏态计算单元的偏置参数，σ(
·
)表示sigmoid函数，tanh(
·
)表示tanh函数，
⊙
表示元素乘；(4b2)常微分模块ode的常微分方程计算模块判断时间戳是否为中最后一个时间戳，若是，执行步骤(4b3)，否则，执行步骤(4b4)；(4b3)常微分模块ode的常微分方程计算模块计算中间隐藏态的梯度隐藏态更新模块通过对进行更新，得到信息衰减表征训练样本对应的grud的最后隐藏态h
last
，其中：，其中：其中，
△
t表示与之间的时间间隔，h
last
表示信息衰减表征训练样本对应的grud的最终隐藏态；(4b4)常微分模块ode的常微分方程计算模块计算中间隐藏态的梯度隐藏态更新模块通过对进行更新，并执行步骤(4b1)，其中：进行更新，并执行步骤(4b1)，其中：其中，当t＝1时
△
t＝1，表示时间戳为时grud的更新前隐藏态；(4c)将h
last
作为基于ode和grud的门控递归单元网络k的全连接层的输入进行编码，得到信息衰减表征训练样本对应的7种急性病症发生几率的评估结果(4d)采用平均二值交叉熵函数计算信息衰减表征训练样本集d
train
中所有信息衰减表征训练样本对应的7种急性病症发生几率的评估结果与其对应的急性病症标签的平均二值交熵值并以η
e
为学习率，采用自适应学习率优化算法adam，通过对基于ode和grud的门控递归单元网络k的所有权重参数w和所有偏置参数b进行更新，得到第e次迭代的基于ode和grud的门控递归单元网络k
e
；(4e)将验证集d
val
中所有信息衰减表征验证样本和grud的初始隐藏态作为k
e
的输入进行前向传播，以k
e
包含的grud计算grud的中间隐藏态以ode计算grud的中间隐藏态的梯度并对grud的初始隐藏态进行更新得到grud的最终隐藏态，并将grud的最终隐藏态作为k
e
中全连接层的输入进行编码，得到d
val
中所有信息衰减表征验证样本对应的7种急性病症发生几率的评估结果并计算中每个信息衰减表征验证样本对应的7种急性病症发生几率的评估结果与其对应的7种急性病症发生几率的标签的平均二值交叉熵值的平均值bce
val
；
(4f)判断bce
val
<bce
best
是否成立，若是，令bce
best
＝bce
m
，c＝0，并执行步骤(4g)，否则令c＝c 1，并执行步骤(4g)；(4g)判断e＝e或者c＝3是否成立，若是，得到训练好的基于ode和grud的门控递归单元网络k
best
，否则令e＝e 1，并执行步骤(4b)；(5)获取急性病症发生几率的评估结果：将信息衰减表征测试样本集d
test
中每个信息衰减表征测试样本和grud的初始隐藏态作为作为训练好的基于ode和grud的门控递归单元网络k
best
的输入进行前向传播，以k
best
包含的grud计算grud的中间隐藏态以ode计算中间隐藏态的梯度并对初始隐藏态进行更新得到最终隐藏态h
last
，并将h
last
作为k
best
中全连接层的输入进行编码得到d
test
中所有输入序列对应的7种急性病症发生几率的评估结果2.根据权利要求所述的基于ode和grud的急性病症发生几率的评估方法，其特征在于，步骤(4d)中所述的采用平均二值交叉熵函数计算信息衰减表征训练样本集d
train
中所有信息衰减表征训练样本对应的7种急性病症发生几率的评估结果与其对应的急性病症标签的平均二值交熵值以及采用自适应学习率优化算法adam，通过对基于ode和grud的门控递归单元网络k的所有权重参数w和所有偏置参数b进行更新，其计算公式和更新公式分别为：和更新公式分别为：和更新公式分别为：其中，表示与对应的第n
l
个病症的标签值，表示第n
l
个病症发生几率的评估结果值，η
e
表示第e次迭代的学习率，w
′
和b
′
分别表示所有权重参数w和所有偏置参数b的更新结果，表示关于w的梯度，表示关于b的梯度，
·
表示点乘。3.根据权利要求所述的基于ode和grud的急性病症发生几率的评估方法，其特征在于，步骤(4e)中所述的计算中每个输入序列对应的7种急性病症发生几率的评估结果与其对应的7种急性病症发生几率的标签l的平均二至交叉熵值的平均值bce
val
，计算公式为：其中表示验证集d
val
中第n
val
个信息衰减表征验证样本对应的第n
l
个病症的标签，表示验证集d
val
中第n
val
个信息衰减表征验证样本对应的第n
l
个病症发生几率的评估结果值，n
val
表示信息衰减表征验证样本集d
val
的信息衰减表征验证样本的数量。
技术总结
本发明提出了一种基于ODE和GRUD的急性病症发生几率的评估方法，用于解决现有技术中存在的没有同时考虑时序数据的临床指标缺失和采样的时间间隔不均匀导致的评估准确性较低的技术问题。实现步骤为：获取多临床指标的时序数据集、时间戳序列集和急性病症标签集；获取信息衰减表征训练样本集、信息衰减表征验证集样本和信息衰减表征测试样本集；构建基于ODE和GRUD的门控递归单元网络；对基于ODE和GRUD的门控递归单元网络进行迭代训练；获取急性病症发生几率的评估结果。本方法能够兼顾时序数据的临床指标缺失和采样时间间隔不均匀的问题，将临床指标缺失的影响纳入隐藏态更新的过程，提升急性病症发生概率估计的准确性。提升急性病症发生概率估计的准确性。提升急性病症发生概率估计的准确性。


技术研发人员：缑水平 刘宁涛 苏斌虓 毛莎莎 高若曦 贺晨 蒋昆 黄陆光 刘仁怀
受保护的技术使用者：中国人民解放军空军军医大学
技术研发日：2021.04.21
技术公布日：2021/7/8