一种多气象站点缺失温度数据填充方法、系统及存储介质

专利2026-06-10  12


本发明主要涉及温度数据填充,具体涉及一种多气象站点缺失温度数据填充方法、系统及存储介质。


背景技术:

1、在气象领域,温度数据大多来自相应的气象站。完整的温度数据是气象学家进行相关天气预报和气候分析的重要基础,同时在农业和生态研究中发挥着重要作用,也是相关科研的重要数据来源。但由于电磁干扰、设备故障、恶劣的环境条件、人工操作错误等各种问题,气象站点获得的数据并不总是完整的。因此,重建缺失的温度数据是以往进行相关科学研究时必不可少的工作,也是一个棘手而迫切需要解决的问题。

2、为了填充缺失的气象站点温度数据,相关研究人员进行了大量的工作,并提出了各种方法。例如,研究人员已经利用基于逆距离加权idw、薄板样条和多重回归等插值方法,重建了缺失的气象站温度数据。然而,这些方法不可避免地会受到空间距离和气象站数量的影响。此外,它们也很少考虑站点位置的具体地理位置,容易导致这些方法所使用的理论模型可能与实际数据的复杂性不匹配。这些制约因素限制了基于插值的方法的性能。除此以外,人们也开始利用机器学习去挖掘出数据可能存在的复杂关系或潜在分布,从而重建缺失的气象站温度数据。虽然这些方法在缺失率较低的数据集中具有较强的填充能力,但由于机器学习对输入数据比较敏感,在高缺失率相对较高的数据集上表现出较差的性能。当前深度学习模型已经被应用在图像和自然语言处理等许多领域。由于基于深度学习的模型在训练期间学习自己的特征参数,因此使得最终的网络模型在输入和输出之间能达到较高契合程度。基于长短期记忆网络lstm的深度学习模型也成功应用于气象站点的缺失值修复任务中,然而,基于长短期记忆网络lstm的模型往往只考虑了单个站点采集的长期时间序列数据中存在缺失值的问题,而忽略了多个局部站点之间的空间相关性。


技术实现思路

1、本发明所要解决的技术问题是针对现有技术的不足,提供一种多气象站点缺失温度数据填充方法、系统及存储介质。

2、本发明解决上述技术问题的技术方案如下:

3、一种多气象站点缺失温度数据填充方法,包括如下步骤:

4、按照接收时间顺序对多个气象站点的气象数据进行整合,得到初始二维数值矩阵集;

5、对所述初始二维数值矩阵集进行随机掩码,生成与所述初始二维数值矩阵集同维度的初始掩码矩阵,并对所述初始二维数值矩阵集和所述初始掩码矩阵进行归一化处理,得到二维数值矩阵集x和掩码矩阵m;

6、通过特征表达模型对所述二维数值矩阵集x和所述掩码矩阵m进行特征提取,得到特征表达向量;

7、通过全局时序自注意机制从所述特征表达向量中提取出时序信息,得到时序信息特征表达向量;通过全局空间自注意机制从所述特征表达向量中提取出空间信息,得到空间信息特征表达向量;

8、将所述时序信息特征表达向量输入时序线性神经网络lt,得到全局时序信息特征表达向量;将所述空间信息特征表达向量输入空间线性神经网络ls,得到含有全局空间信息特征表达向量;

9、通过融合处理将所述全局时序信息特征表达向量和所述全局空间信息特征表达向量进行融合,得到全局时空信息特征表达向量;

10、通过预设评价指标对所述全局时空信息特征表达向量进行准确度评价,并通过可视化将评价结果进行展示。

11、矩阵的维度为其行向量(或列向量)生成的向量空间的维数;也就是其的行数与列数。

12、本发明的有益效果是:将不规则的站点分布构建为规则的数值矩阵结构,解决了一般长短期记忆网络无法捕获气象站之间的空间关系的问题,同时,将数值矩阵进行随机掩码,模拟温度数据缺失的不确定性,对制作的二维数值矩阵集和掩码矩阵进行数据处理,得到具有时间和空间信息的数据矩阵,通过部分卷积网络、长短期记忆网络和全局时空注意力机制实现高精度的缺失温度数据修复。

13、进一步地,特征表达模型包括编解码器ped和多维时间自注意机制mtsam;所述通过特征表达模型对所述二维数值矩阵集x和所述掩码矩阵m进行特征提取,得到特征表达向量,具体为:

14、通过所述编解码器ped对所述二维数值矩阵集x和所述掩码矩阵m进行卷积处理,得到初始特征表达向量;通过所述多维时间自注意机制mtsam对所述初始特征向量进行特征提取,得到特征表达向量。

15、采用上述进一步方案的有益效果是:通过特征表达模型对缺失数据进行一定程度分析并获取其任一站点在不同时刻的特征表达,可以获得掩码后的气象数据的特征表达向量,该特征表达向量含有一定时空信息,同时也包含了影响温度的因子。

16、进一步地,所述编解码器ped包括部分卷积神经网络pconv、批正则化batchnormal和激活函数activation function;所述通过所述部分卷积块构成的编解码器ped对所述二维数值矩阵集x和所述掩码矩阵m进行卷积处理,得到初始特征表达向量,具体为:

17、通过所述部分卷积神经网络pconv对所述二维数值矩阵集x和所述掩码矩阵m进行部分卷积运算,得到多个位置的部分卷积,部分卷积运算的表达式为:

18、

19、其中,x′为多个位置的部分卷积,w为部分卷积的卷积核,b为卷积核对应的偏置,xw为当前卷积窗口的特征向量,⊙表示单元乘法,mw为当前卷积窗口的二进制掩码矩阵,1表示与当前卷积窗口的二进制掩码矩阵的维度相同的矩阵,该矩阵所有元素都为1;若进行部分卷积运算时,卷积核对应的掩码区域中的元素至少有一个值为1,则相应的卷积结果标记为有效值,并更新掩码矩阵,得到新掩码矩阵,掩码更新函数的表达式为:

20、

21、其中,m′作为下一层部分卷积运算的输入,为新掩码矩阵;

22、通过所述批正则化batch normal对所述多个位置的部分卷积进行归一化处理,得到归一化向量;再通过所述激活函数activation function对所述归一化向量进行激活,得到初始特征表达向量。

23、采用上述进一步方案的有益效果是:通过部分卷积块对缺失数据进行初步特征表达向量计算,得到缺失温度数据接近的范围值,以便后续精确计算。

24、进一步地,所述通过所述多维时间自注意机制mtsam对所述初始特征向量进行特征提取,得到特征表达向量,具体为:

25、将所述初始特征表达向量输入双向长短期记忆网络lstm,得到双向特征表达向量s;对所述双向特征表达向量s进行转置,得到双向特征表达转置向量t(s),并将所述双向特征表达转置向量t(s)输入到线性神经网络fl中,得到不同子元素对子向量的影响分数scorew,所述影响分数的表达式为:

26、scorew=fl(t(s);θ1),

27、其中,t为转置函数,θ1为线性神经网络fl的可学习参数;

28、通过归一化指数函数softmax对所述影响分数scorew进行归一化处理,得到注意力分数scorea,所述注意力分数scorea的表达式为:

29、scorea=softmax(scorew),

30、再计算所述注意力分数scorea与所述双向特征表达转置向量t(s)的加权和,得到特征表达向量,所述特征表达向量的表达式为:

31、y=sum(scorea⊙t(s)),

32、其中,y为特征表达向量。

33、采用上述进一步方案的有益效果是:通过双向长短期记忆网络lstm获得了气象站点的前向和后向两个方向不同时刻的双向特征表达向量,再通过计算注意力分数获得掩码的特征表达。

34、进一步地,全局时序自注意机制包括键向量线性神经网络和查询向量线性神经网络,所述通过全局时序自注意机制从所述特征表达向量中提取出时序信息,得到时序信息特征表达向量,具体为:

35、将所述特征表达向量视为键向量kt、查询向量qt和值向量vt;从键向量kt中选取某一时刻ti的特征表达向量ki,将特征表达向量ki与查询向量qt进行相似性匹配,得到相似性分数e,所述相似性分数表达式为:

36、e=vt(lk(ki;θk)+lq(qt;θq)),

37、其中,v为可学习特征向量,lk为键向量线性神经网络,θk为键向量线性神经网络的可学习参数,lq为查询向量线性神经网络,θq为查询向量线性神经网络的可学习参数;

38、通过归一化指数函数softmax对所述相似性分数e进行归一化处理,得到注意力分数a1,所述注意力分数a1的表达式为:

39、a1=softmax(e),

40、再计算所述注意力分数a1与所述值向量vt的加权和,得到时序信息特征表达向量,所述时序信息特征表达向量的计算表达式为:

41、vi,g=sum(a1vt),

42、其中,vi,g为时序信息特征表达向量。

43、采用上述进一步方案的有益效果是:使得获取更加全面的时序信息从而提升填充结果的准确性。

44、进一步地,全局空间自注意机制包括卷积神经网络cnn,所述通过全局空间自注意机制从所述特征表达向量中提取出空间信息,得到空间信息特征表达向量,具体为:

45、通过卷积神经网络cnn对所述特征表达向量进行卷积操作,得到新特征表达向量;将所述新特征表达向量视为键向量ks、查询向量qs和值向量vs,通过归一化指数函数softmax对所述键向量ks和实施查询向量qs进行计算,得到注意力分数a2,所述注意力分数a2的表达式为:

46、

47、其中,qsd为查询向量qs在某一特征维度的距离矩阵,ksd为键向量ks在某一特征维度的距离矩阵;

48、再计算所述注意力分数a2与所述值向量vs的加权和,得到全局空间信息特征表达向量;将所述全局空间信息特征表达向量进行转置,再进行重塑,输入到卷积神经网络cnn中进行卷积操作,得到全局空间向量,对所述全局空间向量与所述特征表达向量进行求和,得到空间信息特征表达向量,所述空间信息特征表达向量的计算表达式为:

49、y=y+conv(r(t(a2vs));θ2),

50、其中,y为空间信息特征表达向量,y为特征表达向量,conv为卷积函数,r为重塑函数,t为转置函数,θ2为conv的可学习参数。

51、采用上述进一步方案的有益效果是:使得获取更加全面的空间信息从而提升填充结果的准确性。

52、本发明解决上述技术问题的另一技术方案如下:

53、一种多气象站点缺失温度数据填充系统,包括:数据整理模块、数据处理模块、特征提取模块、线性处理模块、信息融合模块和结果评价模块;

54、所述数据整理模块,用于按照接收时间顺序对多个气象站点的气象数据进行整合,得到初始二维数值矩阵集;

55、所述数据处理模块,用于对所述初始二维数值矩阵集进行随机掩码,生成与所述初始二维数值矩阵集同维度的初始掩码矩阵,并对所述初始二维数值矩阵集和所述初始掩码矩阵进行归一化处理,得到二维数值矩阵集x和掩码矩阵m;

56、所述特征提取模块,用于通过特征表达模型对所述二维数值矩阵集x和所述掩码矩阵m进行特征提取,得到特征表达向量;通过全局时序自注意机制从所述特征表达向量中提取出时序信息,得到时序信息特征表达向量;通过全局空间自注意机制从所述特征表达向量中提取出空间信息,得到空间信息特征表达向量;

57、所述线性处理模块,用于将所述时序信息特征表达向量输入时序线性神经网络lt,得到全局时序信息特征表达向量;将所述空间信息特征表达向量输入空间线性神经网络ls,得到含有全局空间信息特征表达向量;

58、所述信息融合模块,用于通过融合处理将所述全局时序信息特征表达向量和所述全局空间信息特征表达向量进行融合,得到全局时空信息特征表达向量;

59、所述结果评价模块,用于通过预设评价指标对所述全局时空信息特征表达向量进行准确度评价,并通过可视化将评价结果进行展示。

60、本发明解决上述技术问题的另一技术方案如下:

61、一种多气象站点缺失温度数据填充系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如所述的一种多气象站点缺失温度数据填充方法。

62、本发明解决上述技术问题的另一技术方案如下:

63、一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被处理器执行时,实现如所述的一种多气象站点缺失温度数据填充方法。


技术特征:

1.一种多气象站点缺失温度数据填充方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种多气象站点缺失温度数据填充方法,其特征在于,特征表达模型包括编解码器ped和多维时间自注意机制mtsam;所述通过特征表达模型对所述二维数值矩阵集x和所述掩码矩阵m进行特征提取,得到特征表达向量,具体为:

3.根据权利要求2所述的一种多气象站点缺失温度数据填充方法,其特征在于,所述编解码器ped包括部分卷积神经网络pconv、批正则化batch normal和激活函数activationfunction;所述通过所述部分卷积块构成的编解码器ped对所述二维数值矩阵集x和所述掩码矩阵m进行卷积处理,得到初始特征表达向量,具体为:

4.根据权利要求2所述的一种多气象站点缺失温度数据填充方法,其特征在于,所述多维时间自注意机制mtsam包括双向长短期记忆网络lstm和线性神经网络f1,所述通过所述多维时间自注意机制mtsam对所述初始特征向量进行特征提取,得到特征表达向量,具体为:

5.根据权利要求1所述的一种多气象站点缺失温度数据填充方法,其特征在于,所述全局时序自注意机制包括键向量线性神经网络和查询向量线性神经网络,所述通过全局时序自注意机制从所述特征表达向量中提取出时序信息,得到时序信息特征表达向量,具体为:

6.根据权利要求1所述的一种多气象站点缺失温度数据填充方法,其特征在于,所述全局空间自注意机制包括卷积神经网络cnn,所述通过全局空间自注意机制从所述特征表达向量中提取出空间信息,得到空间信息特征表达向量,具体为:

7.一种多气象站点缺失温度数据填充系统,其特征在于,包括:数据整理模块、数据处理模块、特征提取模块、线性处理模块、信息融合模块和结果评价模块;

8.根据权利要求6所述的一种多气象站点缺失温度数据填充系统,其特征在于,所述特征提取模块中特征表达模型包括编解码器ped和多维时间自注意机制mtsam,具体用于所述通过特征表达模型对所述二维数值矩阵集x和所述掩码矩阵m进行特征提取,得到特征表达向量,具体为:

9.一种多气象站点缺失温度数据填充系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时,实现如权利要求1至6任一项所述的一种多气象站点缺失温度数据填充方法。

10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,当所述计算机程序被处理器执行时,实现如权利要求1至6任一项所述的一种多气象站点缺失温度数据填充方法。


技术总结
本发明提供一种多气象站点缺失温度数据填充方法、系统及存储介质,涉及温度数据填充技术领域;方法包括:对多气象站点的气象数据进行整合,生成时空二维数值矩阵集和掩码矩阵;通过特征表达模型对二维数值矩阵集和掩码矩阵进行数据处理,获得掩码后包含一定时空信息的气象数据的特征表达向量;再分别通过全局时序自注意机制和全局空间自注意机制对特征表达向量进行特征处理,得到时序信息特征表达向量和空间信息特征表达向量后进行融合处理,将得到全局时空信息特征表达向量进行指标评价与结果展示。通过部分卷积网络,长短期记忆网络和全局时空注意力机制对气象站点在时间与空间上的数据进行分析处理,实现高精度的缺失温度数据修复任务。

技术研发人员:侯天瑞,吴利,王晓英
受保护的技术使用者:青海大学
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1829995.html

最新回复(0)