本发明涉及一种面向频谱预测的概念漂移检测与自学习方法、装置、存储介质和计算机程序产品,属于频谱预测。
背景技术:
1、随着无线通信的飞速发展,越来越多的设备被接入到无线网络,无线频谱正在成为一种重要的稀缺资源,于是认知无线电被提出,用于缓解目前频谱资源紧张的问题。认知无线电的发展使得电磁环境演进预测特别是其中的电磁频谱预测受到了越来越多的关注。频谱预测技术是指通过对历史频谱信息进行学习对未来的频谱状态信息进行预测的技术,它是解决认知无线电网络中处理等待时间、频谱访问冲突和能耗等问题的有效途径。
2、随着深度学习在语音识别、图像分类、自然语言处理等领域取得出色表现,深度学习的方法也被尝试应用于电磁环境预测特别是频谱预测等领域。虽然在特定的预测任务中取得了较好的效果,但仍存在部分问题。
3、传统频谱预测的概念漂移检测方法中,因为算法的设计的局限导致灵敏度过于极端,尽管高灵敏度能够捕捉到频谱的微妙变化,确保系统即时响应变化,然而高灵敏度会导致系统会对无关变化过度反应,使得模型进行无意义的大量重复训练,这不仅会浪费大量资源,而且还有可能使得模型过度训练,损害模型的识别性能,降低其长期稳定性合可靠性。
4、部分基于深度学习技术的频谱预测模型自学习方法不断地从新数据中学习来适应环境变化,但它们通常难以应对快速或剧烈的环境变化。这是因为自学习方法在根本上依赖于历史数据进行调整,不但需要消耗大量资源,而且在面对显著不同的数据分布时,可能难以保持性能。此外,这种方法还可能面临过度拟合最近数据的风险,特别是在数据量有限或极其多变的情况下。因此,传统自学习方法在动态环境下仍有明显局限。
技术实现思路
1、本发明的目的是提供一种面向频谱预测的概念漂移检测与自学习方法、装置、存储介质和计算机程序产品,通过基于hoeffding的概念漂移检测方法和基于增量学习的频谱预测模型自更新策略,解决传统频谱预测概念漂移检测方法灵敏度过于极端的问题,实现模型自学习,提高模型的可靠性。
2、为达到上述目的/为解决上述技术问题,本发明是采用下述技术方案实现的。
3、第一方面,本发明提供一种面向频谱预测的概念漂移检测与自学习方法,包括如下步骤:
4、对动态频谱数据流中的频谱数据进行归一化和切分处理,得到多个频谱数据段;
5、利用预先构建的基于随机化方法的频谱预测模型对当前频谱数据段进行特征提取,得到当前频谱数据段的分布特征,并计算当前频谱数据段的统计信息;
6、根据当前频谱数据段和上一个频谱数据段的统计信息,计算调整检测阈值;
7、根据当前频谱数据段的统计信息、上一个频谱数据段的统计信息和调整检测阈值,判断当前时间段是否发生概念漂移;
8、当发生概念漂移,根据当前频谱数据段对基于随机化方法的频谱预测模型进行自适应频谱预测训练。
9、结合第一方面,进一步的,所述基于随机化方法的频谱预测模型包括用于特征提取的3个子网络和1个用于融合特征的激活层,其中,3个子网络分别为mlp网络、convgru网络和convlstm网络。
10、结合第一方面,进一步的,当频谱数据x输入基于随机化方法的频谱预测模型后,通过mlp网络、convgru网络和convlstm网络分别提取频谱数据x的子特征;
11、通过融合3个子特征得到频谱数据x的映射z(x);
12、根据频谱数据x和映射z(x)对频谱数据所属的类别进行随机化,得到频谱数据x的随机平滑映射,表达式如下:
13、g(x)=argmaxy∈ypr∈[z(x+∈)=y]
14、其中,g(x)为频谱数据x的随机平滑映射,y为频谱数据x对应的标签,y为所有可能的标签集合,pr[]表示概率运算,z(x+∈)表示给频谱数据x加入高斯噪声,∈表示一个随机分布用于构造平滑函数的变量;
15、根据频谱数据x的随机平滑映射得到频谱数据x的频谱预测结果。
16、结合第一方面,进一步的,所述统计信息包括频谱数据段对应的特征向量的平均值以及平均值的期望;
17、设当前频谱数据段包括n个时刻的频谱数据,根据前频谱数据段的分布特征得到特征向量{a1,…,an},其中,ai表示当前频谱数据段中第i个时刻的频谱数据对应的特征量,则当前频谱数据段对应的特征向量的平均值为平均值的期望为
18、结合第一方面,进一步的,所述根据当前频谱数据段和上一个频谱数据段的统计信息,计算调整检测阈值,包括:
19、根据当前频谱数据段和上一个频谱数据段的统计信息,得到当前频谱数据段对应的特征向量的平均值和上一个频谱数据段对应的特征向量的
20、根据平均值和平均值的差异,计算估计误差εα,并将估计误差εα作为当前频谱数据段对应的调整检测阈值,其中,εα的计算公式如下:
21、
22、其中,n为当前频谱数据段中频谱数据的总数,m为上一个频谱数据段中频谱数据的总数,α为路径损耗指数。
23、结合第一方面,进一步的,所述根据当前频谱数据段的统计信息、上一个频谱数据段的统计信息和调整检测阈值,判断当前时间段是否发生概念漂移,包括:
24、当即表示概念漂移发生;
25、当且满足表示概念漂移发生;
26、若上述两个条件均不满足,则表示概念漂移未发生;
27、其中,表示当前频谱数据段对应的特征向量的平均值,表示的期望,表示上一个频谱数据段对应的特征向量的平均值,表示的期望,εα表示调整检测阈值,n为当前频谱数据段中频谱数据的总数,m为上一个频谱数据段中频谱数据的总数,△t表示时间间隔。
28、结合第一方面,进一步的,当发生概念漂移,根据当前频谱数据段对基于随机化方法的频谱预测模型进行自适应频谱预测训练,包括:
29、获取概念漂移发生前的基于随机化方法的频谱预测模型作为副本模型mpre;利用副本模型mpre对当前频谱数据段进行预测,得到副本模型预测结果
30、随机生成模型参数θnew,根据随机化的模型参数θnew初始化基于随机化方法的频谱预测模型,得到初始模型m0;
31、利用初始模型m0对当前频谱数据段进行预测,得到初始模型预测结果
32、根据副本模型预测结果和初始模型预测结果计算蒸馏损失函数和交叉熵损失函数其中,ynew表示当前频谱数据段对应的标签;
33、设置正则化参数λ0=0.6,根据蒸馏损失函数和交叉熵损失函数计算模型总损失函数:
34、l=argmin(λ0lkd+lnew)
35、其中,l表示模型总损失;
36、根据模型损失函数对初始模型m0进行训练,得到新的基于随机化方法的频谱预测模型mnew。
37、第二方面,本发明提供一种面向频谱预测的概念漂移检测与自学习装置,包括:
38、模型构建模块,用于构建基于随机化方法的频谱预测模型;
39、数据预处理模块,用于对动态频谱数据流中的频谱数据进行归一化和切分处理,得到多个频谱数据段
40、统计信息计算模块,用于利用预先构建的基于随机化方法的频谱预测模型对当前频谱数据段进行特征提取,得到当前频谱数据段的分布特征,并计算当前频谱数据段的统计信息;
41、概念漂移检测模块,用于根据当前频谱数据段和上一个频谱数据段的统计信息,计算调整检测阈值;根据当前频谱数据段的统计信息、上一个频谱数据段的统计信息和调整检测阈值,判断当前时间段是否发生概念漂移;
42、模型自学习模块,用于在发生概念漂移时,根据当前频谱数据段对基于随机化方法的频谱预测模型进行自适应频谱预测训练。
43、第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时,实现第一方面的面向频谱预测的概念漂移检测与自学习方法的步骤。
44、第四方面,本发明提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现第一方面的面向频谱预测的概念漂移检测与自学习方法的步骤。
45、与现有技术相比,本发明所达到的有益效果:
46、本发明提出了一种面向频谱预测的概念漂移检测与自学习方法、装置、存储介质和计算机程序产品,通过采用概念漂移检测和基于增量学习的模型自更新方法,解决了动态数据流下数据分布发生变化导致的性能下降问题,使用随机化方法构建频谱预测模型,提高了模型的鲁棒性,使用基于hddm-a的概念漂移检测方法,能够精确地检测的概念漂移发生,使用增量学习的思想在概念漂移发生后对频谱预测模型进行自学习,保持频域预测模型在原有和传入频谱数据上的高性能,降低了训练消耗和存储需求,拓宽了频谱预测方法的适用范围。
1.一种面向频谱预测的概念漂移检测与自学习方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的面向频谱预测的概念漂移检测与自学习方法,其特征在于,所述基于随机化方法的频谱预测模型包括用于特征提取的3个子网络和1个用于融合特征的激活层,其中,3个子网络分别为mlp网络、convgru网络和convlstm网络。
3.根据权利要求2所述的面向频谱预测的概念漂移检测与自学习方法,其特征在于,当频谱数据x输入基于随机化方法的频谱预测模型后,通过mlp网络、convgru网络和convlstm网络分别提取频谱数据x的子特征;
4.根据权利要求1所述的面向频谱预测的概念漂移检测与自学习方法,其特征在于,所述统计信息包括频谱数据段对应的特征向量的平均值以及平均值的期望;
5.根据权利要求1所述的面向频谱预测的概念漂移检测与自学习方法,其特征在于,所述根据当前频谱数据段和上一个频谱数据段的统计信息,计算调整检测阈值,包括:
6.根据权利要求1所述的面向频谱预测的概念漂移检测与自学习方法,其特征在于,所述根据当前频谱数据段的统计信息、上一个频谱数据段的统计信息和调整检测阈值,判断当前时间段是否发生概念漂移,包括:
7.根据权利要求1所述的面向频谱预测的概念漂移检测与自学习方法,其特征在于,当发生概念漂移,根据当前频谱数据段对基于随机化方法的频谱预测模型进行自适应频谱预测训练,包括:
8.一种面向频谱预测的概念漂移检测与自学习装置,其特征在于,包括:
9.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时,实现权利要求1-7中任一所述的面向频谱预测的概念漂移检测与自学习方法的步骤。
10.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述的面向频谱预测的概念漂移检测与自学习方法的步骤。
