本发明涉及数据处理,尤其涉及一种时序数据的异常识别方法、装置、设备及存储介质。
背景技术:
1、时序数据异常识别是指通过对时间序列数据进行分析和模型建立,以识别和检测数据中的异常值或异常模式。
2、目前,常用的时序数据异常识别方法主要包括:统计方法、基于规则的方法、机器学习方法、时间窗口方法、深度学习方法和时序数据差值分析等方式,但是对于统计方法和基于规则的方法,无法对非平稳时间序列的数据进行特性识别,导致时序数据分析的准确性低、误差大;而对于机器学习方法和深度学习算法则需要有标签化的数据作为前提,同时模型可能对训练数据过度拟合,导致泛化能力下降,并且难以解释其决策过程,可解释性低,而时间窗口方法过度依赖历史数据,可能忽略当前上下文,时序数据差值分析可能难以捕捉到非全局性的局部异常。
3、因此,目前亟需一种能够提高对时序数据异常识别的准确性、降低误差,提高时序数据异常识别精度的方法。
技术实现思路
1、本发明提供了一种时序数据的异常识别方法、装置、设备及存储介质,以解决现有技术中对时序数据异常识别的准确性低、误差大,时序数据异常识别精度低的技术问题。
2、为了解决上述技术问题,本发明实施例提供了一种时序数据的异常识别方法,包括:
3、获取卫星的历史遥测数据和实时遥测数据,并根据所述历史遥测数据,得到原始数据序列;其中,所述历史遥测数据和实时遥测数据均为时序数据;
4、对所述原始数据序列进行偏移处理,得到偏移序列,并根据所述原始数据序列和所述偏移序列,得到数据差值序列;
5、对所述数据差值序列进行升序排序,并对升序排序后的数据差值序列进行分布,得到差值分布比例;
6、从升序排序后的数据差值序列中提取得到与该差值分布比例对应的差值数据,并根据所述差值数据,对所述实时遥测数据进行异常点提取,得到所述实时遥测数据中的异常数据。
7、作为优选方案,所述获取卫星的历史遥测数据和实时遥测数据,并根据所述历史遥测数据,得到原始数据序列,具体包括:
8、获取卫星的历史遥测数据和实时遥测数据,并判断所述历史遥测数据是否为空数据;
9、若是,则生成并反馈所述卫星对应的前端数据不存在;
10、若否,则将所述历史遥测数据进行预处理,得到原始数据序列。
11、作为优选方案,所述对所述原始数据序列进行偏移处理,得到偏移序列,并根据所述原始数据序列和所述偏移序列,得到数据差值序列,具体包括:
12、对所述原始数据序列进行数据序列的偏移,以使得所述原始数据序列根据预设移动位数进行偏移,从而生成偏移后的偏移序列;
13、对所述原始数据序列和所述偏移序列进行差值处理,以使得所述原始数据序列和所述偏移序列进行相减,生成所述原始数据序列和所述偏移序列之间的差值,并对所述差值进行无效数据的剔除,得到数据差值序列。
14、作为优选方案,所述对所述数据差值序列进行升序排序,并对升序排序后的数据差值序列进行分布,得到差值分布比例,具体包括:
15、对所述数据差值序列进行升序排序,并将升序排序后的数据差值序列均分布到预设比例方格之中,得到升序排序后的数据差值序列的分布范围;
16、根据所述分布范围,确定升序排序后的数据差值序列对应的差值分布比例。
17、作为优选方案,所述从升序排序后的数据差值序列中提取得到与该差值分布比例对应的差值数据,并根据所述差值数据,对所述实时遥测数据进行异常点提取,得到所述实时遥测数据中的异常数据,具体包括:
18、基于所述分布范围,从升序排序后的数据差值序列中,获取与所述差值分布比例对应的差值数据,并以所述差值数据作为差值异常的判断阈值;
19、根据所述判断阈值,对所述实时遥测数据进行异常点的判断,从而提取得到所述实时遥测数据中的异常数据。
20、作为优选方案,所述基于所述分布范围,从升序排序后的数据差值序列中,获取与所述差值分布比例对应的差值数据,并以所述差值数据作为差值异常的判断阈值,具体包括:
21、设定初始阈值;
22、基于所述分布范围和所述初始阈值,依次以预设步进,计算升序排序后的数据差值序列中每个数据之间的变化斜率,从而将变化斜率最大的拐点作为最优值,并获取该最优值对应的最优阈值;
23、获取预设异常信息,并根据所述预设异常信息计算异常差值的最大值;
24、若所述最优阈值大于所述最大值,则将该最优阈值作为判断阈值进行异常点的判断;
25、若所述最优阈值不大于所述最大值,则将该最优阈值等于最大值,并将等于最大值的最优阈值作为判断阈值,进行异常点的判断。
26、作为优选方案,在所述得到所述实时遥测数据中的异常数据之后,还包括:
27、遍历所有所述异常数据,并对所述异常数据进行判断;
28、若所述异常数据是超时数据,或是中间态数据而不是超时数据,则基于预设算法,对当前该异常数据进行异常识别,以使得将超过了对应该异常数据的历史遥测数据的边界范围的当前该异常数据作为新的异常点,将未超过对应该异常数据的历史遥测数据的边界范围的当前该异常数据进行移除;
29、若所述异常数据不是超时数据或中间态数据中的一种,则进行下一个异常数据的判断;
30、直至所有所述异常数据均遍历后,将得到新的异常点作为新的异常点数据;
31、其中,所述超时数据通过预设时间间隔进行判断得到,所述中间态数据通过当前该异常数据分别与其前向值和后向值的斜率进行判断得到。
32、相应地,本发明还提供一种时序数据的异常识别装置,包括:获取模块、序列模块、分布模块和异常模块;
33、所述获取模块,用于获取卫星的历史遥测数据和实时遥测数据,并根据所述历史遥测数据,得到原始数据序列;其中,所述历史遥测数据和实时遥测数据均为时序数据;
34、所述序列模块,用于对所述原始数据序列进行偏移处理,得到偏移序列,并根据所述原始数据序列和所述偏移序列,得到数据差值序列;
35、所述分布模块,用于对所述数据差值序列进行升序排序,并对升序排序后的数据差值序列进行分布,得到差值分布比例;
36、所述异常模块,用于从升序排序后的数据差值序列中提取得到与该差值分布比例对应的差值数据,并根据所述差值数据,对所述实时遥测数据进行异常点提取,得到所述实时遥测数据中的异常数据。
37、相应地,本发明还提供一种终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上任意一项所述的时序数据的异常识别方法。
38、相应地,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项所述的时序数据的异常识别方法。
39、相比于现有技术,本发明实施例具有如下有益效果:
40、本发明的技术方案通过获取卫星的历史遥测数据,进而进行数据序列的偏移处理、差值计算、升序处理和分布处理,得到对应的差值分布比例,提高了通过差值分布进行异常点识别的准确性,并从数据差值序列中,提取得到与该差值分布比例对应的差值数据,从而通过该差值数据对实时遥测数据进行异常点提取,从而能够通过差值分析处理来避免无法对非平稳时间序列的数据进行异常识别的问题,并通过差值数据对实时遥测数据的异常点提取,能够提高异常点识别的准确性,降低异常数据识别的误差,也显著提高了异常识别的效率,避免了过于复杂的算法计算,在保证准确性的同时简化了异常识别的步骤流程。
1.一种时序数据的异常识别方法,其特征在于,包括:
2.如权利要求1所述的一种时序数据的异常识别方法,其特征在于,所述获取卫星的历史遥测数据和实时遥测数据,并根据所述历史遥测数据,得到原始数据序列,具体包括:
3.如权利要求2所述的一种时序数据的异常识别方法,其特征在于,所述对所述原始数据序列进行偏移处理,得到偏移序列,并根据所述原始数据序列和所述偏移序列,得到数据差值序列,具体包括:
4.如权利要求3所述的一种时序数据的异常识别方法,其特征在于,所述对所述数据差值序列进行升序排序,并对升序排序后的数据差值序列进行分布,得到差值分布比例,具体包括:
5.如权利要求4所述的一种时序数据的异常识别方法,其特征在于,所述从升序排序后的数据差值序列中提取得到与该差值分布比例对应的差值数据,并根据所述差值数据,对所述实时遥测数据进行异常点提取,得到所述实时遥测数据中的异常数据,具体包括:
6.如权利要求5所述的一种时序数据的异常识别方法,其特征在于,所述基于所述分布范围,从升序排序后的数据差值序列中,获取与所述差值分布比例对应的差值数据,并以所述差值数据作为差值异常的判断阈值,具体包括:
7.如权利要求5所述的一种时序数据的异常识别方法,其特征在于,在所述得到所述实时遥测数据中的异常数据之后,还包括:
8.一种时序数据的异常识别装置,其特征在于,包括:获取模块、序列模块、分布模块和异常模块;
9.一种终端设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述的时序数据的异常识别方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的时序数据的异常识别方法。