本发明涉及数据管理领域，更具体地说，本发明涉及一种云基础设施下的分布式金融数据管理方法及系统。
背景技术：
1、在金融数据管理的现有技术中，主要依赖于静态的数据去重技术管理冗余数据，但这种方法存在几个显著的不足。首先，静态数据去重通常在系统低峰期进行，这在高峰期间可能导致数据更新滞后，无法及时反映最新的市场变化和交易信息。其次，这种方法往往缺乏对数据内容和业务价值的深度理解，无法有效区分短期内频繁访问的数据与长期未使用的数据，可能导致关键数据的误删或低价值数据的无效保留。此外，静态方法对于快速的市场变动反应不够灵活，难以适应业务需求和数据使用模式的动态变化，这在数据高度分散和业务高度依赖数据实时性的当今环境中，显得尤为不足。
2、这些问题不仅降低了数据处理速度，还减缓了对市场变化的响应能力，增加了运营成本，并可能影响最终的业务决策质量。因此，迫切需要开发一种能够实时、智能地管理金融数据冗余的新方法，以提高数据处理效率和准确性，确保在保障数据实时更新的同时，也能高效应对市场的快速变化。
3、为了解决上述问题，现提供一种技术方案。
技术实现思路
1、为了克服现有技术的上述缺陷，本发明的实施例提供一种云基础设施下的分布式金融数据管理方法及系统，通过动态方法改进传统的静态数据去重技术，以解决数据更新滞后和处理效率低下的问题。在边缘节点利用内置的规则引擎和模式匹配技术，实时地对接入的数据进行自动标记和分类。这种分类基于数据的预设访问频率和最近使用时间，允许系统在数据接入时即进行初步处理，从而显著减轻中心数据处理系统的负担，并减少了数据在网络上的传输量，优化了带宽使用。此外，通过基于事件驱动的编程模型，在各节点上动态追踪和分析数据访问模式，结合时间序列分析和高斯混合模型聚类技术，能够深入识别数据访问的周期性变化、突发事件和长期趋势。这种动态分析方法使得数据存储和访问策略能够更加精细化和个性化，超越了基于单一静态分类的限制，最后，通过结合静态分类与动态分析的优势，不仅提高了系统对数据访问行为的适应性和前瞻性，还支持了更复杂的数据管理策略和业务决策，增强了数据系统的整体性能和可靠性，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：
3、s1：在数据接入时，利用边缘节点对数据进行自动标记和分类，其中每个节点通过内置的规则引擎和模式匹配技术，基于数据的总访问频率和时间敏感性进行分类，确保数据被分类为对应的访问类型；
4、s2：基于事件驱动的编程模型在各节点上实施，对分布式节点上的数据进行动态访问模式追踪和多维特征分析，结合时间序列分析和高斯混合模型聚类，识别和适应数据访问的周期和波动情况；
5、s3：综合分析数据项的访问模式和访问类型，出示调整数据存储层级和备份频率的提示信号。
6、在一个优选的实施方式中，s1包括以下内容：
7、每个边缘节点首先对接入的数据进行预处理；
8、从预处理后的数据中提取关键特征，这些特征包括总访问频率和时间敏感性；
9、基于数据项的总访问频率和时间敏感性进行分类，其中，访问频率的获取过程如下：
10、根据预定义的事件窗，计算数据项的瞬时访问率：；
11、其中，是在时间 内的访问次数，是时间窗口的长度；
12、为最近的访问赋予更高的权重，使用指数衰减函数调整瞬时访问率：；
13、其中，是衰减系数，控制过去访问的权重减少的速率，是当前时间，是访问时间；
14、将调整后的瞬时访问率在所有时间窗口内进行累加，得到总访问频率：；
15、其中，时间敏感性的获取过程如下：
16、对每个数据项，记录其最后访问时间；
17、计算每个数据项的时间敏感性评分，与自上次访问以来经过时间的函数：；
18、其中，是当前时间，是最后一次访问的时间，加1确保对于刚刚访问过的数据，对数函数的输入不会为0，避免数学错误。
19、在一个优选的实施方式中，基于计算的每个数据项的总访问频率和时间敏感性得到分类评分：；
20、其中，是分配评分，和分别是总访问频率和时间敏感性的预设比例系数，且均大于零；
21、根据分类评分和分类阈值一和分类阈值二的比较结果，获得每个数据项的访问类别信息，包括高频访问、中频访问和低频访问类别：
22、如果分类评分大于分类阈值一，则标记为高频访问信号；
23、如果分类评分小于或等于分类阈值一，且大于或等于分类阈值二，则标记为中频访问信号；
24、如果分类评分小于分类阈值二，则标记为低频访问信号。
25、每个数据项根据分类结果标记，并在分布式系统中的相关节点之间同步这些标记。
26、在一个优选的实施方式中，s2包括以下内容：
27、在分布式节点上收集数据访问事件，对收集的数据执行预处理，将预处理后的数据按时间顺序组织成时间序列，对每个数据项，构建包含多维的特征向量，特征包括：
28、使用以下公式在不同时间尺度上计算访问频率：；
29、其中，表示时间窗口（如日、周、月），是衰减系数，为时间衰减函数，突出了近期访问的重要性，是在窗口内的访问时间；
30、计算访问时间的变异系数来评估访问模式的稳定性：；
31、其中，是时间窗口内所有访问时间的平均值，是访问次数；
32、使用快速傅立叶变换，将针对从特征向量集成得到的时间序列数据进行频率分析；
33、使用高斯混合模型对时间序列的特征向量进行聚类，根据访问频率和时间稳定性特征将数据项分组到不同的访问模式类别中；
34、由于不同的特征可能具有不同的量级和分布，使用z-score标准化方法对特征进行标准化处理；
35、使用高斯混合模型对标准化后的特征向量进行聚类；
36、根据高斯混合模型的结果，每个数据项被分配到概率最高的聚类中；
37、依据聚类结果为每项数据贴上对应的访问模式标签。
38、在一个优选的实施方式中，为了检测每个数据项的访问模式是否发生变化，计算模态演进指数，通过基于单位时间内的访问模式标签和当前聚类结果计算得到，计算公式如下：；
39、其中，1是指示函数，当条件成立时取值为1，否则为0；是数据项在过去第次分析中的标签；是当前的标签；是考虑的历史记录数；
40、根据模态演进指数调整定期分析的时间间隔：；
41、其中，是基础时间间隔；是调整因子，用于控制模态演进指数对分析频率的影响程度。
42、根据计算出的为每个数据项设置下一次分析的时间。
43、在一个优选的实施方式中，s3包括以下内容：
44、收集每个数据项在一段时间内所有的定期分析时间间隔；
45、为了量化访问模式的稳定性，计算这些时间间隔的变异性，用时间间隔的标准偏差来表示：；
46、其中，是第次分析的时间间隔，是时间间隔的平均值；是观察期内的分析次数；
47、将基于时间间隔的变异性的倒数来计算，进一步调整以反映时间间隔的整体趋势，得到模态波动逆指数：；
48、其中，是模态波动逆指数；是一个小常数，防止分母为零；是衰减因子，用于调整时间间隔趋势导数的影响；是时间间隔平均值的时间导数，表示时间间隔变化的速度；
49、将模态波动逆指数和模态稳定阈值进行比较，获得每个数据项的访问模式稳定信息，包括访问模态稳定信号和访问模式失稳信号：
50、若模态波动逆指数大于或等于模态稳定阈值，生成访问模式稳定信号；
51、反之，若模态波动逆指数小于模态稳定阈值，生成访问模式失稳信号。
52、在一个优选的实施方式中，统计同一数据项的访问类别信息和访问模式稳定信息，对访问类别信息和访问模式稳定信息的包含结果进行分类讨论，获得存储模式更新信息，包括优先存储信号、高风险高频信号、常规优化信号、动态监控信号、低优先级存储信号和潜在归档信号：
53、如果数据项同时包含高频访问信号和访问模式稳定信号，生成优先存储信号；
54、如果数据项同时包含高频访问信号和访问模式失稳信号，生成高风险高频信号；
55、如果数据项同时包含中频访问信号和访问模式稳定信号，生成常规优化信号；
56、如果数据项同时包含中频访问信号和访问模式失稳信号，生成动态监控信号；
57、如果数据项同时包含低频访问信号和访问模式稳定信号，生成低优先级存储信号；
58、如果数据项的同时包含低频访问信号和访问模式失稳信号，生成潜在归档信号。
59、在一个优选的实施方式中，数据标记模块、事件追踪模块、分析聚类模块和存储策略调整模块；
60、数据标记模块，在数据接入时利用边缘节点自动标记和分类数据，运用规则引擎和模式匹配技术，基于数据的总访问频率和时间敏感性进行分类，将标记结果发送至存储策略调整模块；
61、事件追踪模块，实施基于事件驱动的编程模型，在分布式节点上处理数据，进行动态访问模式追踪并收集相关事件数据，将收集的数据发送至分析聚类模块；
62、分析聚类模块，对收集的数据执行多维特征分析，并应用时间序列分析与高斯混合模型聚类算法来识别数据访问的周期性和波动性，将识别的结果发送至存储策略调整模块；
63、存储策略调整模块，综合分析数据项的访问模式和类型，生成调整存储层级和备份频率的提示信号，并优化存储策略。
64、本发明一种云基础设施下的分布式金融数据管理方法及系统的技术效果和优点：
65、1.本发明通过利用边缘节点对接入的数据进行自动标记和分类，每个节点基于数据的预设访问频率和最近使用时间进行分类，具体的，首先，分布式的数据处理允许在数据接入点即刻进行分类和预处理，这大大减少了中心数据处理系统的负担，提高了整个系统的处理速度和效率。其次，通过在数据源附近的节点进行初步处理，可以减少数据在网络上的传输量，进一步降低延迟，优化网络带宽的使用。此外，基于数据的访问频率和时间敏感性进行的智能分类，使得数据存储和访问策略能够更加精细化和个性化，保证了数据存储的成本效益和访问性能最优化。适合于需要快速响应和高数据吞吐量的分布式金融数据管理系统，能有效提升数据操作的响应速度和系统的整体数据管理能力。
66、2.本发明通过实施事件驱动模型并综合运用时间序列分析与高斯混合模型（gmm）聚类，提供了一个深入分析和管理数据访问模式的综合框架。能够捕获数据访问的复杂动态，识别周期性变化、突发事件以及长期趋势，从而超越了基于单一静态分类的限制。通过详细的特征分析，包括多尺度访问频率和时间稳定性评估，以及利用fft揭示的周期性模式，不仅帮助理解数据访问的行为和周期性规律，还通过聚类揭示了相似访问模式的数据群体，为数据存储、备份频率和数据缓存策略的优化提供了依据。此外，通过动态调整分析频率来应对访问模式的变化，这种方法提高了数据管理的效率和响应性，减少了延迟，降低了成本，特别适用于数据访问模式多变和数据密集的分布式环境。整个过程不仅提高了系统对数据访问行为的适应性和前瞻性，还支持了更复杂的数据管理策略和业务决策，增强了数据系统的整体性能和可靠性。
67、3.本发明通过对数据项的访问类别信息和访问模式稳定性进行综合分析，并根据这些信息生成具体的存储模式更新信号，显著提升了数据管理的效率和精准性。此策略使得数据存储可以动态适应访问模式的变化，优化存储层级和备份频率，从而减少无效存储和不必要的成本，同时增强数据的可用性和安全性。通过智能地调整存储解决方案和备份策略，系统能够更好地应对突发访问需求，保护关键数据免受损失，确保所有节点的数据版本一致性和完整性，从而提高整体系统的响应能力和稳定性。适用于需要高度可靠性和灵活性的大规模分布式存储环境，帮助更有效地管理和利用其数据资产。
1.一种云基础设施下的分布式金融数据管理方法，其特征在于：
2.根据权利要求1所述的一种云基础设施下的分布式金融数据管理方法，其特征在于：
3.根据权利要求2所述的一种云基础设施下的分布式金融数据管理方法，其特征在于：
4.根据权利要求3所述的一种云基础设施下的分布式金融数据管理方法，其特征在于：
5.根据权利要求4所述的一种云基础设施下的分布式金融数据管理方法，其特征在于：
6.根据权利要求5所述的一种云基础设施下的分布式金融数据管理方法，其特征在于：
7.根据权利要求6所述的一种云基础设施下的分布式金融数据管理方法，其特征在于：
8.一种云基础设施下的分布式金融数据管理系统，用于实现权利要求1-7任一项所述的分布式金融数据管理方法，包括：
