本技术涉及数据存储,尤其涉及一种基于云计算的历史数据存储方法及装置。
背景技术:
1、在金融行业中,数据量的快速增长对数据存储和管理系统提出了前所未有的挑战。交易数据不仅体量庞大,而且更新频率高,需要高效的技术解决方案以确保数据的实时性和可访问性。
2、然而,传统的数据存储方法面临着众多问题,如数据孤岛、存储成本高昂以及数据访问效率低下等。这些问题限制了金融机构对数据进行快速分析和决策的能力,进而影响了服务的响应速度和客户满意度。例如,传统的本地服务器存储解决方案难以应对大规模数据处理需求,且在灾备和数据安全方面存在天然缺陷。
技术实现思路
1、本技术提供了一种基于云计算的历史数据存储方法及装置,用于提高了基于云计算的历史数据存储的效率和数据查询的准确率。
2、第一方面,本技术提供了一种基于云计算的历史数据存储方法,所述基于云计算的历史数据存储方法包括:
3、采集历史金融数据集,并对所述历史金融数据集进行特征提取,得到交易特征数据;
4、通过所述交易特征数据构建目标云资源分配策略,并根据所述目标云资源分配策略生成数据存储优先级表;
5、采集目标用户的账户交易数据,并通过所述目标云资源分配策略对所述账户交易数据进行云服务匹配,得到多个初始数据存储位置;
6、基于所述数据存储优先级表,对所述多个初始数据存储位置进行布局优化,得到数据存储布局信息,并基于所述数据存储布局信息对所述账户交易数据进行数据存储;
7、获取所述目标用户的数据查询请求,并基于所述数据存储布局信息对所述数据查询请求进行数据查询,返回目标查询结果。
8、结合第一方面,在本技术第一方面的第一种实现方式中,所述采集历史金融数据集,并对所述历史金融数据集进行特征提取,得到交易特征数据,包括:
9、采集所述历史金融数据集,并对所述历史金融数据集进行数据分类,得到交易金额、交易时间以及交易类型;
10、对所述交易金额进行向量编码,得到交易金额编码向量,并对所述交易时间进行时间序列向量转换,得到交易时间序列向量;
11、对所述交易时间序列向量和所述交易金额编码向量进行向量融合,生成融合特征编码向量;
12、将所述融合特征编码向量输入预置的循环神经网络模型进行时间敏感性分析,得到时间敏感特征;
13、对所述时间敏感特征以及所述交易类型进行特征整合,生成交易特征数据。
14、结合第一方面,在本技术第一方面的第二种实现方式中,所述通过所述交易特征数据构建目标云资源分配策略,并根据所述目标云资源分配策略生成数据存储优先级表,包括:
15、对所述交易特征数据进行交易模式识别,得到目标交易模式,所述目标交易模式包括交易频率和数据更新周期;
16、对所述目标交易模式进行交易数据量预测,得到交易需求数据量;
17、对所述交易需求数据量进行高频交易数据和低频交易数据分类识别,得到高频交易数据和低频交易数据;
18、根据所述高频交易数据和所述低频交易数据构建对应的目标云资源分配策略;
19、根据所述目标云资源分配策略生成数据存储优先级表。
20、结合第一方面,在本技术第一方面的第三种实现方式中,所述根据所述高频交易数据和所述低频交易数据构建对应的目标云资源分配策略,包括:
21、根据所述高频交易数据对云计算中心进行云服务节点配置,得到多个高频交易云服务节点;
22、根据所述多个高频交易云服务节点,构建所述高频交易数据与所述云计算中心对应的第一云服务节点映射关系;
23、根据所述低频交易数据对所述云计算中心进行云服务节点配置,得到多个低频交易云服务节点;
24、根据所述多个低频交易云服务节点,构建所述低频交易数据与所述云计算中心对应的第二云服务节点映射关系;
25、根据所述第一云服务节点映射关系创建所述高频交易数据和所述云计算中心之间的第一云资源分配策略,并根据所述第二云服务节点映射关系创建所述低频交易数据和所述云计算中心之间的第二云资源分配策略;
26、对所述第一云资源分配策略和所述第二云资源分配策略进行策略融合,得到对应的目标云资源分配策略。
27、结合第一方面,在本技术第一方面的第四种实现方式中,所述采集目标用户的账户交易数据,并通过所述目标云资源分配策略对所述账户交易数据进行云服务匹配,得到多个初始数据存储位置,包括:
28、采集目标用户的账户交易数据,并对所述账户交易数据进行数据归类,得到多个子账户数据;
29、通过所述目标云资源分配策略对所述多个子账户数据进行云服务分配,得到每个子账户数据的多个第一云服务节点;
30、对每个子账户数据的多个第一云服务节点进行匹配度排序,得到所述多个第一云服务节点的云服务节点序列;
31、根据所述云服务节点序列,对所述多个第一云服务节点进行规则筛选,得到每个子账户数据的第二云服务节点;
32、根据每个子账户数据的第二云服务节点确定对应的数据存储位置,得到所述账户交易数据的多个初始数据存储位置。
33、结合第一方面,在本技术第一方面的第五种实现方式中,所述基于所述数据存储优先级表,对所述多个初始数据存储位置进行布局优化,得到数据存储布局信息,包括:
34、基于所述数据存储优先级表,对所述多个初始数据存储位置进行数据存储布局初始化,生成初始化存储布局信息;
35、对所述初始化存储布局信息进行自适应扰动,得到多个候选存储布局信息;
36、分别计算每个候选存储布局信息的目标适应度值,并根据所述目标适应度值对所述多个候选存储布局信息进行最优化求解,得到数据存储布局信息,并基于所述数据存储布局信息对所述账户交易数据进行数据存储。
37、结合第一方面,在本技术第一方面的第六种实现方式中,所述获取所述目标用户的数据查询请求,并基于所述数据存储布局信息对所述数据查询请求进行数据查询,返回目标查询结果,包括:
38、获取所述目标用户的数据查询请求,并对所述数据查询请求进行查询参数分析,得到查询频率和数据敏感度;
39、根据所述查询频率对所述数据存储布局信息进行数据查询路径搜索,得到第一数据查询路径;
40、根据所述数据敏感度对所述数据存储布局信息进行数据查询路径搜索,得到第二数据查询路径;
41、通过所述第一数据查询路径和所述第二数据查询路径进行数据查询,并返回目标查询结果。
42、第二方面,本技术提供了一种基于云计算的历史数据存储装置,所述基于云计算的历史数据存储装置包括:
43、采集模块,用于采集历史金融数据集,并对所述历史金融数据集进行特征提取,得到交易特征数据;
44、构建模块,用于通过所述交易特征数据构建目标云资源分配策略,并根据所述目标云资源分配策略生成数据存储优先级表;
45、匹配模块,用于采集目标用户的账户交易数据,并通过所述目标云资源分配策略对所述账户交易数据进行云服务匹配,得到多个初始数据存储位置;
46、优化模块,用于基于所述数据存储优先级表,对所述多个初始数据存储位置进行布局优化,得到数据存储布局信息,并基于所述数据存储布局信息对所述账户交易数据进行数据存储;
47、查询模块,用于获取所述目标用户的数据查询请求,并基于所述数据存储布局信息对所述数据查询请求进行数据查询,返回目标查询结果。
48、本技术提供的技术方案中,利用云计算平台,能够根据实际需要动态调整资源,通过弹性和可扩展性使得金融机构能够轻松应对数据量的快速增长,无需担心本地硬件资源的限制和成本。通过构建目标云资源分配策略和数据存储优先级表,能有效分配云资源,将高频访问的交易数据和低频访问的交易数据区分开来。这种分级存储策略不仅提高了数据访问的效率,还可以根据数据的重要性和使用频率优化成本,因为不同类型的数据可以存储在成本效率不同的云服务上。通过优化数据存储布局,根据数据的访问模式和用户的查询需求进行智能匹配和布局调整。这种自适应的数据布局优化确保了数据查询的高效性,减少了数据访问延迟,提高了系统的整体性能和响应速度,进而提高了基于云计算的历史数据存储的效率,并且提高了数据查询的准确率。
1.一种基于云计算的历史数据存储方法,其特征在于,所述基于云计算的历史数据存储方法包括:
2.根据权利要求1所述的基于云计算的历史数据存储方法,其特征在于,所述采集历史金融数据集,并对所述历史金融数据集进行特征提取,得到交易特征数据,包括:
3.根据权利要求2所述的基于云计算的历史数据存储方法,其特征在于,所述通过所述交易特征数据构建目标云资源分配策略,并根据所述目标云资源分配策略生成数据存储优先级表,包括:
4.根据权利要求3所述的基于云计算的历史数据存储方法,其特征在于,所述根据所述高频交易数据和所述低频交易数据构建对应的目标云资源分配策略,包括:
5.根据权利要求4所述的基于云计算的历史数据存储方法,其特征在于,所述采集目标用户的账户交易数据,并通过所述目标云资源分配策略对所述账户交易数据进行云服务匹配,得到多个初始数据存储位置,包括:
6.根据权利要求1所述的基于云计算的历史数据存储方法,其特征在于,所述基于所述数据存储优先级表,对所述多个初始数据存储位置进行布局优化,得到数据存储布局信息,包括:
7.根据权利要求5所述的基于云计算的历史数据存储方法,其特征在于,所述获取所述目标用户的数据查询请求,并基于所述数据存储布局信息对所述数据查询请求进行数据查询,返回目标查询结果,包括:
8.一种基于云计算的历史数据存储装置,其特征在于,所述基于云计算的历史数据存储装置包括:
9.根据权利要求8所述的基于云计算的历史数据存储装置,其特征在于,所述采集模块具体用于:
10.根据权利要求8所述的基于云计算的历史数据存储装置,其特征在于,所述构建模块具体用于:
