业务数据的粒度整合方法、装置、计算机设备、存储介质与流程

专利2025-05-16  22


本公开涉及数据处理,特别是涉及一种业务数据的粒度整合方法、装置、计算机设备、存储介质。


背景技术:

1、随着业务系统的高度集成化和智能化,业务系统中数据的发布和加工等处理对计算量和处理效率提出了更高的要求。业务系统中的上游源系统可以发布源数据表,源数据表中往往包含不同业务的数据,这些数据涉及多种粒度,使得业务系统中的下游用数方使用数据不便,下游用数方需要区分不同的业务后才能对数据进行应用。

2、在相关技术中,下游用数方需要根据上游源系统提供的规则对不同的业务进行拆分处理后使用,这将导致数据的加工链路冗长,从而使得数据时效性增加。并且,不同下游用数方可能对于不同的业务,有同样的拆分方法,将使得不同的任务加工了同样的目标,导致计算集群紧张,且数据的复用性和适用性存在局限。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种业务数据的粒度整合方法、装置、计算机设备、存储介质和计算机程序产品。

2、第一方面,本公开提供了一种业务数据的粒度整合方法。所述方法包括:

3、接收上游数据源传输的数据文件;

4、确定所述数据文件的来源信息,并根据所述来源信息确定所述数据文件中数据的账号字段规则;所述账号字段规则包括账号字段与业务项目信息的对应关系;

5、根据所述数据文件中数据的账号字段和所述账号字段规则,将所述数据文件中数据按照预设的业务项目粒度进行整合,得到粒度数据集合;

6、向下游用数系统提供所述粒度数据集合的数据接口。

7、在其中一个实施例中,所述根据所述数据文件中数据的账号字段和所述账号字段规则,将所述数据文件中数据按照预设的业务项目粒度进行整合,得到粒度数据集合包括:

8、获取所述数据文件中数据的账号信息,并提取所述账号信息中目标账号字段;

9、将所述目标账号字段映射到所述业务项目粒度对应的业务项目信息,并将所述数据文件中数据添加至对应的业务项目信息的粒度数据集合。

10、在其中一个实施例中,所述粒度数据集合为粒度整合模型;所述根据所述数据文件中数据的账号字段和所述账号字段规则,将所述数据文件中数据按照预设的业务项目粒度进行整合,得到粒度数据集合包括:

11、建立所述粒度整合模型的模型账号,所述模型账号与所述业务项目粒度对应的业务项目信息具有关联关系;

12、根据所述账号字段规则将相同的所述业务项目信息对应的模型账号与所述数据文件中数据的账号字段建立账号关联关系;

13、根据所述账号关联关系将所述数据文件中数据整合得到所述粒度整合模型。

14、在其中一个实施例中,所述向下游用数系统提供所述粒度数据集合的数据接口包括:

15、向所述下游用数系统提供所述粒度整合模型的模型接口。

16、在其中一个实施例中,所述向下游用数系统提供所述粒度数据集合的数据接口包括:

17、接收所述下游用数系统针对目标业务项目信息的数据请求;

18、根据所述目标业务项目信息将对应的粒度数据集合的数据接口信息返回至所述下游用数系统。

19、第二方面,本公开还提供了一种业务数据的粒度整合装置。所述装置包括:

20、源数据模块,用于接收上游数据源传输的数据文件;

21、业务项目识别模块,用于确定所述数据文件的来源信息,并根据所述来源信息确定所述数据文件中数据的账号字段规则;所述账号字段规则包括账号字段与业务项目信息的对应关系;

22、粒度整合模块,用于根据所述数据文件中数据的账号字段和所述账号字段规则,将所述数据文件中数据按照预设的业务项目粒度进行整合,得到粒度数据集合;

23、下游用数模块,用于向下游用数系统提供所述粒度数据集合的数据接口。

24、在其中一个实施例中,所述粒度整合模块包括:

25、账号字段单元,用于获取所述数据文件中数据的账号信息,并提取所述账号信息中目标账号字段;

26、账号字段映射单元,用于将所述目标账号字段映射到所述业务项目粒度对应的业务项目信息,并将所述数据文件中数据添加至对应的业务项目信息的粒度数据集合。

27、在其中一个实施例中,所述粒度数据集合为粒度整合模型;所述粒度整合模块包括:

28、模型账号建立单元,用于建立所述粒度整合模型的模型账号,所述模型账号与所述业务项目粒度对应的业务项目信息具有关联关系;

29、模型账号建立关联单元,用于根据所述账号字段规则将相同的所述业务项目粒度对应的模型账号与所述数据文件中数据的账号字段建立账号关联关系;

30、数据整合单元,用于根据所述账号关联关系将所述数据文件中数据整合得到所述粒度整合模型。

31、在其中一个实施例中,所述下游用数模块,用于向所述下游用数系统提供所述粒度整合模型的模型接口。

32、在其中一个实施例中,所述下游用数模块包括:

33、数据请求单元,用于接收所述下游用数系统针对目标业务项目信息的数据请求;

34、数据接口单元,用于根据所述目标业务项目信息将对应的粒度数据集合的数据接口信息返回至所述下游用数系统。

35、第三方面,本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述业务数据的粒度整合方法的步骤。

36、第四方面,本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述业务数据的粒度整合方法的步骤。

37、第五方面,本公开还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述业务数据的粒度整合方法的步骤。

38、上述业务数据的粒度整合方法、装置、计算机设备、存储介质和计算机程序产品,至少包括以下有益效果:

39、本公开的数据仓库通过将接收的上游数据源传输的数据文件,并对数据文件中数据进行来源识别,利用账号字段与业务项目信息的对应关系将数据文件中数据按照预设的业务项目粒度进行整合,使得粒度数据集合中的数据粒度相同,大大提高了数据粒度整合的效率和准确率,并且便于下游用数系统根据粒度数据集合读取所需数据,提高了用户效率,减少了用数过程中沟通所需业务的时间;同时实现了对数据文件中不同业务项目的拆分和整合,大大提高了数据的复用性和适用性,减少数据库冗余。



技术特征:

1.一种业务数据的粒度整合方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述数据文件中数据的账号字段和所述账号字段规则,将所述数据文件中数据按照预设的业务项目粒度进行整合,得到粒度数据集合包括:

3.根据权利要求1所述的方法,其特征在于,所述粒度数据集合为粒度整合模型;所述根据所述数据文件中数据的账号字段和所述账号字段规则,将所述数据文件中数据按照预设的业务项目粒度进行整合,得到粒度数据集合包括:

4.根据权利要求3所述的方法,其特征在于,所述向下游用数系统提供所述粒度数据集合的数据接口包括:

5.根据权利要求1所述的方法,其特征在于,所述向下游用数系统提供所述粒度数据集合的数据接口包括:

6.一种业务数据的粒度整合装置,其特征在于,所述装置包括:

7.根据权利要求6所述的装置,其特征在于,所述粒度整合模块包括:

8.根据权利要求6所述的装置,其特征在于,所述粒度数据集合为粒度整合模型;所述粒度整合模块包括:

9.根据权利要求8所述的装置,其特征在于,所述下游用数模块,用于向所述下游用数系统提供所述粒度整合模型的模型接口。

10.根据权利要求6所述的装置,其特征在于,所述下游用数模块包括:

11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

13.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。


技术总结
本公开涉及数据处理技术领域,具体公开了一种业务数据的粒度整合方法、装置、计算机设备、存储介质,所述方法包括:接收上游数据源传输的数据文件;确定所述数据文件的来源信息,并根据所述来源信息确定所述数据文件中数据的账号字段规则;所述账号字段规则包括账号字段与业务项目信息的对应关系;根据所述数据文件中数据的账号字段和所述账号字段规则,将所述数据文件中数据按照预设的业务项目粒度进行整合,得到粒度数据集合;向下游用数系统提供所述粒度数据集合的数据接口。本公开提高了数据粒度整合的效率和准确率,并且便于下游用数系统根据粒度数据集合读取所需数据,提高了用户效率,大大提高了数据的复用性和适用性,减少数据库冗余。

技术研发人员:郭杨菁
受保护的技术使用者:中国建设银行股份有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/index.php/read-1819851.html

最新回复(0)