本发明涉及数据处理,特别是涉及一种数据处理方法和装置。
背景技术:
1、随着大数据的广泛应用,个人信息保护也遇到了前所未有的挑战。个人隐私信息如何得到保护,是数据库脱敏要解决问题的关键。数据库脱敏技术是对某些敏感信息按照脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护的一种技术。
2、现有的脱敏方法通常是将源数据分别采用不同脱敏规则进行脱敏,再将得到的多种脱敏数据以及源数据保存在主库中,在需要获取脱敏数据时,根据需要从主库中获取对应的脱敏数据。但是,如果需要增加脱敏规则,需要对数据处理程序、主库结构进行更改,还需要做数据迁移等操作,不仅操作复杂,而且成本高,效率低。并且,将脱敏前后的数据均保存在主库中,主库存储空间有限,增加了主库的存储负担。
技术实现思路
1、鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据处理方法和装置。
2、为了解决上述问题,本发明实施例公开了一种数据处理方法,应用于数据处理系统,所述数据处理系统包括:通信连接的第一子系统和n个第二子系统,所述方法包括:
3、在所述第一子系统获取到第一数据的情况下,所述第一子系统保存所述第一数据;
4、目标子系统按照自身的所属类型对应的脱敏方式,对所述第一数据进行脱敏处理,得到第二数据,并保存所述第二数据,所述目标子系统表征n个所述第二子系统中的任意一个或者所述第一子系统,n为大于1的整数。
5、可选地,所述第一子系统包括:第一数据库网关和主库;
6、其中,所述在所述第一子系统获取到第一数据的情况下,所述第一子系统保存所述第一数据,包括:
7、在所述第一数据库网关获取到所述第一数据的情况下,所述第一数据库网关将所述第一数据发送至所述主库中;
8、所述主库保存所述第一数据。
9、可选地,所述目标子系统表征所述第一子系统,所述第一子系统还包括:第一变更数据捕获cdc和第一从库;
10、其中,所述目标子系统按照自身的所属类型对应的脱敏方式,对所述第一数据进行脱敏处理,得到第二数据,并保存所述第二数据,包括:
11、所述第一变更数据捕获cdc获取所述主库中的所述第一数据以及所述第一子系统的所属类型对应的脱敏方式,并按照所述脱敏方式对所述第一数据进行脱敏处理,得到所述第二数据;
12、所述第一变更数据捕获cdc将所述第二数据发送至所述第一从库中;
13、所述第一从库保存所述第二数据。
14、可选地,所述目标子系统表征所述第二子系统,所述第二子系统包括:第二cdc和第二从库;
15、其中,所述目标子系统按照自身的所属类型对应的脱敏方式,对所述第一数据进行脱敏处理,得到第二数据,并保存所述第二数据,包括:
16、所述第二cdc获取所述主库中的所述第一数据以及所述第二子系统的所属类型对应的脱敏方式,并按照所述脱敏方式对所述第一数据进行脱敏处理,得到所述第二数据;
17、所述第二cdc将所述第二数据发送至所述第二从库中;
18、所述第二从库保存所述第二数据。
19、可选地,所述第一子系统还包括:第一应用程序编程接口api,所述方法还包括:
20、在所述第一应用程序编程接口api获取到所述第一数据的查询请求的情况下,所述第一应用程序编程接口api获取并输出所述主库中的所述第一数据。
21、可选地,所述第二子系统还包括:第二api,所述方法还包括:
22、在所述第二api获取到所述第一数据的查询请求的情况下,所述第二api通过所述第一应用程序编程接口api获取所述主库中的所述第一数据;
23、所述第二api输出所述第一数据。
24、本发明实施例还公开了一种数据处理装置,应用于数据处理系统,所述数据处理系统包括:通信连接的第一子系统和n个第二子系统,所述装置包括:
25、保存模块,用于在所述第一子系统获取到第一数据的情况下,所述第一子系统保存所述第一数据;
26、第一处理模块,用于目标子系统按照自身的所属类型对应的脱敏方式,对所述第一数据进行脱敏处理,得到第二数据,并保存所述第二数据,所述目标子系统表征n个所述第二子系统中的任意一个或者所述第一子系统,n为大于1的整数。
27、本发明实施例还公开了一种电子设备,包括:
28、一个或多个处理器;和
29、其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行如上述所述的数据处理方法的步骤。
30、本发明实施例还公开了一种计算机可读存储介质,其存储的计算机程序使得处理器执行如上述所述的数据处理方法的步骤。
31、本发明实施例包括以下优点:
32、本发明实施例应用于数据处理系统,所述数据处理系统包括:通信连接的第一子系统和n个第二子系统,在第一子系统获取到第一数据的情况下,由第一子系统保存第一数据;第一子系统按照自身的所属类型对应的脱敏方式对第一数据进行脱敏处理,得到第一子系统对应的第二数据,由第一子系统保存第一子系统对应的第二数据;每一个第二子系统按照自身的所属类型对应的脱敏方式对第一数据进行脱敏处理,得到第二子系统对应的第二数据,由第二子系统保存第二子系统对应的第二数据。由此,第一子系统保存第一数据(即源数据),不同类型的子系统(第一子系统和n个第二子系统)采用不同的脱敏方式对第一数据进行脱敏处理,由此可以得到每一个子系统对应的第二数据,并分别由各自的子系统进行保存,由此每一个子系统仅保存自身需要的第二数据,减轻了数据存储压力。并且,如果需要增加或减少脱敏方式,仅需要增加或减少对应的子系统即可,不仅操作简单,而且成本低,效率高。
1.一种数据处理方法,应用于数据处理系统,所述数据处理系统包括:通信连接的第一子系统和n个第二子系统,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述第一子系统包括:第一数据库网关和主库;
3.根据权利要求2所述的方法,其特征在于,所述目标子系统表征所述第一子系统,所述第一子系统还包括:第一变更数据捕获cdc和第一从库;
4.根据权利要求2所述的方法,其特征在于,所述目标子系统表征所述第二子系统,所述第二子系统包括:第二cdc和第二从库;
5.根据权利要求2所述的方法,其特征在于,所述第一子系统还包括:第一应用程序编程接口api,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述第二子系统还包括:第二api,所述方法还包括:
7.一种数据处理装置,应用于数据处理系统,所述数据处理系统包括:通信连接的第一子系统和n个第二子系统,其特征在于,所述装置包括:
8.一种电子设备,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,其存储的计算机程序使得处理器执行如权利要求1至6任一项所述的数据处理方法。
