一种数据处理方法、装置、设备及存储介质与流程

专利2025-07-19  4


本技术涉及存储处理领域,尤其涉及一种数据处理方法、装置、设备及存储介质。


背景技术:

1、目前,随着互联网技术的发展,各种网络数据的分发频率越来越高,因此对分发的网络数据进行缓存的频率也越来越高。当前对于网络数据的缓存处理,通常使用固定缓存容量的节点进行缓存。然而,固定缓存容量的缓存方式在缓存时会将缓存内容根据固定缓存容量进行拆分,使得缓存内容分成多段,读取缓存内容时需要将多段缓存内容进行拼接,需要花费更加多的时间,降低了缓存节点的缓存效率。


技术实现思路

1、本技术实施例提供一种数据处理方法、装置、设备及存储介质,可以提升缓存节点的缓存效率。

2、本技术实施例一方面提供了一种数据处理方法,该方法包括:

3、调度设备向n个缓存节点发送初始化配置请求,以使n个缓存节点根据初始化配置请求返回缓存配置信息,n为正整数;缓存配置信息用于表示每个缓存节点包含的至少一个缓存单位的缓存容量信息;n个缓存节点中存在至少两个缓存节点分别包含的缓存单位的数量互不相同;

4、基于n个缓存节点分别对应的缓存配置信息,生成缓存索引数据库;缓存索引数据库用于表示n个缓存节点分别对应的索引信息与缓存配置信息之间的对应关系;

5、接收客户端所发送的节点调用请求,基于节点调用请求所包含的缓存调用容量和缓存索引数据库在n个缓存节点中选取s个缓存节点,s为小于或等于n的正整数;s个缓存节点分别对应的缓存容量信息之间的容量总和小于或等于缓存调用容量;

6、基于s个缓存节点生成节点调用指令;节点调用指令用于指示客户端调用s个缓存节点进行数据存储处理。

7、本技术实施例一方面提供了一种数据处理方法,n个缓存节点包括目标缓存节点,n为正整数,该方法包括:

8、目标缓存节点接收调度设备所发送的初始化配置请求;

9、目标缓存节点基于初始化配置请求生成目标缓存节点对应的缓存配置信息,将目标缓存节点对应的缓存配置信息发送至调度设备,以使调度设备基于缓存配置信息生成缓存索引数据库;目标缓存节点对应的缓存配置信息用于表示目标缓存节点包含的至少一个缓存单位的缓存容量信息;n个缓存节点中存在至少两个缓存节点分别包含的缓存单位的数量互不相同;缓存索引数据库用于表示n个缓存节点分别对应的索引信息与缓存配置信息之间的对应关系;缓存索引数据库用于在调度设备中与缓存调用容量在n个缓存节点中选取s个缓存节点,以使调度设备基于s个缓存节点生成节点调用指令,s为小于或等于n的正整数;节点调用指令用于指示客户端调用s个缓存节点进行数据存储处理。

10、本技术实施例一方面提供了一种数据处理方法,该方法包括:

11、客户端向调度设备发送节点调用请求;节点调用请求包括缓存调用容量;缓存调用容量用于通过缓存索引数据库在n个缓存节点中选取s个缓存节点,n为正整数,s为小于或等于n的正整数;s个缓存节点分别对应的缓存容量信息之间的容量总和小于或等于缓存调用容量;n个缓存节点中存在至少两个缓存节点分别包含的缓存单位的数量互不相同;n个缓存节点用于根据调度设备发送的初始化配置请求生成缓存配置信息,且用于返回缓存配置信息至调度设备;缓存配置信息用于表示每个缓存节点包含的至少一个缓存单位的缓存容量信息;缓存配置信息用于指示调度设备生成缓存索引数据库;缓存索引数据库用于表示n个缓存节点分别对应的索引信息与缓存配置信息之间的对应关系;

12、接收调度设备发送的节点调用请求对应的节点调用指令,调用节点调用指令指示的s个缓存节点进行数据存储处理。

13、本技术实施例一方面提供了一种数据处理装置,该数据处理装置,包括:

14、第一请求发送模块,用于调度设备向n个缓存节点发送初始化配置请求,以使n个缓存节点根据初始化配置请求返回缓存配置信息,n为正整数;缓存配置信息用于表示每个缓存节点包含的至少一个缓存单位的缓存容量信息;n个缓存节点中存在至少两个缓存节点分别包含的缓存单位的数量互不相同。

15、数据库生成模块,用于基于n个缓存节点分别对应的缓存配置信息,生成缓存索引数据库;缓存索引数据库用于表示n个缓存节点分别对应的索引信息与缓存配置信息之间的对应关系。

16、第一请求接收模块,用于接收客户端所发送的节点调用请求,基于节点调用请求所包含的缓存调用容量和缓存索引数据库在n个缓存节点中选取s个缓存节点,s为小于或等于n的正整数;s个缓存节点分别对应的缓存容量信息之间的容量总和小于或等于缓存调用容量。

17、指令生成模块,用于基于s个缓存节点生成节点调用指令;节点调用指令用于指示客户端调用s个缓存节点进行数据存储处理。

18、其中,数据库生成模块还用于获取历史缓存调用容量;历史缓存调用容量是指内容数据库中所记录的用于进行数据存储的存储容量数据;将历史缓存调用容量与n个缓存节点分别对应的缓存配置信息,输入神经网络模型,得到n个缓存节点分别对应的缓存调用概率;根据n个缓存节点分别对应的缓存调用概率将n个节点分别对应的缓存配置信息进行排序,得到缓存配置信息与缓存调用概率之间对应的关系序列;获取n个缓存节点的标识信息,基于n个缓存节点的标识信息以及关系序列之间的对应关系,得到缓存索引数据库。

19、其中,数据库生成模块还用于获取客户端反馈的n个缓存节点分别对应的缓存速率数据与缓存利用率数据;基于n个缓存节点分别对应的缓存速率数据与缓存利用率数据,生成n个缓存节点分别对应的缓存质量分数;基于缓存质量分数将n个缓存节点进行排序,得到缓存索引数据库。

20、其中,第一请求接收模块还用于获取n个缓存节点对应的缓存节点类型;基于缓存节点类型与节点调用请求所包含的缓存调用容量,生成缓存节点组合;将缓存节点组合与缓存索引数据库中的n个缓存节点进行匹配处理,得到s个缓存节点。

21、本技术实施例一方面提供了一种数据处理装置,n个缓存节点包括目标缓存节点,n为正整数,该数据处理装置,包括:

22、第二请求接收模块,用于目标缓存节点接收调度设备所发送的初始化配置请求。

23、信息发送模块,用于目标缓存节点基于初始化配置请求生成目标缓存节点对应的缓存配置信息,将目标缓存节点对应的缓存配置信息发送至调度设备,以使调度设备基于缓存配置信息生成缓存索引数据库;目标缓存节点对应的缓存配置信息用于表示目标缓存节点包含的至少一个缓存单位的缓存容量信息;n个缓存节点中存在至少两个缓存节点分别包含的缓存单位的数量互不相同;缓存索引数据库用于表示n个缓存节点分别对应的索引信息与缓存配置信息之间的对应关系;缓存索引数据库用于在调度设备中与缓存调用容量在n个缓存节点中选取s个缓存节点,以使调度设备基于s个缓存节点生成节点调用指令,s为小于或等于n的正整数;节点调用指令用于指示客户端调用s个缓存节点进行数据存储处理。

24、其中,信息发送模块还用于目标缓存节点向内容数据库发送存储调用请求,获取目标存储内容;对目标存储内容进行内容编码处理,得到目标缓存数据;将目标缓存数据分发至目标缓存节点分别对应的缓存单位,得到目标缓存节点分别对应的每个缓存单位的单位缓存数据。

25、本技术实施例一方面提供了一种数据处理装置,该数据处理装置,包括:

26、第二请求发送模块,用于客户端向调度设备发送节点调用请求;节点调用请求包括缓存调用容量;缓存调用容量用于通过缓存索引数据库在n个缓存节点中选取s个缓存节点,n为正整数,s为小于或等于n的正整数;s个缓存节点分别对应的缓存容量信息之间的容量总和小于或等于缓存调用容量;n个缓存节点中存在至少两个缓存节点分别包含的缓存单位的数量互不相同;n个缓存节点用于根据调度设备发送的初始化配置请求生成缓存配置信息,且用于返回缓存配置信息至调度设备;缓存配置信息用于表示每个缓存节点包含的至少一个缓存单位的缓存容量信息;缓存配置信息用于指示调度设备生成缓存索引数据库;缓存索引数据库用于表示n个缓存节点分别对应的索引信息与缓存配置信息之间的对应关系;

27、指令接收模块,用于接收调度设备发送的节点调用请求对应的节点调用指令,调用节点调用指令指示的s个缓存节点进行数据存储处理。

28、其中,指令接收模块还用于获取节点调用请求对应的解码极值缓存单位;若解码极值缓存单位的数量为k个,则将2k个缓存单位确定为缓存调用容量,k为正整数,k为大于或等于s的正整数;若接收到s个缓存节点发送的具有k个缓存单位的缓存数据,则对具有k个缓存单位的缓存数据进行解码处理,得到缓存解码数据;缓存解码数据用于表示从s个缓存节点调用的数据内容。

29、本技术一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;

30、上述处理器与上述存储器、上述网络接口相连,其中,上述网络接口用于提供数据通信功能,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以使得计算机设备执行本技术实施例中的方法。

31、本技术实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,上述计算机程序适于由处理器加载并执行本技术实施例中的方法。

32、本技术实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本技术实施例中的方法。

33、本技术实施例通过调度设备向n个缓存节点发送初始化配置请求,以使n个缓存节点根据初始化配置请求返回缓存配置信息,n为正整数。进一步地,基于n个缓存节点分别对应的缓存配置信息,生成缓存索引数据库。进一步地,接收客户端所发送的节点调用请求,基于节点调用请求所包含的缓存调用容量和缓存索引数据库在n个缓存节点中选取s个缓存节点,s为小于或等于n的正整数。进一步地,基于s个缓存节点生成节点调用指令,其中,节点调用指令用于指示客户端调用s个缓存节点进行数据存储处理。在本技术中,通过在调度设备中生成关于n个缓存节点的缓存索引数据库,进而实现通过缓存索引数据库中的内容对缓存节点实现动态调用,可以使得调度设备与客户端等设备构成的系统可以兼容多种缓存能力的缓存节点,并对多种能力的缓存节点实现基于每个缓存节点的缓存容量的合理调用,提升了缓存节点的缓存效率。在缓存节点质量波动的情况下也可以自适应调用,提升了缓存节点的缓存效率。


技术特征:

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述n个缓存节点分别对应的缓存配置信息,生成缓存索引数据库,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述n个缓存节点分别对应的缓存配置信息,生成缓存索引数据库,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述节点调用请求所包含的缓存调用容量和所述缓存索引数据库在所述n个缓存节点中选取s个缓存节点,包括:

5.一种数据处理方法,其特征在于,n个缓存节点包括目标缓存节点,n为正整数,包括:

6.根据权利要求5所述的方法,其特征在于,还包括:

7.一种数据处理方法,其特征在于,包括:

8.根据权利要求7所述的方法,其特征在于,还包括:

9.一种数据处理装置,其特征在于,所述数据处理装置包括:

10.一种数据处理装置,其特征在于,所述数据处理装置包括:

11.一种数据处理装置,其特征在于,所述数据处理装置包括:

12.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;

13.一种计算机可读存储介质,其特征在于,计算机可读存储介质中存储有计算机程序,计算机程序适于由处理器加载并执行,以使得具有处理器的计算机设备执行权利要求1-8任一项所述的方法。

14.一种计算机程序产品,其特征在于,计算机程序产品包括计算机程序,计算机程序存储在计算机可读存储介质中,计算机程序适于由处理器读取并执行,以使得具有处理器的计算机设备实现权利要求1-8任一项所述方法的步骤。


技术总结
本申请实施例公开了一种数据处理方法、装置、设备及存储介质,该方法包括:调度设备向N个缓存节点发送初始化配置请求,以使N个缓存节点根据初始化配置请求返回缓存配置信息,N为正整数;基于N个缓存节点分别对应的缓存配置信息,生成缓存索引数据库;接收客户端所发送的节点调用请求,基于节点调用请求所包含的缓存调用容量和缓存索引数据库在N个缓存节点中选取S个缓存节点,S为小于或等于N的正整数;基于S个缓存节点生成节点调用指令;节点调用指令用于指示客户端调用S个缓存节点进行数据存储处理。采用本申请实施例,可以提升缓存节点的缓存效率。

技术研发人员:王博,王少伟,陈靖
受保护的技术使用者:书行科技(北京)有限公司
技术研发日:
技术公布日:2024/6/26
转载请注明原文地址:https://doc.8miu.com/read-1822728.html

最新回复(0)